形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

23
³¨ÁÅPIZSKJU MIURA:%7/! Preferred Infrastructure q ÊÍ @unnonouno 2014/10/11 @DSIRNLP#6

description

 

Transcript of 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

Page 1: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

³¨ÁÅPIZSKJU MIURA:%�7/�! �

�� Preferred Infrastructure �q�ÊÍ @unnonouno �

2014/10/11 @DSIRNLP#6�

Page 2: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

aÆϱ�

�q�ÊÍ (@unnonouno) !  �� Preferred Infrastructure !  �¬£y(�~Ð|½37/�

!  �É£y1#4$(37/�

!  NLP¦c,\,�f�u_*)7/�!

��

Page 3: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

grep | sort | uniq �85+��

!  “text”,o�,]'��µÅ:�HM�&�A>ZM�

��

cat text | grep -o [0-9]+ | sort | uniq –c�

Page 4: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

grep"(�9�'�)��

! »¬���69)�

! �Ò'Î7�0)�

��

Page 5: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

MIURA:��/�4���

��

Page 6: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

MIURA)6��)8��

!  “text”,o�,]'��ÒÅ:�HM�&�A>ZM�

��

cat text | miura –o “<pos=�Ò>*” | sort | uniq –c�

Page 7: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

�;)j1���

��

cat text | miura –o “<pos=³�Ò><surface='�>” | sort | uniq –c�

Page 8: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

MIURA(-�

! ³¨ÁÅ*h�8�¿}�SKJU ! ºrn��§¥¨@MSMZ*58wÀ ! B?XPIZ�¬ !  9b*����'v¾�9!NLP¦c,\EZRF>T'vd�!�

��

Page 9: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

MIURA�¼�PIZ�ECZG,�x»�-³¨Á !  .

!  ��,³¨Á*SKJ

!  <pos=x> !  �Ò�x,³¨Á*SKJ

!  <surface=x> !  }��x,³¨Á*SKJ

!  X* !  X,1���,Ä7©�

!  X|Y !  X�Y*SKJ

��

Page 10: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

�¿�¬(�§@MSMZ�

���

“<pos=�Ò>*<pos=²Ò>”

ε� ε�

pos=���

pos=���

Repeat(Cond(pos=�Ò))::Cond(pos=²Ò) �

s,wÀ-�,¥¨,//��&/��

�����

��!'#%#&�

$"'&� �

Page 11: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

ºrn��§@MSMZ (1/3) �

���

ÃÑ� -� Ó� '� �8�

ε� ε�

pos=���

pos=���

�µÅ,� e�

¥¨,� e�

Page 12: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

ºrn��§@MSMZ (2/3) �

���

ÃÑ� -� Ó� '� �8�

ε� ε�

pos=���

pos=���

Page 13: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

ºrn��§@MSMZ (3/3) �

���

ÃÑ� -� Ó� '� �8�

ε� ε�

pos=���

pos=���

�k*Ì°�!6DY�

Page 14: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

��®�

! �µÅ,� e(¥¨,� e,�` �¶ ��)�,'¤m��®- O(nm)

! Ô­-¢ON,^��),'�zpË�!,�jm��® O(nmd)

n: �µÅ,_�

m: ¥¨,� d: ^���

���

s,wÀ-�¸expjm��7SG�

Page 15: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

'��[pypi*¹´�5�(�!6����

���

(((

Page 16: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

�lª$!��(^o^)�

���

https://pypi.python.org/pypi/miura�

Page 17: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

{¯����

���

3.���lª$!�

�l¡�9.���2; MIRA(��

Page 18: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

Miura�6Mira������

���

Page 19: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

�rep*�/�!��

���

Page 20: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

³¨ÁÅPIZSKJU MREP:%�7/�! �

�� Preferred Infrastructure �q�ÊÍ @unnonouno �

Page 21: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

=ZGMYit�

mecab-python3:�$&8,'�mecab 0.996��� «0,L<GMXQVEWZ"(�HG�6g98���7�

���

pip install mrep�

Page 22: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

�·�PKJÈ���

���

Page 23: 形態素列パターンマッチャーMIURAをつくりました @DSIRNLP#6

�ÂÇ�7�(����/�!�

※���� �wikipedia���