Python论坛  - 讨论区

标题:[python-chinese] 有人用Python作过中文分词吗?

2007年02月14日 星期三 22:54

Li Chunhui lich在dhc.com.cn
星期三 二月 14 22:54:15 HKT 2007

ÖÐÎķִʾÍÊÇ´ÓÖÐÎľä×ÓÖÐʶ±ð´ÊÓï¡¢´ÊËصķָîËã·¨¡£±ÈÈç "ÖйúÈËÃñÔÚÖйú"£¬¿ÉÒÔ·ÖΪ
Öйú£¬ÈËÃñÔÚÖйú£» ÖйúÈËÃñ£¬ ÔÚÖйú Öйú£¬ÈËÃñ£¬ÔÚ£¬Öйú¡£µÈ
·Ö´ÊÊÇΪÁ˱ãÓÚÀí½â¾ä×ӺͼìË÷¡£
  ----- Original Message ----- 
  From: Öì¼Ò·¢
  To: python-chinese在lists.python.cn
  Sent: Wednesday, February 14, 2007 5:29 AM
  Subject: Re: [python-chinese]ÓÐÈËÓÃPython×÷¹ýÖÐÎÄ·Ö´ÊÂð£¿


  ʲôÊÇÖÐÎÄ·Ö´Ê£¿¸ÅÄîºÍ¸ÅÂÊÆ¥ÅäÓÖÖ¸µÄÊÇʲô£¿


  ÔÚ07-2-14£¬ºÎºÎÀ¤ <hekun06在gmail.com> дµÀ£º
    ºÃ¸ßÉîµÄ¶«Î÷à¸.........

    _______________________________________________
    python-chinese
    Post: send python-chinese在lists.python.cn
    Subscribe: send subscribe to python-chinese-request在lists.python.cn
    Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
    Detail Info: http://python.cn/mailman/listinfo/python-chinese




  -- 
  ±±Æû¸£ÌïÆû³µ¹¤³ÌÑо¿Ôº³ËÓóµËù
                         Öì¼Ò·¢
                     010-59912466
                      15980725004


------------------------------------------------------------------------------


  _______________________________________________
  python-chinese
  Post: send python-chinese在lists.python.cn
  Subscribe: send subscribe to python-chinese-request在lists.python.cn
  Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
  Detail Info: http://python.cn/mailman/listinfo/python-chinese
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070214/4320c11a/attachment.html 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月14日 星期三 15:27

头太晕 torrycn在gmail.com
星期三 二月 14 15:27:09 HKT 2007

http://wiki.woodpecker.org.cn/moin/PyIctclas
-------------- 下一部分 --------------
??HTML?????...
URL: http://python.cn/pipermail/python-chinese/attachments/20070214/48d70c5e/attachment.htm 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月14日 星期三 18:59

朱家发 goowelane在gmail.com
星期三 二月 14 18:59:14 HKT 2007

ÄǸÅÂʺ͸ÅÄîÆ¥ÅäÓÖÖ¸µÄÊÇʲô£¿ÓÐÏà¹ØËã·¨Âð£¿Ö÷ÒªÊÇÓÃÔÚÄÇЩµØ·½£¿±§Ç¸ÎÊÕâô¶à¡£

2007/2/14, Í·Ì«ÔÎ <torrycn在gmail.com>:
>
> http://wiki.woodpecker.org.cn/moin/PyIctclas
>
>
>
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
>



-- 
±±Æû¸£ÌïÆû³µ¹¤³ÌÑо¿Ôº³ËÓóµËù
                       Öì¼Ò·¢
                   010-59912466
                    15980725004
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070214/e6317075/attachment.html 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月14日 星期三 19:02

朱家发 goowelane在gmail.com
星期三 二月 14 19:02:36 HKT 2007

¿´ÁËÍ·Ì«ÔθøµÄÁ´½ÓÍøÒ³£¬ÓÐËùÁ˽âÁË¡£Ð»Ð»¡£

ÔÚ07-2-14£¬Öì¼Ò·¢ <goowelane在gmail.com> дµÀ£º
>
> ÄǸÅÂʺ͸ÅÄîÆ¥ÅäÓÖÖ¸µÄÊÇʲô£¿ÓÐÏà¹ØËã·¨Âð£¿Ö÷ÒªÊÇÓÃÔÚÄÇЩµØ·½£¿±§Ç¸ÎÊÕâô¶à¡£
>
> 2007/2/14, Í·Ì«ÔÎ <torrycn在gmail.com>:
> >
> > http://wiki.woodpecker.org.cn/moin/PyIctclas
> >
> >
> >
> > _______________________________________________
> > python-chinese
> > Post: send python-chinese在lists.python.cn
> > Subscribe: send subscribe to python-chinese-request在lists.python.cn
> > Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> > Detail Info: http://python.cn/mailman/listinfo/python-chinese
> >
>
>
>
> --
> ±±Æû¸£ÌïÆû³µ¹¤³ÌÑо¿Ôº³ËÓóµËù
>                        Öì¼Ò·¢
>                    010-59912466
>                     15980725004
>



-- 
±±Æû¸£ÌïÆû³µ¹¤³ÌÑо¿Ôº³ËÓóµËù
                       Öì¼Ò·¢
                   010-59912466
                    15980725004
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070214/8757c4ac/attachment.html 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月14日 星期三 20:50

头太晕 torrycn在gmail.com
星期三 二月 14 20:50:42 HKT 2007

ÔÚ07-2-14£¬Öì¼Ò·¢ <goowelane在gmail.com> дµÀ£º
>
> ¿´ÁËÍ·Ì«ÔθøµÄÁ´½ÓÍøÒ³£¬ÓÐËùÁ˽âÁË¡£Ð»Ð»¡£


Á˽âʲôÁË£¿
ÎÒÕâ¶ùºýÍ¿×ÅÄØ¡£
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070214/76414b9c/attachment.html 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月14日 星期三 21:40

xxmplus xxmplus在gmail.com
星期三 二月 14 21:40:50 HKT 2007

英文本身有空格,中文嘛,呵呵,"杭州市长春药店"咯

On 2/14/07, 头太晕 <torrycn at gmail.com> wrote:
>
>
> 在07-2-14,朱家发 <goowelane at gmail.com> 写道:
> > 看了头太晕给的链接网页,有所了解了。谢谢。
>
> 了解什么了?
> 我这儿糊涂着呢。
>
>
>
> _______________________________________________
> python-chinese
> Post: send python-chinese at lists.python.cn
> Subscribe: send subscribe to
> python-chinese-request at lists.python.cn
> Unsubscribe: send unsubscribe to
> python-chinese-request at lists.python.cn
> Detail Info:
> http://python.cn/mailman/listinfo/python-chinese
>


-- 
Any complex technology which doesn't come with documentation must be the best
available.

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月15日 星期四 01:31

头太晕 torrycn在gmail.com
星期四 二月 15 01:31:36 HKT 2007

ÔÚ07-2-14£¬xxmplus <xxmplus在gmail.com> дµÀ£º
>
> Ó¢Îı¾ÉíÓпոñ£¬ÖÐÎÄÂºÇºÇ£¬"º¼ÖÝÊг¤´ºÒ©µê"¿©


ÓÃICTCLASÊÔÁËһϡ£½á¹û£ºº¼ÖÝÊÐ  ³¤´º  Ò©µê
¿´À´ÖпÆÔºµÄ¶«Î÷Ò²ÓдýÌá¸ß¡£
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070215/4c32cbaa/attachment.html 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月15日 星期四 10:12

何何坤 hekun06在gmail.com
星期四 二月 15 10:12:16 HKT 2007

linux ÏÂÓÐÕâ¸ö¿âûÓÐ ??
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070215/1c434227/attachment.htm 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月15日 星期四 12:15

马踏飞燕 honeyday.mj在gmail.com
星期四 二月 15 12:15:17 HKT 2007

ÔÚ07-2-14£¬Öì¼Ò·¢ <goowelane在gmail.com> дµÀ£º
>
> ÄǸÅÂʺ͸ÅÄîÆ¥ÅäÓÖÖ¸µÄÊÇʲô£¿ÓÐÏà¹ØËã·¨Âð£¿Ö÷ÒªÊÇÓÃÔÚÄÇЩµØ·½£¿±§Ç¸ÎÊÕâô¶à¡£


ÖÐÎÄ·Ö´ÊÓкܶàÖÖ·½·¨¡£
±È½Ï³£¼ûµÄÊÇ×Ö·û´®Æ¥Å䣬ÓÐÕýÏòºÍÄæÏò£¬»¹ÓÐ×î´óÕýÏòºÍ×î´óÄæÏò£¬»¹ÓÐÁ£¶È¿ØÖƵȡ£
Ò»¾ä»°ºÜÄÑ˵Çå³þ£¬ÄãÏëÁ˽âµÄ»°¿ÉÒÔµ½ÍøÉÏÕÒһЩ²ÄÁÏ¿´¿´µÄ¡£

¸ÅÄîÆ¥Åä¾Í±È½Ï¸ß¼¶ÁË£¬Õâ¸öÐèÒªÉñ¾­ÍøÂçÀàÐ͵Ä×ÔѧϰµÄ·½Ê½£¬¾ÍÏñÈ˵Ä˼άһÑù¡£¸ÅÄîÆ¥ÅäÔÚÀíÂÛÉÏÊDz»ÐèÒª´Ê¿âµÄ£¬Ëü»á¸ù¾Ý×ÖÓë×ÖÖ®¼äµÄλÖᢾàÀë¡¢ÁªÏµµÈÀ´·ÖÎö³ö¸ÃÎÄÕµĸÅÄÌáÁ¶³ö¹Ø¼ü´ÊµÈÐÅÏ¢£¬½ÓÏÂÀ´±ãÓÚË÷ÒýºÍ¼ìË÷¡£
¸ÅÂʾÍÊÇÒ»ÖÖ·½Ê½ÁË£¬¸ù¾ÝÐÅÏ¢ÂÛ£¬³öÏÖ¸ÅÂʵ͵ÄÄÚÈݺ¬µÄÐÅÏ¢Á¿¸ß£¬ËùÒԾͿÉÒÔ×÷Ϊ¸ÃƬÎÄÕµĸÅÄî¸øÌáÁ¶³öÀ´¡£
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070215/c186f33e/attachment.htm 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月15日 星期四 15:05

aldarion erendisaldarion在gmail.com
星期四 二月 15 15:05:58 HKT 2007

ÀûÓÃÉñ¾­ÍøÂ磬ÒþÂí¶û¿Æ·òÁ´ÕâЩ·½·¨À´ÊµÏֵķִʣ¬Óë×î´ó³¤¶ÈÆ¥Åä±ÈÆðÀ´£¬ËÙ¶ÈÒªÂýһЩ£¬
ÔÚ·Ö´Ê׼ȷÂÊ·½ÃæµÄÌá¸ß...Ä¿Ç°ÓÐɶʵ¼ÊµÄÖ¤Ã÷ô¡£


On 2/15/07, Âí̤·ÉÑà <honeyday.mj在gmail.com> wrote:
>
>
>
> ÔÚ07-2-14£¬Öì¼Ò·¢ <goowelane在gmail.com> дµÀ£º
> >
> > ÄǸÅÂʺ͸ÅÄîÆ¥ÅäÓÖÖ¸µÄÊÇʲô£¿ÓÐÏà¹ØËã·¨Âð£¿Ö÷ÒªÊÇÓÃÔÚÄÇЩµØ·½£¿±§Ç¸ÎÊÕâô¶à¡£
>
>
> ÖÐÎÄ·Ö´ÊÓкܶàÖÖ·½·¨¡£
> ±È½Ï³£¼ûµÄÊÇ×Ö·û´®Æ¥Å䣬ÓÐÕýÏòºÍÄæÏò£¬»¹ÓÐ×î´óÕýÏòºÍ×î´óÄæÏò£¬»¹ÓÐÁ£¶È¿ØÖƵȡ£
> Ò»¾ä»°ºÜÄÑ˵Çå³þ£¬ÄãÏëÁ˽âµÄ»°¿ÉÒÔµ½ÍøÉÏÕÒһЩ²ÄÁÏ¿´¿´µÄ¡£
>
>
> ¸ÅÄîÆ¥Åä¾Í±È½Ï¸ß¼¶ÁË£¬Õâ¸öÐèÒªÉñ¾­ÍøÂçÀàÐ͵Ä×ÔѧϰµÄ·½Ê½£¬¾ÍÏñÈ˵Ä˼άһÑù¡£¸ÅÄîÆ¥ÅäÔÚÀíÂÛÉÏÊDz»ÐèÒª´Ê¿âµÄ£¬Ëü»á¸ù¾Ý×ÖÓë×ÖÖ®¼äµÄλÖᢾàÀë¡¢ÁªÏµµÈÀ´·ÖÎö³ö¸ÃÎÄÕµĸÅÄÌáÁ¶³ö¹Ø¼ü´ÊµÈÐÅÏ¢£¬½ÓÏÂÀ´±ãÓÚË÷ÒýºÍ¼ìË÷¡£
> ¸ÅÂʾÍÊÇÒ»ÖÖ·½Ê½ÁË£¬¸ù¾ÝÐÅÏ¢ÂÛ£¬³öÏÖ¸ÅÂʵ͵ÄÄÚÈݺ¬µÄÐÅÏ¢Á¿¸ß£¬ËùÒԾͿÉÒÔ×÷Ϊ¸ÃƬÎÄÕµĸÅÄî¸øÌáÁ¶³öÀ´¡£
>
>
>
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to  python-chinese-request在lists.python.cn
> Detail Info: http://python.cn/mailman/listinfo/python-chinese
>
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070215/8840d38b/attachment.html 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月15日 星期四 20:00

头太晕 torrycn在gmail.com
星期四 二月 15 20:00:53 HKT 2007

ÔÚ07-2-15£¬ºÎºÎÀ¤ <hekun06在gmail.com> дµÀ£º
>
> linux ÏÂÓÐÕâ¸ö¿âûÓÐ ??


ÓС£ÉÏÃæÒѾ­·¢¹ýÍøÖ·ÁË¡£ÔÙ·¢Ò»±é¡£
http://wiki.woodpecker.org.cn/moin/PyIctclas
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070215/8a40b3ff/attachment.html 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月16日 星期五 09:13

z bird zbirder在gmail.com
星期五 二月 16 09:13:37 HKT 2007

国人写的搜索库FirteX(C++的)http://www.firtex.org/里面有中文分词,不知道他怎么分词的。
我想用pylucene做搜索,只是这东西用gcj搞的,不知道要扩展分词模块会不会有问题。

在 07-2-15,头太晕<torrycn在gmail.com> 写道:
>
>
> 在07-2-15,何何坤 <hekun06在gmail.com> 写道:
> > linux 下有这个库没有 ??
>
> 有。上面已经发过网址了。再发一遍。
> http://wiki.woodpecker.org.cn/moin/PyIctclas
>
>
>
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to
> python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to
> python-chinese-request在lists.python.cn
> Detail Info:
> http://python.cn/mailman/listinfo/python-chinese
>

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月16日 星期五 14:34

头太晕 torrycn在gmail.com
星期五 二月 16 14:34:45 HKT 2007

ÔÚ07-2-16£¬z bird <zbirder在gmail.com> дµÀ£º
>
> ¹úÈËдµÄËÑË÷¿âFirteX£¨C++µÄ£©http://www.firtex.org/ÀïÃæÓÐÖÐÎÄ·Ö´Ê£¬²»ÖªµÀËûÔõô·Ö´ÊµÄ¡£
> ÎÒÏëÓÃpylucene×öËÑË÷£¬Ö»ÊÇÕⶫÎ÷ÓÃgcj¸ãµÄ£¬²»ÖªµÀÒªÀ©Õ¹·Ö´ÊÄ£¿é»á²»»áÓÐÎÊÌâ¡£


ÓÃpyluceneµÄ»°£¬·Ö´Ê¿ÉÒÔÏÈÓÃICTCLAS·Ö´Ê´¦Àíһϣ¬È»ºóÖÐÎÄ´ÊÖ®¼ä¾Í»áÓпոñÁË£¬È»ºóÔÙʹÓÃPyLucene×Ô´øµÄÓ¢ÎÄ·Ö´ÊÄ£¿éÖ±½Ó´¦Àí¾ÍÐÐÁË¡£±È½Ï¼òµ¥µÄ¡£
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070216/deec4587/attachment.html 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月18日 星期日 16:58

vicalloy zbirder在gmail.com
星期日 二月 18 16:58:48 HKT 2007

pylucene本身是支持中文分词的,只是分词效果不太好。我只是想定义一些自己的分词规则而已。去pylucene邮件列表看了一下。好像只能在java部分扩展,然后重新用gcj编译。感觉有些麻烦。

在 07-2-16,头太晕<torrycn在gmail.com> 写道:
>
>
> 在07-2-16,z bird <zbirder在gmail.com> 写道:
> > 国人写的搜索库FirteX(C++的)http://www.firtex.org/里面有中文分词,不知道他怎么分词的。
> > 我想用pylucene做搜索,只是这东西用gcj搞的,不知道要扩展分词模块会不会有问题。
>
> 用pylucene的话,分词可以先用ICTCLAS分词处理一下,然后中文词之间就会有空格了,然后再使用PyLucene自带的英文分词模块直接处理就行了。比较简单的。
>
>
>
> _______________________________________________
> python-chinese
> Post: send python-chinese在lists.python.cn
> Subscribe: send subscribe to
> python-chinese-request在lists.python.cn
> Unsubscribe: send unsubscribe to
> python-chinese-request在lists.python.cn
> Detail Info:
> http://python.cn/mailman/listinfo/python-chinese
>

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

2007年02月19日 星期一 23:08

头太晕 torrycn在gmail.com
星期一 二月 19 23:08:49 HKT 2007

ÔÚ07-2-18£¬vicalloy <zbirder在gmail.com> дµÀ£º
>
>
> pylucene±¾ÉíÊÇÖ§³ÖÖÐÎķִʵģ¬Ö»ÊÇ·Ö´ÊЧ¹û²»Ì«ºÃ¡£ÎÒÖ»ÊÇÏ붨ÒåһЩ×Ô¼ºµÄ·Ö´Ê¹æÔò¶øÒÑ¡£È¥pyluceneÓʼþÁÐ±í¿´ÁËһϡ£ºÃÏñÖ»ÄÜÔÚjava²¿·ÖÀ©Õ¹£¬È»ºóÖØÐÂÓÃgcj±àÒë¡£¸Ð¾õÓÐЩÂé·³¡£


ûÓÐÑо¿¹ý£¬PyLuceneÀïµÄÀ಻Äܼ̳ÐÂð£¿
-------------- 下一部分 --------------
Ò»¸öHTML¸½¼þ±»ÒƳý...
URL: http://python.cn/pipermail/python-chinese/attachments/20070219/7abdab68/attachment.html 

[导入自Mailman归档:http://www.zeuux.org/pipermail/zeuux-python]

如下红色区域有误,请重新填写。

    你的回复:

    请 登录 后回复。还没有在Zeuux哲思注册吗?现在 注册 !

    Zeuux © 2025

    京ICP备05028076号