中文信息处理中自动分词技术的研究与展望-北京师范大学民俗典籍.PDF

中文信息处理中自动分词技术的研究与展望 刘 迁 贾惠波 ! # 清华大学精密仪器与机械学系 北京 -./ 清华大学光盘国家工程研究中心 北京 ! -./ $ 摘 要 汉语自动分词是中文信息处理的关键技术 已经成为中文信息处理发展的瓶颈 文章介绍了当前自动分词技术 % % 的研究状况 对各种分词算法进行了介绍 并对各种算法进行了比较和讨论 最后 对汉语自动分词技术的发展进行了 展望% 关键词 中文信息处理 汉语自动分词 分词算法 文章编号 ! $ 文献标识码 中图分类号 !’())’ !! )’ -012# * +3#* - ! #$% ’ ()#*$+$ ,-. !/0120#3 4$51$*020#* 6$+$2-3) #* 0)$ ()#*$+$ 7*’-120#* 8#+9+2: ;#/ #2* =#2 /#? - ! ! $ 456789:5;9 = 385?,?; @;,98A:5;9, 7;B C5D7;EFG H,?;FDA7 I;?J58,?9G K5?L?;F -./ - ! ! $ M69?7E C5:8G N79?;7E O;F?;558?;F P5,578D Q5;958 H,?;FDA7 I;?J58,?9G K5?L?;F $./ !?+0-230 QD?;5,5 R8B 7A9:79? ,5F:5;979?; ?, 9D5 S5G 95D;EFG ?; 9D5 QD?;5,5 ?;=8:79?; B?,6,7ET@; 9D?, 67658 R5 685,5;9 9D5 R8S = 9D5 QD?;5,5 R8B 7A9:79? ,5F:5;979?;THD8AFD 7;7EGU?;F 7;B :678?;F 9D5 ,5F:5;979?; ! :59DB, ?; 5V?,95;5 R5 6?;9 A9 9D5 B5J5E6?;F B?859?;, = =A9A85 QD?;5,5 R8B 7A9:79? ,5F:5;979?;T ! ! @$A%-.+ QD?;5,5 ?;=8:79?; B?,6,7E QD?;5,5 R8B 7A9:79? ,5F:5;979?; ,5F:5;979?; :59DB, $ 引言 经引起相当程度的重视! 成为中文信息处理的一个前沿课题) 随着信息时代的到来 计算机在人们生产生活的各个方面 经过十几年的研究!中文文本