HI,欢迎来到好期刊网,发表咨询:400-888-9411 订阅咨询:400-888-1571证券代码(211862)

基于条件随机场的词结构分析方法

摘要:传统的基于词边界划分的中文分词已经难以满足实际应用的需要.通过深入分析词的内部结构,提出了一种基于条件随机场的词结构分析方法.根据伪未登录词(POOV)组成成分的特点及词的内部子结构表示,提出了词的结构特征来提高未登录词(OOV)的识别率及词结构的识别性能.从词的内部结构表示形式推导出一般化的词结构标记集,很好地统一了词边界标记和词内部结构标记.它不仅适用于传统的中文分词任务中词边界的标注,而且也适用于词结构分析任务中词的内部结构的标注.该方法能够同时分析得到词的边界和内部结构信息,解决了语料库之间分词标准不一致的问题,满足了应用的不同需求.实验结果表明,该方法在整体性能和各层次结构的识别上都比现有方法有所提高.

关键词:
  • 词结构分析  
  • 条件随机场  
  • 词结构特征  
  • 词结构标记集  
作者:
蒋万伟; 刘娟
单位:
武汉大学计算机学院; 湖北武汉430072
刊名:
武汉大学学报·理学版

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

武汉大学学报·理学版紧跟学术前沿,紧贴读者,国内刊号为:42-1674/N。坚持指导性与实用性相结合的原则,创办于1930年,杂志在全国同类期刊中发行数量名列前茅。