自然语言处理中中英文如何切分句子,如何确定边界

linlancxh 1年前 已收到1个回答 举报

大头鱼鱼儿 幼苗

共回答了12个问题采纳率:83.3% 举报

首先把文本分为句子,这期间,有些句子分隔符号要注意,比如“.”如果是在数字之间而且点好后没有空格,则不作为句子分隔符号.取到句子后,计算机可以识别汉字和字母,首先检测字符串中有无汉语字母词语,如果无,则直接以字母串为分界点把句子分成几块,每个汉字块用中文分词的算法进行分词,字母单词之间有空格为单词天然分隔符号,英文单词的只要主要其中的“it's”这些特殊块的处理,根据需要把它还原为单词.切完词合为一个分词句子即可.

1年前

2
可能相似的问题
Copyright © 2024 YULUCN.COM - 雨露学习互助 - 16 q. 0.036 s. - webmaster@yulucn.com