使用python自然语言工具包阅读孟加拉语

我想在NLTK的CategorizedPlainCorpusReader中阅读孟加拉语文本.对于我在gedit文本编辑器中的孟加拉语文本文件的快照：

崇高文本编辑器中文件的快照：

从快照中您可以看到问题.问题是Unicode组成问题(虚线环已死).这是用于阅读文本的代码段：

>>> path = os.path.expanduser('~/nltk_data/corpora/Bangla')
>>> from nltk.corpus.reader import CategorizedPlaintextCorpusReader
>>> from nltk import RegexpTokenizer
>>> word_tokenize = RegexpTokenizer("[\w']+")
>>> reader = CategorizedPlaintextCorpusReader(path,r'.*\.txt',cat_pattern=r'(.*)_.*',word_tokenizer=word_tokenize)
>>> reader.sents(categories='pos')

输出为：

输出应为“একবার”而不是“একব”“র”.可以做什么？提前致谢.

解决方法:

您需要提供Bengali characters的Unicode范围.

采用

word_tokenize = RegexpTokenizer("[\u0980-\u09FF']+")

撇号可以原样保留在字符类中.

标签：nlp,text-processing,python
来源： https://codeday.me/bug/20191026/1934430.html