我想将“eat”之类的字符串转换为“eating”、“eats”。我搜索并找到了词形还原作为解决方案,但我遇到的所有词形还原工具都使用词表或字典查找。有没有什么词形还原器可以避免查字典,效率高,可能是基于规则的词形还原器。是的,我不是在寻找“词干分析器”。 最佳答案 你可以试试LRBL:基于规则的词形还原器它使用递归首字母缩略词的概念。 关于java-避免字典查找的高效Lemmatizer,我们在StackOverflow上找到一个类似的问题: https:/
最近我接触了NLP,我尝试使用NLTK和TextBlob用于分析文本。我想开发一个分析旅行者评论的应用程序,因此我必须管理大量用不同语言编写的文本。我需要做两个主要操作:词性标注和词形还原。我已经看到,在NLTK中,可以像这样为句子标记化选择正确的语言:tokenizer=nltk.data.load('tokenizers/punkt/PY3/italian.pickle')我还没有找到正确的方法来为不同语言的POS标记和Lemmatizer设置语言。如何为意大利语、法语、西类牙语或德语等非英语文本设置正确的语料库/词典?我还看到可以导入“TreeBank”或“WordNet”模块,
我是spacy的新手,我想使用它的lemmatizer功能,但我不知道如何使用它,就像我进入单词字符串一样,它将以单词的基本形式返回字符串。例子:'单词'=>'单词''做过'=>'做'谢谢。 最佳答案 上一个答案很复杂,无法编辑,所以这里是一个更传统的答案。#makesureyourdownloadedtheenglishmodelwith"python-mspacydownloaden"importspacynlp=spacy.load('en')doc=nlp(u"Applesandorangesaresimilar.Boots
我将NLTKWordNetLemmatizer用于词性标记项目,首先将训练语料库中的每个单词修改为其词干(就地修改),然后仅在新语料库上进行训练。但是,我发现lemmatizer没有像我预期的那样运行。例如,单词loves被词形还原为love这是正确的,但单词loving仍然是loving即使在词形还原之后。这里的loving就像句子“我爱它”一样。love不是变形词loving的词干吗?类似地,许多其他“ing”形式在词形还原后保持不变。这是正确的行为吗?还有哪些其他准确的词形还原器?(不需要在NLTK中)在决定词干时是否有形态分析器或词形还原器也考虑到词的词性标签?例如,如果kil