scikit学习：创建自定义CountVectorizer和ChiSquare时出现问题

我有以下代码(基于示例here),但无法正常工作：

[...]
def my_analyzer(s):
    return s.split()
my_vectorizer = CountVectorizer(analyzer=my_analyzer)
X_train = my_vectorizer.fit_transform(traindata)

ch2 = SelectKBest(chi2,k=1)
X_train = ch2.fit_transform(X_train,Y_train)
[...]

调用fit_transform时出现以下错误：

AttributeError: 'function' object has no attribute 'analyze'

根据文档,CountVectorizer应该这样创建：vectorizer = CountVectorizer(tokenizer = my_tokenizer).但是,如果这样做,则会出现以下错误：“得到了意外的关键字参数’tokenizer’”.

我的实际scikit-learn版本是0.10.

解决方法:

您正在查看0.11(即将发布)的文档,其中对Vectorizer进行了全面修订.检查documentation for 0.10,那里没有标记生成器参数,并且分析器应该是一个实现分析方法的对象：

class MyAnalyzer(object):
    @staticmethod
    def analyze(s):
        return s.split()

v = CountVectorizer(analyzer=MyAnalyzer())

http://scikit-learn.org/dev是即将发布的版本的文档(可能随时更改),而http://scikit-learn/stable是当前稳定版本的文档.

标签：scikit-learn,machine-learning,scikits,python
来源： https://codeday.me/bug/20191201/2080504.html