首页 > TAG信息列表 > tf-idf

如何在gensim工具的python中实现TF-IDF？

从我从网上发现的文档中,我找出了用于确定语料库中术语的术语频率和逆文档频率权重的表达式 tf-idf(wt)= tf * log(| N | / d); 我正在经历gensim中提到的tf-idf的实现. 文档中给出的示例是 >>> doc_bow = [(0, 1), (1, 1)] >>> print tfidf[doc_bow] # step 2 -- use the model t

java-tf * idf实现？

我基本上是在创建搜索引擎,并且我想实现tf * idf来基于搜索查询对xml文档进行排名.如何实施？我该如何开始呢？任何帮助表示赞赏.解决方法:我过去曾经这样做过,我使用Lucene来获取TD * IDF数据. 尽管花了很多时间摆弄,所以,如果还有其他人们知道更容易解决的解决方案,请使用它们. 首先

如何在python中使用tf-idf svm sklearn绘制文本分类

我已经按照this tutorial的教程使用tf-idf和SVM实现了文本分类 分类工作正常. 现在我想绘制tf-idf值(即特征),并查看最终超平面如何生成,将数据分类为两个类. 实施的代码如下： import os import numpy as np from sklearn.naive_bayes import MultinomialNB from sklearn.metrics i

如何在scikit中计算术语频率 – 学习CountVectorizer

我不明白CountVectorizer如何计算术语频率.我需要知道这一点,以便在从语料库中过滤掉术语时,我可以为max_df参数做出明智的选择.这是示例代码： import pandas as pd import numpy as np from sklearn.feature_extraction.text import CountVectorizer vectorizer

如何在MySQL中对字符串进行标记？

我的项目是从平面Excel文件中导入大量的500K行数据,这些数据由一组人手动创建.现在的问题是,所有这些都需要规范化,以便客户端搜索.例如,公司字段将包含多个公司拼写并包含分支,例如“IBM”和“IBM Inc.”另外,我的产品名称是字母数字,例如“A46-Rhizonme Pentahol”,SOUNDEX单独无

python – Theano GPU计算比numpy慢

我正在学习使用theano.我想通过计算其中每个元素的二进制TF-IDF来填充term-document矩阵(numpy稀疏矩阵)： import theano import theano.tensor as T import numpy as np from time import perf_counter def tfidf_gpu(appearance_in_documents,num_documents,document_words):

java – Spark TF-IDF从哈希中获取单词

我正在跟踪Spark文档中的this example以计算一堆文档的TF-IDF. Spark使用散列技巧进行此计算,所以最后你得到一个包含散列词和相应权重的Vector但是……我如何从哈希中取回单词？ 我是否真的需要哈希所有单词并将它们保存在地图中以便以后迭代查找关键字？内置Spark没有更有效的方法吗？

如何使用python通过余弦相似性有效地检索顶级K-like文档？

我正在处理十万(100,000)份文件(平均文件长度约为500个术语).对于每个文档,我想通过余弦相似性得到前k(例如k = 5)个相似文档.那么如何通过Python有效地做到这一点. 这是我做的： >为每个文档,进行文本分割,删除停用词,计算术语频率(tf)>所以我们得到tf矩阵,大约100,000个文档* 60000

python – 如何分析sklearn中tfidf矩阵的值？

我正在使用sklearn的KMeans算法进行文档聚类 http://brandonrose.org/clustering 这是TFIDF矩阵的计算.我已经理解了TFIDF技术背后的概念,但是当我打印这个矩阵时,矩阵是这样的： (0, 11) 0.238317554822 (0, 34) 0.355850989305 (0, 7) 0.355850989305 (0, 21) 0.

python – 这是正确的tfidf吗？

我试图从文件中获取tfidf.但我不认为它给了我正确的价值观,或者我可能做错了什么.请建议.代码和输出如下： from sklearn.feature_extraction.text import TfidfVectorizer books = ["Hello there this is first book to be read by wordcount script.", "This is second book to be

python – 在scikit-learn tf-idf矩阵中获取文档名称

我创建了一个tf-idf矩阵,但现在我想为每个文档检索前2个单词.我想传递文件ID,它应该给我前2个字. 现在,我有这个样本数据： from sklearn.feature_extraction.text import TfidfVectorizer d = {'doc1':"this is the first document",'doc2':"it is a sunny day"} ### corpus test

python – gensim.corpora.Dictionary是否保存了术语频率？

gensim.corpora.Dictionary的术语频率是否已保存？ 从gensim.corpora.Dictionary开始,可以获得单词的文档频率(即,特定单词出现的文档数量)： from nltk.corpus import brown from gensim.corpora import Dictionary documents = brown.sents() brown_dict = Dictionary(documents)

Java API：下载和计算给定网页的tf-idf

我是IR技术的新手. 我正在寻找基于Java的API或工具来执行以下操作. >下载给定的URL集 >提取令牌>删除停用词>执行词干>创建倒置索引>计算TF-IDF 请告诉我Lucene怎么能对我有所帮助. 问候Yuvi最佳答案:你可以试试Word Vector Tool – 自最新发布以来已经有一段时间了,但它在这里工