php – 使用朴素贝叶斯分类器对推文进行分类：一些问题

在其他来源中使用Stackoverflow上的各种帖子,我正在尝试实现我自己的PHP分类器,将推文分类为积极,中立和负面的类.在编码之前,我需要获得流程.我的思路和榜样如下：

                                  p(class) * p(words|class)
 Bayes theorem: p(class|words) =  ------------------------- with
                                           p(words)

 assumption that p(words) is the same for every class leads to calculating
 arg max p(class) * p(words|class) with
 p(words|class) = p(word1|class) * p(word2|topic) * ... and
 p(class) = #words in class / #words in total and

                 p(word, class)                       1
 p(word|class) = -------------- = p(word, class) * -------- =
                    p(class)                       p(class)

 #times word occurs in class    #words in total  #times word occurs in class
 --------------------------- * --------------- = ---------------------------
       #words in total          #words in class        #words in class

 Example: 

 ------+----------------+-----------------+
 class | words          | #words in class |
 ------+----------------+-----------------+
 pos   | happy win nice | 3               |
 neu   | neutral middle | 2               |
 neg   | sad loose bad  | 3               |
 ------+----------------+-----------------+

 p(pos) = 3/8
 p(neu) = 2/8
 p(meg) = 3/8

 Calculate: argmax(sad loose)

 p(sad loose|pos) = p(sad|pos) * p(loose|pos) = (0+1)/3 * (0+1)/3 = 1/9
 p(sad loose|neu) = p(sad|neu) * p(loose|neu) = (0+1)/3 * (0+1)/3 = 1/9
 p(sad loose|neg) = p(sad|neg) * p(loose|neg) =     1/3 *     1/3 = 1/9

 p(pos) * p(sad loose|pos) = 3/8 * 1/9 = 0.0416666667
 p(neu) * p(sad loose|neu) = 2/8 * 1/9 = 0.0277777778
 p(neg) * p(sad loose|neg) = 3/8 * 1/9 = 0.0416666667 <-- should be 100% neg!

正如你所看到的,我已经用正面(“快乐赢得好”),中立(“中立中间”)和负面(“悲伤松散坏”)推文“训练”了分类器.为了防止由于所有类中缺少一个单词而导致概率为零的问题,我使用LaPlace(或äddone“)平滑,请参阅”(0 1)“.

我基本上有两个问题：

>这是一个正确的实施蓝图吗？还有改进的余地吗？
>在对推文进行分类时(“悲伤的松散”),预计在“neg”类中为100％,因为它只包含否定词.然而,LaPlace平滑使事情变得更复杂：类pos和neg具有相同的概率.这有解决方法吗？

解决方法:

在推理中有两个主要因素需要改进.

首先,您应该改进平滑方法：

>应用拉普拉斯平滑时,应将其应用于所有测量,而不仅仅应用于具有零分母的测量.
>此外,对于这种情况的拉普拉斯平滑通常由(c 1)/(N V)给出,其中V是词汇量大小(例如,参见Wikipedia).

因此,使用您已定义的概率函数(可能不是最合适的,见下文)：

p(sad loose|pos) = (0+1)/(3+8) * (0+1)/(3+8) = 1/121

p(sad loose|neu) = (0+1)/(3+8) * (0+1)/(3+8) = 1/121

p(sad loose|neg) = (1+1)/(3+8) * (1+1)/(3+8) = 4/121 <-- would become argmax

此外,首先计算概率的更常见方法是：

(number of tweets in class containing term c) / (total number of tweets in class)

例如,在上面给出的有限列车组中,并且忽略平滑,p(sad | pos)= 0/1 = 0,并且p(sad | neg)= 1/1 = 1.当列车组大小增加时,数字将是更有意义.例如如果你有负10个推文,其中4个出现’悲伤’,那么p(sad | neg)将是4/10.

关于朴素贝叶斯算法输出的实际数字：你不应该期望算法为每个类分配实际概率;相反,类别顺序更重要.具体来说,使用argmax会给出算法对类的最佳猜测,但不是它的概率.为NB结果分配概率是另一个故事;例如,请参阅article讨论此问题.

标签：php,math,probability,classification,bayesian
来源： https://codeday.me/bug/20190630/1334307.html