编程语言
首页 > 编程语言> > 机器学习算法学习---关联分析算法（二）

机器学习算法学习---关联分析算法（二）

作者：互联网

FP-growth算法只需要对数据库进行两次扫描，故速度要比Apriori算法快。

发现频繁项集的基本过程：（1）构建FP树；（2）从FP树中挖掘频繁项集。

优点：一般要快于Apriori

缺点：实现比较困难，在某些数据集上性能会下降

适用数据：标称型

1、FP树：用于编码数据集的有效方式

FP代表频繁模式（Frequent Pattern）。FP树看上去与其他树类似，但是它通过链接来连接相似元素，被连起来的元素项可以看成一个链表。一个元素项可以在一棵FP树中出现多次；FP树会存储项集的出现频率，而每个项集会以路径的方式存储在树中。存在相似元素的集合会共享树的一部分；只有当集合之间完全不同时，树才会分叉。树节点上给出集合中的单个元素及其在序列中的出现次数，路径会给出该序列的出现次数。

相似项之间的链接即节点链接，用于快速发现相似项的位置。

算法流程：首先构建FP树，然后利用它来挖掘频繁项集。

构建FP树需要对原始数据集扫描两遍：第一遍对所有元素项的出现次数进行计数，根据Apriori原理，排除非频繁元素项；第二遍只考虑频繁元素构建树。

2、构建FP树

（1）创建存储其的数据结构

利用python类进行定义，具体定义如下：

 

FP树的定义class treeNode: def __init__(self, nameValue,numOccur,parentNode): self.name = nameValue self.count = numOccur self.nodeLink = None self.parent = parentNode self.children = {} def inc(self,numOccur): self.count += numOccur def disp(self,ind=1): print(' '*ind,self.name,' ',self.count) for child in self.children.values(): child.disp(ind+1)

 

（2）构建

除了FP树，还需一个头指针表来指向给定类型的第一个实例。

可以使用字典保存头指针表。除了存放指针，头指针表还可以用来保存FP树中每类元素的总数。

为了使相同项不会重复出现在树中，在将集合添加到树之前，需要对每个集合进行排序。排序基于元素项的绝对出现频率来进行。

基本思想：从空集开始，向其中不断添加频繁项集；过滤、排序后的事物依次添加到树中，如果树中已存在现有元素，则增加现有元素的值；如果现有元素不存在，则向树添加一个分枝。

python实现如下：

 

构建def createTree(dataSet,minSup=1): headerTable={} for trans in dataSet: for item in trans: headerTable[item] = headerTable.get(item,0) + dataSet[trans] for k in headerTable.keys(): if headerTable[k]<minSup: del headerTable[k] freqItemSet = set(headerTable.keys()) if len(freqItemSet)==0: return None,None for k in headerTable: headerTable[k] = [headerTable[k],None] retTree = treeNode('NullSet',1,None) for tranSet,count in dataSet.items(): localD = {} for item in tranSet: if item in freqItemSet: localD[item] = headerTable[item][0] if len(localD) > 0: orderedItems = [v[0] for v in sorted(localD.items(),key=lambda p:p[1],reverse=True)] updateTree(orderedItems,retTree,headerTable,count) return retTree,headerTabledef updateTree(items,inTree,headerTable,count):#更新FP树 if items[0] in inTree.children: inTree.children[items[0]].inc(count) else: inTree.children[items[0]] = treeNode(items[0],count,inTree) if headerTable[items[0]][1]==None: headerTable[items[0]][1] = inTree.children[items[0]] else: updateHeader(headerTable[items[0]][1],inTree.children[items[0]]) if len(items)>1: updateTree(items[1::],inTree.children[items[0]],headerTable,count)def updateHeader(nodeToTest,targetNode):#更新头指针表 while nodeToTest.nodeLink != None: nodeToTest = nodeToTest.nodeLink nodeToTest.nodeLink = targetNode#简单数据集及数据包装器def loadSimpDat(): simpDat = [['r','z','h','j','p'], ['z','y','x','w','v','u','t','s'], ['z'], ['r','x','n','o','s'], ['y','r','x','z','q','t','p'], ['y','z','x','e','q','s','t','m']] return simpDatdef createInitSet(dataSet): retDict={} for trans in dataSet: retDict[frozenset(trans)] = 1 return retDict

 

3、从一棵FP树中挖掘频繁项集

基本步骤：

（1）从FP树中获得条件模式基；

（2）利用条件模式基，构建一个条件FP树；

（3）迭代重复步骤（1）（2），直到树包含一个元素项为止。

1）抽取条件模式基

条件模式基：以查找元素为结尾的路径集合。（均为前缀路径：介于所查找元素项与树根结点之间的所有内容）

每一条前缀路径都与一个计数值关联。该计数值等与起始元素项的计数值。

python实现如下：

 

发现以给定元素项结尾的所有路径的函数def ascendTree(leafNode,prefixPath): if leafNode.parent !=None: prefixPath.append(leafNode.name) ascendTree(leafNode.parent,prefixPath)def findPrefixPath(basePat,treeNode): condPats={} while treeNode != None: prefixPath =[] ascendTree(treeNode,prefixPath) if len(prefixPath)>1: condPats[frozenset(prefixPath[1:])] = treeNode.count treeNode = treeNode.nodeLink return condPats

 

2）创建条件FP树

python实现如下：

 

递归查找频繁项集def mineTree(inTree,headerTable,minSup,preFix,freqItemList): bigL = [v[0] for v in sorted(headerTable.items(),key=lambda p:p[1])] for basePat in bigL: newFreqSet = preFix.copy() newFreqSet.add(basePat) freqItemList.append(newFreqSet) condPattBases = findPrefixPath(basePat.headerTable[basePat][1]) myCondTree,myHead = createTree(condPattBases,minSup) if myHead != None: mineTree(myCondTree,myHead,minSup,newFreqSet,freqItemList)
 

 

标签：FP,items,self,元素,关联,学习,算法,inTree,headerTable
来源： https://www.cnblogs.com/zhenpengwang/p/10920604.html