贝叶斯网络

• 马尔科夫链描述的是状态序列 ， 很多时候事物之间的相互关系并不能用一条链串起来 ， 比如研究心血管疾病和成因之间的关系便是如此错综复杂的 。 这个时候就要用到贝叶斯网络：每个状态只跟与之直接相连的状态有关 ， 而跟与它间接相连的状态没直接关系 。 但是只要在这个有向图上 ， 有通路连接两个状态 ， 就说明这两个状态是有关的 ， 可能是间接相关 。 状态之间弧用转移概率来表示 ， 构成了信念网络（Belief Network） 。
• 贝叶斯网络的拓扑结构比马尔可夫链灵活 ， 不受马尔科夫链的链状结构的约束 ， 更准确的描述事件之间的相关性 。 马尔科夫链是贝叶斯网络的一个特例 ， 而贝叶斯网络是马尔科夫链的推广 。
• 拓扑结构和状态之间的相关概率 ， 对应结构训练和参数训练 。 贝叶斯网络的训练比较复杂 ， 从理论上讲是一个NP完备问题 ， 对于现在计算机是不可计算的 ， 但对于某些具体应用可以进行简化并在计算机上实现 。

对于贝叶斯学派 ， 首先想到的就是后验概率公式和先验分布 ， 认为所有的变量都是随机的 ， 有各自的先验分布 。 我想贝叶斯网络是可以帮助医生进行诊断决策的 ， 前段时间研究过的compressive tracking就是采用的朴素贝叶斯分类器 ， 我对与贝叶斯相关内容的应用就是从此开始有所了解的 。 朴素贝叶斯分类有一个限制条件 ， 就是特征属性必须有条件独立或基本独立（实际上在现实应用中几乎不可能做到完全独立） 。 当这个条件成立时 ， 朴素贝叶斯分类法的准确率是最高的 ， 但不幸的是 ， 现实中各个特征属性间往往并不条件独立 ， 而是具有较强的相关性 ， 这样就限制了朴素贝叶斯分类的能力 。 这里讨论的就是贝叶斯分类中更高级、应用范围更广的一种算法——贝叶斯网络（又称贝叶斯信念网络或信念网络） 。

一个贝叶斯网络定义包括一个有向无环图（DAG）和一个条件概率表集合 。 DAG中每一个节点表示一个随机变量 ， 可以是可直接观测变量或隐藏变量 ， 而有向边表示随机变量间的条件依赖；条件概率表中的每一个元素对应DAG中唯一的节点 ， 存储此节点对于其所有直接前驱节点的联合条件概率 。
贝叶斯网络有一条极为重要的性质 ， 就是我们断言每一个节点在其直接前驱节点的值制定后 ， 这个节点条件独立于其所有非直接前驱前辈节点 。
这个性质很类似Markov过程 。 其实 ， 贝叶斯网络可以看做是Markov链的非线性扩展 。 这条特性的重要意义在于明确了贝叶斯网络可以方便计算联合概率分布 。 一般情况先 ， 多变量非独立联合条件概率分布有如下求取公式：
而在贝叶斯网络中 ， 由于存在前述性质 ， 任意随机变量组合的联合条件概率分布被化简成
【贝叶斯网络】其中Parents表示xi的直接前驱节点的联合 ， 概率值可以从相应条件概率表中查到 。

如果没有前驱结点 ， 就用先验概率带入 。 就这样能够计算出所有的相关或者间接相关的变量的联合概率密度 ， 知道了联合概率密度 ， 对于边缘概率密度的计算就非常简单了 ， 通过这个能够形成一些有意义的推理 ， 等效于生成了知识 。

贝叶斯网络比朴素贝叶斯更复杂 ， 而想构造和训练出一个好的贝叶斯网络更是异常艰难 。 但是贝叶斯网络是模拟人的认知思维推理模式 ， 用一组条件概率函数以及有向无环图对不确定性的因果推理关系建模 ， 因此其具有更高的实用价值 。
贝叶斯网络在词分类中的应用
使用贝叶斯网络建立一个文章、关键词和概念之间的联系 。