贝叶斯定理
🔖 math
🔖 probability and statistics
全概率公式是由原因导向结果，而贝叶斯是由结果导向原因。下面由一个例子宏观理解下这一概念。
村里有且仅有 2 个小偷 A 和 B，根据统计村里盗窃案：
- A 偷东西的可能性是 \(0.2\)，且 A 偷成功的概率是 \(0.8\)
- B 偷东西的可能性时 \(0.8\)，且 B 偷成功的概率是 \(0.3\)
现在问题来了，如果发现村里有东西被偷了，那么是谁偷走的概率比较大呢？在此处显然是一个有结果推原因的问题：结果是『东西已经被偷』，原因是『谁偷的』。
由已知信息可推断在发生盗窃的情况下东西成功被偷走的概率为：
\[ \begin{aligned} P(H) &= P(H|A)P(A) + P(H|B)P(B)\\ &= 0.8*0.2 + 0.3*0.8\\ &= 0.4 \end{aligned} \] 也就是说，如果小偷实施了盗窃，那么被偷走的概率就是 \(0.4\)。那么：
被 A 偷走的概率：
\[ P(A|H)=\frac{P(H|A)P(A)}{P(H)}=\frac{0.8*0.2}{0.4}=0.4 \]
被 B 偷走的概率：
\[ P(B|H)=\frac{P(H|B)P(B)}{P(H)}=\frac{0.3*0.8}{0.4}=0.6 \]
从以上可以看出，贝叶斯想表达的是，在已知结果的情况下，分别由各个基本事件导致的概率。感性地可以认为，导致这个结果，大家都需要分别承担一定的责任比例。整个事件发生的概率是 \(P(H)\)，A 导致该事件发生的能力为 \(P(H|A)P(A)\)，B 导致该事件发生的能力为 \(P(H|B)P(B)\)。那么自然而然可以认为彼此需要承担的责任比例为：\(P(A|H)=\frac{P(H|A)P(A)}{P(H)}\) 和 \(P(B|H)=\frac{P(H|B)P(B)}{P(H)}\)。