从赌博中的概率到AI中的概率

不确定的世界

我们生活的这个世界里面普遍具有不确定性，除了很少一部分事件具有确定性，其它大部分事件都是不确定的。而这些不确定事件我们就需要概率来描述，目前概率论已经渗透进各个学科，可以说它是人类知识体系中非常重要的部分。概率论是科学的，科学理论也需要概率论去支撑。

关于概率

如果有人跟你说明天太阳从东边升起来，那么你会觉得这是确定的，因为在人类可以预见的未来都会是这样，这种事我们会说它的概率是。但如果有个卖保险的人向你推荐保险，对于有概率思维的你也许很快就会用各种理论去计算看哪款产品更优。从简单的掷骰子到复杂宏观的天气预测、股市经济预测，微观的量子力学等等都需要概率来描述。

概率下的游戏

概率论的早起源可以追溯到公元前的埃及人，他们就已经跟现代人一样开始用骰子来玩游戏了。与现代人不一样的是，他们玩骰子是因为当时饥荒很严重而玩骰子，这样他们就能忘记饥饿了，而现代人是因为吃太饱闲得慌去玩骰子赌博。

到十七世纪欧洲贵族盛行赌博，通过使用各种随机游戏来进行赌博。其中有些人就开始对随机游戏进行思考，哪种情况的可能性较大呢？一直到1654年，费尔马和帕斯卡两位数学家对于“分赌注问题”的通信讨论被公认为是概率论诞生的标志，他们两与惠更斯被称为早期概率论的创立者。

可以说，概率论的起源是赌博和游戏，后面才开始跳出赌博游戏而发展的。

概率论后期发展

后面概率论的发展已经跟赌博关系不大，主要是由科学技术发展而推动，同时社会生活中也有很多概率现象也推动了概率论的发展。现在与概率论密切相关的学科有很多，比如物理、经济、计算机科学、自然科学、社会科学、信息学、通信工程、生物、气象等等。

AI的概率论

人工智能涉及到了数学的多个方面，主要包括线性代数、微积分、概率论、数理统计、优化理论等等。可以说目前的AI是数学与计算机科学融合的产物，通过数学的方法来搭建模型，并通过数据和计算能力来驱动模型，从而让机器具备认识客观世界的能力。现在AI的主流还是机器学习和深度学习，其中也都涉及到概率论，往下了解。

深度学习中的概率计算

深度神经网络在输出时会使用一个似然函数，用来表示各个分类的概率，一般会使用softmax。softmax能使概率归一化，输出层中每个单元表示每个分类的概率值，加起来总和为1，且大概率分类作为预测分类。神经网络会包含输入层和隐含层，后通过softmax分析器就能得到不同条件下的概率，下图中是分为三个类别，终会得到y=0、y=1、y=2的概率值。

深度学习的随机机制

除了前面说到的输出层softmax概率计算，深度学习中还有权重随机初始化和dropout机制涉及到随机问题。可以说深度神经网络在训练过程中参数的初始化是很重要的，它将可能影响到模型训练不了或者训练时间更长问题，比如权重全部初始化为0则会导致梯度下降失效，一般会使用正态分布对权重进行随机初始化。此外，训练过程中也会使用dropout机制来防止过拟合问题，它会随机使神经元失效，从而避免过拟合。

探索性分析及预处理

探索性数据分析及数据预处理会大量涉及概率统计方法，比如简单的频率、众数、均值、中位数、偏差、方差、协方差、相关系数等等。而数据预处理时可能会进行归一化处理，还可能会修改样本的分布等等操作。

贝叶斯概率图模型

贝叶斯概率图模型可以说是AI的另外一个非常有活力的分支，虽然目前比起深度学习较少人关注，但它却是AI重要的方向。简单地说概率图模型是概率论与图论结合的一个方向，其中观测节点表示观测数据而隐含节点表示知识，边则表示知识与数据的关系，根据图结构得到概率分布来解决问题。常见的概率图模型包括简单的朴素贝叶斯、大熵模型、隐马尔可夫模型和条件随机场。