复杂的世界
我们生活在一个极其复杂的世界,不管是小到分子原子亦或是大到整个宇宙,其复杂程度都是超乎想象。或许你不曾深入去思考过身边事物的复杂性,那是因为你已经对你日常所见习以为常。所有在你出生之前发明的事物都是这个世界的自然组成部分,所以很多事物给人的感觉都是这个世界本来的样子。
像人类这样复杂的事物是如何出现的?像电脑这般复杂的事物是如何出现的?像大河山川那样复杂的事物又是怎样出现的呢?某些事物和另外某些事物是否有什么联系?周围的很多复杂事物也许并没有什么明显的规律,而且很多事物联系都并非是确定性的关系。万物都包含着信息,信息可被处理并使用(从广义上称为计算),从广义的信息和信息处理角度看,我们看到的事物变化其实是宇宙的计算。
不确定性是常态
我们的世界是一个充满不确定性的环境,整个世界并非严格按照某个制定好的路线运行的。多数事物之间也并非有因必有果,万物之间充满了不可控的随机事件,我们不会因为今天努力了明天就一定会成功。
我们总是擅长忽略随机性而牵强地去总结规律,很多事件属于独立随机事件,人们总是喜欢强行在完全随机事件中总结所谓的因果规律。并以此规律对未来进行预测,却不肯承认很多事件的发生是无缘无故随机发生的。
从物理角度看,某个物理系统由大量原子组成,系统内的粒子都有自己的瞬时位置和速度等状态。粒子的状态都是随机的不确定的,比如某种原子可能会衰变成另外一种粒子,我们能够确定它在n年内会发生衰变,但却无法确切知道具体什么时候发生衰变。那该如何来描述这种不确定的性质呢?答案就是通过整体来描述,大量原子作为整体时体现出来的规律是十分确定的。
以概率描述随机
不确定性事件的规律就是概率,独立随机事件我们没办法预测或控制它在某个时刻一定会发生,但却可以用概率来描述它发生的可能性。以概率论作为理论基础,为我们提供了认识不确定世界的方法。
根据对概率的不同解读可以将对概率的研究分为两个学派:频率学派和贝叶斯学派。频率学派认为事件概率需要通过无限抽样来确定,并且认为模型参数是固定且的,此外,他们还认为不存在先验。贝叶斯学派则认为世界不断在变化,事件的后验概率由先验概率不断修正得到。
两个学派的本质区别主要在于先验,对先验的不同认识将会影响到整个模型。
贝叶斯思维
贝叶斯对概率的不同解读为描述随机事件带来了新的视角,贝叶斯学派将随机事件描述为置信度。也就是说传统的概率是一种客观概率,而贝叶斯思维则认为概率是一个主观概念,表示我们对某事件的相信程度。可以说深远地影响着很多学科,现如今常见的大数据、人工智能等都与之关系密切。
在上图的公式中,P(A)就是先验概率,它表示我们在得到证据之前根据以往常识计算的值,有一定的主观因素在里面。而P(B|A)/P(B)则称为可能性函数(Likelyhood Function),这是一个调节因子,它的作用是让先验概率更接近真实概率。
贝叶斯思维通过对证据的积累来推测事件发生的概率,开始我们先根据已有经验计算一个先验概率,然后通过证据不断地积累来修正事件概率,终得到后验概率。
逆概率问题
贝叶斯同时也是一种解决逆概率的思维,正常情况下的正向概率我们很容易求得,比如已知10个球有2个红球8个黑球,随机抽一个是红球的概率。而逆概率则是反过来,我们预先并不知道红黑球的个数,只知道总共10个球,随机抽三个球为2黑1红,然后计算箱子里红黑球比例。
逆概率就是在事件已经确定的条件下去推断假设发生的可能性。现实中的问题更多需要逆概率的方式来解决,通过不断观察数据来修正先验概率,得到一个更加合理的后验概率。我们掌握的只有有限的信息,无法得到全面的信息,于是我们希望在信息有限的情况下,尽可能做出一个好的预测。
本公众号专注于人工智能、读书与感想、聊聊数学、计算机科学、分布式、机器学习、深度学习、自然语言处理、算法与数据结构、Java深度、Tomcat内核等。