Ryan's Blog

概率论只不过是把常识用数学公式表达了出来。 ——拉普拉斯 目录 0. 前言 1. 历史     1.1 一个例子：自然语言的二义性     1.2 贝叶斯公式 2. 拼写纠正 3. 模型比较与贝叶斯奥卡姆剃刀     3.1 再访拼写纠正     3.2 模型比较理论（Model Comparasion）与贝叶斯奥卡姆剃刀（Bayesian Occam’s Razor）     3.3 最小描述长度原则     3.4 最优贝叶斯推理 4. 无处不在的贝叶斯     4.1 中文分词     4.2 统计机器翻译     4.3 贝叶斯图像识别，Analysis by Synthesis        4.4 EM 算法与基于模型的聚类     4.5 最大似然与最小二乘 5. 朴素贝叶斯方法（又名“愚蠢者的贝叶斯（idiot’s bayes）”）     5.1 垃圾邮件过滤器     5.2 为什么朴素贝叶斯方法令人诧异地好——一个理论解释 6. 层级贝叶斯模型     6.1 隐马可夫模型（HMM） 7. 贝叶斯网络 0.  前言 这是一篇关于贝叶斯方法的科普文，我会尽量少用公式，多用平白的语言叙述，多举实际例子。更严格的公式和计算我会在相应的地方注明参考资料。贝叶斯方法被证明是非常 general 且强大的推理框架，文中你会看到很多有趣的应用。 1.  历史 托马斯·贝叶斯（Thomas Bayes）同学的详细生平在 这里 。以下摘一段 wikipedia 上的简介： 所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“...

2012-08-28  二大爷    看国际新闻多了，经常会看到讨论某国政权合法性的问题。在越来越多的国际干涉中，政权的合法性往往是首当其冲的原因。比如叙利亚巴沙尔的政权，安理会介入首当其冲的原因就是“其政权已经丧失存在的合法性”。那么这个合法性到底是个什么玩意，这个值得剖一剖。 国人对于“政权”的认识，最早恐怕都是来自于那句 “枪杆子里出政权”。这句和现代公民社会理念格格不入的所谓名言，不仅没有因为凛冽的杀气和无数的尸骨作为铺垫而受到质疑，反而被当做成功者的豪言成为了别样的激励。用笑话来说，当暴力成为革命，以前打砸抢的历史就算工龄了。 但是，政权是不是一定要出自于枪杆子，枪杆子里面走出的政权到底具不具备法理基础，这是个大问题。萨达姆的政权出自枪杆子，卡扎菲的政权出自枪杆子，波尔布特的政权出自枪杆子……但他们都除了死亡合法，其他都没合法。 我们观摩欧洲君主登基，会发现他们的王冠都是教宗授予的。影响力巨大的教廷对于王权的认可，是国王权力合法性的基础。位于梵蒂冈的教皇，在很长一段时间内都是王冠批发专家。整个世界的文明史，很大部分是和宗教史紧密相连的。对于神的敬畏，成为诸多宗教阐释教义的基础。上天的意志自然而然成为最具说服力的行为准则，具备了不可撼动的法律效力。谁代表了上天的意志，谁就自然拥有了号令天下的权力。 古埃及祭师在整个国家中地位最高，权力最大。法老既是政权的代表，又是神权的代表。神权成为政权的基础和来源。这种政教合一的模式贯穿了大多数文明的早期的历史。这种可以认为是奴隶制社会残余的体制至今仍在阿拉伯世界和中亚顽强生存，例如伊朗。宗教领袖事实上掌握着国家的最高权力，关键时刻每每和独夫们站在一起，逆世界潮流而动也就不足为怪了。 　　中国人事实上也没有脱离这个框架，从西周开始，最高统治者成为“天子”，上天之子，奉天承运，理所当然。但是本土宗教发展的滞后和迟缓，使得中国人的神权有别于其他地区，更多的体现在祭祀之中，所谓“国之大事，唯祀与戎”。宗庙代替了教廷，成为王权与神权的交汇之处。但是，仅仅依靠血缘的传承和还是不够，祖先始终不及天意更有说服力。 　　连秦始皇这样所谓的千古一帝，虽然承六世之余烈，依靠武力荡平六国，但是在传国玉玺上还是要刻上“受命于天，既寿永昌”的字眼，甚至还费尽心机的去泗...