作者：白宁超2016年7月11日22:54:57 摘要：最早接触马尔可夫模型的定义源于吴军先生《数学之美》一书，起初觉得深奥难懂且无什么用场。直到学习自然语言处理时，才真正使用到隐马尔可夫模型，并体会到此模型的妙用之处。
If you are a student and you are worried about you statistical ＃Assignments， ＃Data ＃Analysis， ＃Thesis， ＃Reports， ＃Composing， ＃Quizzes， Exams.. And if you are facing problem in ＃SPSS， ＃R-Programming， ＃Excel， Mplus， then contact me. Because I could provide you the best services for your Data Analysis.
即，最大化 P 在求解HMM的过程中，需要维护三个矩阵：1. 初始概率分布； 2.状态转移矩阵A；3. 观察概率分布B 由假设1可以知，如果最终的最优路径经过某个o点的路径必然也是一个最优路径，因为每个节点o可以通过Viterbi 算法来解决。
其产生于20世纪50年代早期，是在贝叶斯理论框架下，通过计算机进行模拟的蒙特卡洛方法。Metropolis算法及其推广算法已被称为蒙特卡洛马尔可夫链技术，因为这些算法模拟了一个马尔可夫链，从极限分布中获取抽样。
在今天的文章中，我们使用来自Stuart Russell和Peter Norvig的《Artificial Intelligence: A Modern Approach》一书中的网格例子来介绍MDP的基本概念。
