大侠们有空就找找论文贴贴吧一起，什么信息熵，最大熵，隐含马尔可夫，信息过滤，降噪，增维。。。 我先推荐： 鲁晨光 先生的 《广义信息论》和《投资组合的熵理论和信息价值》 wenjin兄上次引荐，鲁先生甚是热情，还赠我大作，那是相当的感激！
《基于信息熵的全局多序列比对算法研究》 房丹 南昌大学 http://guest.cnki.net/grid2008/deta...ame=2010076411.nh&filetitle=基于信息熵的全局多序列比对算法研究
熵其实就是无序度的度量，用于信息上就是复杂程度的度量。通讯上利用信息熵理论计算信息容量上限，也即信息压缩的下限。 最大熵，简单的说就是在部分掌握一定知识的情况下，对于未知知识的分布，选择熵最大，也就是最不确定的分布。再简单的说，就是对未知信息做尽可能保证中性，没有倾向性的假设。 隐马尔可夫是贝叶斯网络的一维简化。要说清楚这个也很简单，假设有个人在丢硬币。他在幕布后面随机丢硬币，随机的选择不同的硬币（不同硬币正面朝上概率不一样），把结果告诉前面的人。幕布前的人只知道硬币序列（结果）但不知道哪些硬币产生的序列（原因）。所以叫“隐”马尔可夫链。 信息过滤么，一般就是基于噪声是无序的这一假设，用各种方法过滤噪声。过滤噪声的意义，是防止出现过渡拟合的问题。这个我觉得领会奥卡姆剃刀精神就行了～ 升维降维我没玩过...数学不太好...我是野路子...
Capital Growth: Theory and Practice http://stevanovichcenter.uchicago.edu/seminars/Handbook.pdf Edward O. Thorp http://www.edwardothorp.com/id20.html
列几个参考资料： Elements of Information Theory 2ed - by Cover ,Thomas (有中文版) Thomas M. Cover Joy A. Thomas 信息论基础 机械工业出版社 Entropy and Information Theory - by Robert M. Gray 2009.pdf The Mathematical Theory of Communication - by Claude E Shannon 1948 A new interpretation of information rate - by J. L. KELLY (Kelly 原始论文) Foundations of Statistical Natural Languange Processing - Manning Shutze 统计自然语言处理基础 电子工业出版社 Statistical Methods for Speech Recognition (Language, Speech, and Communication) - Hardcover (Jan. 16, 1998) by Frederick Jelinek Speech and Language Processing (2nd Edition) - Hardcover (May 26, 2008) by Daniel Jurafsky and James H. Martin Spoken Language Processing: A Guide to Theory, Algorithm and System Development 2001 Xuedong Huang, Alex Acero, Hsiao-Wuen Hon