除了神经网络的方法,还有什么算法可以实现机器的训练和自我学习?

Discussion in 'Model and Algorithm' started by clmtw, Jul 6, 2009.


  1. 实际上是前段时间我让机器进行无监督自主学习和生成策略并进行改进。
    过了半个多月,那天看情况发现,有部分表现好的就出现了上面的情况。
    现在一个维度肯定是可以确认的,而且那些天文数字是在同一维度的,所以我想,有可能是其他维度的在这个维度的映射或者是维度参照不同导致的。通常的降维,也是要有参照维度的,根据我之前的经验,但是我现在连维度都确认不了。
     
  2. 我还是不明白...我觉得出现你所说的现象那简直几乎是一定的,所以才需要高维空间来区分啊。而且我还是不明白,这个现象带来了什么问题呢?

    另外怎么可能连维度都无法确认呢?你的数据向量长度是多少,这个怎么可能会不知道呢~~~
     
  3. 这就根外星人存在简直是一定的道理一样。。。计算耗时巨大。。。而且通不过常识性检验啊。

    即便有一组动态的超远距离的向量长度,又有什么用呢。。。
    反正目前除了用基于核密度函数各类算法来试着搞搞看,我实在想不出什么简单的方法。
     
  4. 恩~~我还是不能理解你的问题,所以也不知道怎么解决。高维的问题就是数据稀疏和计算巨大。因此只有某些场合,比如SVM这种,凑巧可以通过核函数在低维完成高维等价运算的,工程使用价值才比较大~

    我不太清楚你的计算耗时到什么程度?如果只是差2个数量级的话,我想在不改进方法的情况下,利用显卡把计算速度提高100倍还是有可能能做到的(其实还是要看运气,要看你的算法是否适应显卡的并行计算模型)。但是再高也就无能为力了。
     
  5. “高维的问题就是数据稀疏和计算巨大。因此只有某些场合,比如SVM这种,凑巧可以通过核函数在低维完成高维等价运算的,工程使用价值才比较大~”
    就是这么回事儿啊~~


    其实有些这些个天文数组的模型,还是有独到性的,但是这么搞出来,不但波动大,而且计算量也大,形象点儿,就好像哈雷彗星那样,只不过比哈雷快好多。所以我本来的想法是,如果真的可以确定一个维度,能使天文数字的结果转化为非天文数字,这样不就是哈雷彗星变火星了么,呃~,火星不太确切,反正就那个意思。这个是我的第一反应,可是呢,如果真那么做,那不又是一个多维的建模过程,可能就把简单的事情搞复杂了。所以我就想是不是有方法简单的确定维度,这样分割出来之后,就可以达到目的。

    反正其实不是特重要和特迫切需要解决的问题。是不是最后真的可以实际应用我也不知道:D
     
  6. 恩...看你不停的在说天文数字...看起来好像是遇到了奇点问题。这个问题我觉得你可以不用费心去研究了。奇点的出现,是超越数学描述能力的结果。你只能小心避免,无法解决。
    否则,大统一理论早就成功了~
     
  7. 如果是奇点的话,那某些几何量和某些参数指标的概率密度也许能找出来,但是对于一个时间维度的天文数组来讲,这样的奇点的确定又有什么意义呢。况且还得先证明是否有这么“个”“点”。。。所以,有没有简单点儿的方法?:)
     
  8. 因为我不太明白你的情况,所以很难说些具体的东西。另外你的“天文数组”是不是指“天文数字”啊...

    所谓奇点,并不是一个点,而是一个禁区。这个禁区里面,是人类思维无法获悉的东西,是思维的边界。
    例如,我们有相对论,知道质量超大的物体能对空间产生什么样的影响。我们也有量子论,知道尺度非常小的物体,具有什么特性。那么对于黑洞这种同时具有质量超大,体积极小的东西,会怎样呢?如果把相对论与量子论的公式拿进去套,结果只能得到一堆无穷大。无穷大它没有任何意义,并且无穷大的存在,阻碍了人们进一步认识黑洞内部细节的可能。

    类似的事情其实比比皆是。求矩阵的反矩阵,有些情况下会得到奇异矩阵,这个东西,就跟除零一样,是数学处理不了的东西。我们做各类公式推导的时候,也会特别注意某些奇异点,比如(a-x)/(b-x)=(c-x)/(d-x),等价与(a-x)(d-x)=(c-x)(b-x),同时对于x=b,x=d的情况就要特殊处理。

    感性的说,天文数字其实就相当于无穷大。它的存在,拉大了坐标轴的尺度,让我们无法关注于正常尺度的分析。例如,a=b+inf-inf。结果是什么?谁都不知道。也许是a=b,也许是a>b,也许是a<b,都是有可能的。就算不是inf,而是一个确定的天文数字,诸如a=b+big_num1-big_num2。也会因为这两个bignum的存在,导致你缺乏足够的精度去分析a和b,最终得到错误的结果。

    之所以产生奇异点,这个问题就复杂了,可能是因为我们选择的视角不好,也可能是根本不存在一个恰当的视角。总之,其实人类发明的各种方法,都有其处理不了的界限,遇到这些问题的时候,我的建议就是当逃兵,换别的方法别的思路。因为我们不是科学家,突破这些界限并不是我们的任务,并且也并不知道我们的界限在哪里。

    人类能解决的事情,就如SVM一样,遇到许多“恰巧”的时候,才能顺利解决。所以要习惯这种无力感,恩~
     
  9. 越来越高深了 :confused:
     
  10. 写得真好,lvsoft老兄很厉害,总是直达本质!:eek::eek::eek::eek:
     
  11. 说起来似乎SVM是“凑巧”找到一些函数可以在低维完成高维的等价运算,其实这是有数学上的必然性的。举个例子来说,比如像z^2(假设z是一个n维的向量)这么简单的一个函数,就可以改变数据的稀疏性。如果你对一个向量集合不停地迭代应用这个函数,它会使得集合里模小于1的点向原点塌陷,而模大于1的点向无限远处飞驰,从而数据的分布在这种变换中被改变了,某种形式的切割就变得可能。
     
  12. 是地,很多还要看缘份的。恩~:D
     
  13. SVM不就是基于核密度基础的算法之一。
    这种东西搞起来很麻烦,我只是发现了现象,所以顺便请教下。
     
  14. 这个不就是分形么...
     
  15. 咱们这些半吊子,搞计算机、搞行为学的,现在还得搞高级物理。。。。
     
  16. 太复杂的效果不一定好,你可以试一下自适应回归方法
     
  17. 是不是Agent Model?
     
  18. 有意思的比喻。
     
  19. 有意思,知道纳什为什么疯了,天才对于这种极限也无可奈何。所以通常我做决策不是依靠一些无法理解的知识,而是按照自己熟悉能理解的做决策,其他人应该也一样。:D