使用人工智能的几点设想

Discussion in 'Model and Algorithm' started by T T L, Oct 17, 2009.

  1. 我的第一点设想是要明白干什么。干什么很重要,第一位的。

    当年做事情凭借热情,在matlab上建立BP用一个晚上就可以,找一份文本或者excel数据load进去,完成测试一周足够。问题在于这个东东用来干什么?比如用来拟合一段函数曲线,easy,拟合一段行情,easy,写文章,easy。获利能力达到一定程度,难了。始于热情,终于玩索,进了门,还得出来。我现在也没想好,假若上帝给我预测明天行情的能力,我能干什么。我的结论是,大部分情况下我什么也干不了。

    我的第二点设想是要知道怎么干。如果你不会用剑,没有任何一把剑能告诉你如何使用。

    BP走的是连续预测之路,换一个方案,只捕捉或者预测某些特别的行情,可不可以?这个就是模式识别了。预测是有争论的,模式基本上没有争论。你说市场可以连续预测,你每天都知道明天发生什么,这是有疑问的。你说在某些情况下,你可以预测市场发生什么,这个疑问小得多。我很看好模式识别,RBF在模式识别上比较好。

    RBF本身还是相当不错的,用于市场,长期数据测试有个鲁棒性问题。这个问题困扰了很久,直到2007年底的大熊市再次光临,我才终于明白,这个问题可能解决不了。凡是出现鲁棒性问题的地方,都是市场的转折点。如果你本人不能区分短期的市场变化与长期的市场转折,网络更不可能,因为对神经网络进行训练使用的数据是你选择的。

    鲁棒性问题,不是系统问题,不是网络问题,而是使用者的问题。使用者只有两个选择,要么用人不疑,那么你必须严格控制风险,要么疑人不用,那么你得自己判断市场的战略布局。
     
  2. 个人体会
    1.设想(框架)是最要紧的,也决定困难程度。
    2.人工智能算法只是信息提取的工具,较人能更多维和复杂看世界,需要合理把握信息和噪音程度。
    要用好神经网络需要从它的角度看这个金融世界,包括目标、数据、变量等,主要优点能捕捉非线性的结构,缺点是容易过度拟合、模型衰减的会很快,主要抓的是局部模式,对本身高噪音的市场来说,也许现在是信息,长远看就是噪音,所以导致鲁棒性不好。
    3.数据选择很重要,要想有鲁棒性,最好能选一个经济周期,人工智能学习与历程和人一样。
     
  3. 欢迎dminer参与。模型衰减是个致命问题。

    我认为市场整体上、长时间来看是有效的,但是在局部、个体上是有缺陷的,这种缺陷创造了获利机会。模式及识别相当于一种套利,你识别了一个模式,你从中获利了,这个模式的有效性会减弱。

    全世界有亿万投资者盯着区区几个市场,象石油、黄金、美元等品种,应当每一个品种有百万之众。国内有一亿股民,而上市公司不过千五,每一个品种都有10万人盯着。这真是一个极其庞大的数字,10万以及100万个脑袋日日夜夜执行着超-超-超-超级并行运算,假若存在着可以长期稳定获利的模式,这么多脑袋不可能长期没有发现。

    换而言之,如果我的假设无误,必然结论是,所有的获利模式都是暂时的,或者,所有的能够长期获利的模式都必然经历阶段性衰退。随着超级计算机进入交易领域,以最近的高频交易为参考,衰退问题更加严重。

    这个结论延伸到人工智能模式识别,我的推论是,不能用非常长、范围非常宽的数据建立模式,否则,几乎没有模式能够经得起检验。
     
  4. 玩模式识别,比的就是谁快,先建立起来,先使用,则拥有优势,反而,则面临衰退。在模式识别方面RBF是很强的,对此我没有任何疑问。但是,绕了很大一个圈子,作为使用者仍然回到了起点,人的因素无可替代,无可避免,进了门,然后又出来,丢开手了,还要再次抓住。dminer朋友说的完全正确,它只是一个工具。

    这就是我的两段经历,留其他朋友借鉴。
     
  5. 谢谢ttl 的分享!
    我也曾经使用过rbf,但当年水平有限,没有研究出可以实战的模型。
    在rbf的训练中,感觉人的因素太大了。人主观的训练目录成为左右模型的主要因素,对现有数据过度拟合直接导致预测数据的发散。
    期望能向您学习下,我的qq是:787480882 msn:jqbsq@hotmail.com
    也期望能和更多做神经网络模型预测的朋友交流学习!
     
  6. 说得很好,天天进步。
     
  7. [​IMG]
     
  8. 老大!牛!
    呵呵!
     
  9. 作一点总结,欢迎大家补充和指正。
    对交易系统而言,人工智能优点
    (1) 处理庞大的信息(人脑处理信息有限);
    (2) 提取模式:结构和非结构(人脑经验模式,基本属于结构模式);
    (3) 基于历史数据学习模式 + 模拟交易backtesting;
    (4) 学习时间短,分布式或云计算等可以大大缩短建模时间(人需要较长时间的市场学习和摸索,还要交学费);
    (5) 逐步可以实现自动化,至少对一些非参数算法。

    缺点:
    (1) 不够人智能,很多时候不及人处理能力和正确率;
    (2) 更多捕捉统计(平均)效应,很难提取到暴利模式;
    (3) 时间序列分析还是个挑战。

    金融市场是个信息稀缺的市场。不管以什么方式和角度,大家从事交易也在于发掘赚钱的信息。
    人工智能是一个工具,量化投资的一条途径,更多的策略是基于市场不有效的局部模式,效果还是很依赖建模者的水平。
    神经网络还是可以建立能够长期获利的模式,但非单一技术,需要做很多细的工作。
    长期获利的模式存在就在于,金融市场属于行为系统,人不管处于什么时代,面对金钱都会有一些“共性”,至少还没进化的这么快。
    就长期性而言,为什么说最好能选一个经济周期,人工智能的学习和人一样,没有经历过熊市,又如何让它能从熊市里捕捉盈利模式。
     
  10. 说的很好。
    除了matlab之外,又没有一些好的开源包?总觉得matlab速度略慢一些。
     
  11. 很多时候大家希望使用人工智能去解决问题,但是却没有明白自己要解决的问题到底是什么,
    也没有花点时间去从全局看一下人工智能到底有那些应用。

    人工智能涉及的领域非常之多,随便找一本经典教科书看看目录就知道内容有多广泛。
    但是,仔细分析一下,其实可以归结为几个大的基本方向:
    1) 识别,2) 学习,3) 推理,4) 决策
    很多东西,比如神经网络,自然语言识别,自动翻译,知识库,专家系统,机器人控制等等,
    其实都是上面4个领域在实际应用中的组合。

    在我看来,AI的难点在于推理和决策。
    学习和识别已经有很多成熟的理论和方法,很多自动系统完全可以超过人的能力,这方面的例子非常多。
    但是推理和决策方面,很少有自动系统能够超越人脑的,
    大多数系统都是采用超大计算能力去尽量穷举(或聪明一点走捷径)高维空间里面的各种组合,
    然后确定一个得分最高的结果作为输出。
    但是人脑完全不是这样的工作的,人脑在定性的,非量化的推理方面的能力超乎寻常。
    ......
    这个话题说下去就太长了,简单地说吧,
    我觉得神经网络基本属于识别,学习,知识表现这个范畴,
    在神经网络方面即使走得很深入,也不会对交易系统有本质的提高
    一个交易系统里面其实最关键的在于推理和决策。
     
    Darren likes this.
  12. 成功的交易者,有些只用简单的指标,有些是完全不用指标只看图。
    他们的知识和经验可以归纳为一条条规则放到一个知识库里面,
    他们用肉眼能识别的形态,可以有很多的算法(包括NN)去准确的识别,
    但是就算有人把这些东西都放在你的面前,你也不一定能像那些交易者一样去获利,
    为什么???
    因为你不知道他的思考(推理)过程和决策过程。
    就算他很慷慨地告诉你,
    首先,你不能确保他告诉你了全部(很多东西甚至已经成为他下意识的东西),
    其次,这个过程很难被建模或量化。

    这应该就是AI的用武之地了。具体用什么,留给大家一起研究。
    不过,我觉得神经网络在这个方面能力非常有限。
     
  13. if input="你吃了吗?"
    then print “还没。”
    else if input="你好?"
    then print "你好。"
    else if input="你真聪明!"
    then print "谢谢。"
    else if input="你真傻。"
    then print "你才傻冒!"
    else print "问题不对,你脑子进水呀!"
    quit
     

  14. 存疑。交易的决策好像不需要推理,也无法推理。
    搞基本面投资的才需要推理,那是另一条道。
     
  15. 非也。
    最简单的一个推理和决策:
    if (crossover(Close, MA(20)) then buy (...)
    就是因为它太直接,太普通,所以你可能都不觉得它是一个决策
     
  16. 恐怕我们对推理的定义不一样。

    在我看来,存在逻辑关系的,才叫推理。例如,工人罢工=》铜矿减产=》铜价上涨,这是推理。

    上穿均线穿和买入执行这两者之间不存在明显和必然的逻辑关系。作为交易者,只需关注这个现象是否有效(具有正的期望值),对于何种市场有效,在多大程度上有效。。。而不必关心,实际上也很难考证这个现象背后具有什么样的逻辑。
     
  17. "基于市场不有效的局部模式",交易的永恒的必然之路。“效果还是很依赖建模者的水平”,建模者的水平一成不变的话,效果肯定是很差的。

    “长期获利的模式存在就在于,金融市场属于行为系统,人不管处于什么时代,面对金钱都会有一些“共性”,至少还没进化的这么快”,完全赞同!问题的要点在于,“人”都有的共性,“你”凭什么能没有?我想出来了两条路,兵来将挡,水来土掩,我坚决不兵来兵挡,坚决拒绝水来水去。
     
  18. 对于推理的定义的确是有很多,也存在很多不同的推理。不过我们应该是在说同样的东西。
    (另外,推理中的前后句其实不一定要有逻辑关系,不过这是另外的话题,并影响我们这里的讨论,略过)
    我上面的例子中是有一个推理过程的:
    股价上涨 -> 买方力量大于卖方力量

    “上穿均线穿和买入执行这两者之间不存在明显和必然的逻辑关系。”我同意你这句话,实际上这是决策。
    所以,我上面的例子就包含了最简单(或者说是下意识的)推理和决策。

    现实当中,可能有的人使用这样的推理:
    股价上涨 -> 即将到达前期重要阻力位
    那么这个人的决策可能就是卖出,而不是买入...

    我举这个例子就是要说,交易系统里面最重要的核心在于推理和决策。
    这也是很多数人在开发系统时花了很多时间却没有意识到的。
     
  19. 完全赞同ttl的观点,基于相同的观点我目前基本实现了人工建模和进化,其它的工作都由电脑完成,建模初期可能工作量比较大,后期模型稳定后进化周期就比较长了,现在已经很闲了,有大把时间做做自己爱好的事情了.
     
  20. 好!走得很前了,我还没有玩到进化。我的神经网络可以自适应,自训练,实际上只是自动调整几个参数的大小而已,不能自动进化,结构不能变。