我的第一点设想是要明白干什么。干什么很重要,第一位的。 当年做事情凭借热情,在matlab上建立BP用一个晚上就可以,找一份文本或者excel数据load进去,完成测试一周足够。问题在于这个东东用来干什么?比如用来拟合一段函数曲线,easy,拟合一段行情,easy,写文章,easy。获利能力达到一定程度,难了。始于热情,终于玩索,进了门,还得出来。我现在也没想好,假若上帝给我预测明天行情的能力,我能干什么。我的结论是,大部分情况下我什么也干不了。 我的第二点设想是要知道怎么干。如果你不会用剑,没有任何一把剑能告诉你如何使用。 BP走的是连续预测之路,换一个方案,只捕捉或者预测某些特别的行情,可不可以?这个就是模式识别了。预测是有争论的,模式基本上没有争论。你说市场可以连续预测,你每天都知道明天发生什么,这是有疑问的。你说在某些情况下,你可以预测市场发生什么,这个疑问小得多。我很看好模式识别,RBF在模式识别上比较好。 RBF本身还是相当不错的,用于市场,长期数据测试有个鲁棒性问题。这个问题困扰了很久,直到2007年底的大熊市再次光临,我才终于明白,这个问题可能解决不了。凡是出现鲁棒性问题的地方,都是市场的转折点。如果你本人不能区分短期的市场变化与长期的市场转折,网络更不可能,因为对神经网络进行训练使用的数据是你选择的。 鲁棒性问题,不是系统问题,不是网络问题,而是使用者的问题。使用者只有两个选择,要么用人不疑,那么你必须严格控制风险,要么疑人不用,那么你得自己判断市场的战略布局。
个人体会 1.设想(框架)是最要紧的,也决定困难程度。 2.人工智能算法只是信息提取的工具,较人能更多维和复杂看世界,需要合理把握信息和噪音程度。 要用好神经网络需要从它的角度看这个金融世界,包括目标、数据、变量等,主要优点能捕捉非线性的结构,缺点是容易过度拟合、模型衰减的会很快,主要抓的是局部模式,对本身高噪音的市场来说,也许现在是信息,长远看就是噪音,所以导致鲁棒性不好。 3.数据选择很重要,要想有鲁棒性,最好能选一个经济周期,人工智能学习与历程和人一样。
欢迎dminer参与。模型衰减是个致命问题。 我认为市场整体上、长时间来看是有效的,但是在局部、个体上是有缺陷的,这种缺陷创造了获利机会。模式及识别相当于一种套利,你识别了一个模式,你从中获利了,这个模式的有效性会减弱。 全世界有亿万投资者盯着区区几个市场,象石油、黄金、美元等品种,应当每一个品种有百万之众。国内有一亿股民,而上市公司不过千五,每一个品种都有10万人盯着。这真是一个极其庞大的数字,10万以及100万个脑袋日日夜夜执行着超-超-超-超级并行运算,假若存在着可以长期稳定获利的模式,这么多脑袋不可能长期没有发现。 换而言之,如果我的假设无误,必然结论是,所有的获利模式都是暂时的,或者,所有的能够长期获利的模式都必然经历阶段性衰退。随着超级计算机进入交易领域,以最近的高频交易为参考,衰退问题更加严重。 这个结论延伸到人工智能模式识别,我的推论是,不能用非常长、范围非常宽的数据建立模式,否则,几乎没有模式能够经得起检验。
玩模式识别,比的就是谁快,先建立起来,先使用,则拥有优势,反而,则面临衰退。在模式识别方面RBF是很强的,对此我没有任何疑问。但是,绕了很大一个圈子,作为使用者仍然回到了起点,人的因素无可替代,无可避免,进了门,然后又出来,丢开手了,还要再次抓住。dminer朋友说的完全正确,它只是一个工具。 这就是我的两段经历,留其他朋友借鉴。
谢谢ttl 的分享! 我也曾经使用过rbf,但当年水平有限,没有研究出可以实战的模型。 在rbf的训练中,感觉人的因素太大了。人主观的训练目录成为左右模型的主要因素,对现有数据过度拟合直接导致预测数据的发散。 期望能向您学习下,我的qq是:787480882 msn:jqbsq@hotmail.com 也期望能和更多做神经网络模型预测的朋友交流学习!
作一点总结,欢迎大家补充和指正。 对交易系统而言,人工智能优点 (1) 处理庞大的信息(人脑处理信息有限); (2) 提取模式:结构和非结构(人脑经验模式,基本属于结构模式); (3) 基于历史数据学习模式 + 模拟交易backtesting; (4) 学习时间短,分布式或云计算等可以大大缩短建模时间(人需要较长时间的市场学习和摸索,还要交学费); (5) 逐步可以实现自动化,至少对一些非参数算法。 缺点: (1) 不够人智能,很多时候不及人处理能力和正确率; (2) 更多捕捉统计(平均)效应,很难提取到暴利模式; (3) 时间序列分析还是个挑战。 金融市场是个信息稀缺的市场。不管以什么方式和角度,大家从事交易也在于发掘赚钱的信息。 人工智能是一个工具,量化投资的一条途径,更多的策略是基于市场不有效的局部模式,效果还是很依赖建模者的水平。 神经网络还是可以建立能够长期获利的模式,但非单一技术,需要做很多细的工作。 长期获利的模式存在就在于,金融市场属于行为系统,人不管处于什么时代,面对金钱都会有一些“共性”,至少还没进化的这么快。 就长期性而言,为什么说最好能选一个经济周期,人工智能的学习和人一样,没有经历过熊市,又如何让它能从熊市里捕捉盈利模式。
很多时候大家希望使用人工智能去解决问题,但是却没有明白自己要解决的问题到底是什么, 也没有花点时间去从全局看一下人工智能到底有那些应用。 人工智能涉及的领域非常之多,随便找一本经典教科书看看目录就知道内容有多广泛。 但是,仔细分析一下,其实可以归结为几个大的基本方向: 1) 识别,2) 学习,3) 推理,4) 决策 很多东西,比如神经网络,自然语言识别,自动翻译,知识库,专家系统,机器人控制等等, 其实都是上面4个领域在实际应用中的组合。 在我看来,AI的难点在于推理和决策。 学习和识别已经有很多成熟的理论和方法,很多自动系统完全可以超过人的能力,这方面的例子非常多。 但是推理和决策方面,很少有自动系统能够超越人脑的, 大多数系统都是采用超大计算能力去尽量穷举(或聪明一点走捷径)高维空间里面的各种组合, 然后确定一个得分最高的结果作为输出。 但是人脑完全不是这样的工作的,人脑在定性的,非量化的推理方面的能力超乎寻常。 ...... 这个话题说下去就太长了,简单地说吧, 我觉得神经网络基本属于识别,学习,知识表现这个范畴, 在神经网络方面即使走得很深入,也不会对交易系统有本质的提高 一个交易系统里面其实最关键的在于推理和决策。
成功的交易者,有些只用简单的指标,有些是完全不用指标只看图。 他们的知识和经验可以归纳为一条条规则放到一个知识库里面, 他们用肉眼能识别的形态,可以有很多的算法(包括NN)去准确的识别, 但是就算有人把这些东西都放在你的面前,你也不一定能像那些交易者一样去获利, 为什么??? 因为你不知道他的思考(推理)过程和决策过程。 就算他很慷慨地告诉你, 首先,你不能确保他告诉你了全部(很多东西甚至已经成为他下意识的东西), 其次,这个过程很难被建模或量化。 这应该就是AI的用武之地了。具体用什么,留给大家一起研究。 不过,我觉得神经网络在这个方面能力非常有限。
if input="你吃了吗?" then print “还没。” else if input="你好?" then print "你好。" else if input="你真聪明!" then print "谢谢。" else if input="你真傻。" then print "你才傻冒!" else print "问题不对,你脑子进水呀!" quit
恐怕我们对推理的定义不一样。 在我看来,存在逻辑关系的,才叫推理。例如,工人罢工=》铜矿减产=》铜价上涨,这是推理。 上穿均线穿和买入执行这两者之间不存在明显和必然的逻辑关系。作为交易者,只需关注这个现象是否有效(具有正的期望值),对于何种市场有效,在多大程度上有效。。。而不必关心,实际上也很难考证这个现象背后具有什么样的逻辑。
"基于市场不有效的局部模式",交易的永恒的必然之路。“效果还是很依赖建模者的水平”,建模者的水平一成不变的话,效果肯定是很差的。 “长期获利的模式存在就在于,金融市场属于行为系统,人不管处于什么时代,面对金钱都会有一些“共性”,至少还没进化的这么快”,完全赞同!问题的要点在于,“人”都有的共性,“你”凭什么能没有?我想出来了两条路,兵来将挡,水来土掩,我坚决不兵来兵挡,坚决拒绝水来水去。
对于推理的定义的确是有很多,也存在很多不同的推理。不过我们应该是在说同样的东西。 (另外,推理中的前后句其实不一定要有逻辑关系,不过这是另外的话题,并影响我们这里的讨论,略过) 我上面的例子中是有一个推理过程的: 股价上涨 -> 买方力量大于卖方力量 “上穿均线穿和买入执行这两者之间不存在明显和必然的逻辑关系。”我同意你这句话,实际上这是决策。 所以,我上面的例子就包含了最简单(或者说是下意识的)推理和决策。 现实当中,可能有的人使用这样的推理: 股价上涨 -> 即将到达前期重要阻力位 那么这个人的决策可能就是卖出,而不是买入... 我举这个例子就是要说,交易系统里面最重要的核心在于推理和决策。 这也是很多数人在开发系统时花了很多时间却没有意识到的。