应用monte carlo方法进行策略评估有意义吗

Discussion in 'Model and Algorithm' started by dealamp, Nov 29, 2013.

  1. 请教一下。
    如果根据原始数据估测出来的均值、方差、高阶矩等各种统计特征,建立各种模型,如带漂移随机游走、arima、garch等等,作为模拟市场的“虚假数据”。
    通过不停改变这些模型的参数,建立无数个虚拟历史数据序列。然后将策略置入这样的虚拟环境中进行测试,以评估其表现。
    用这样的方式去估计策略的收益分布,防止过拟合,算是一种回测的有效手段吗?
     
  2. I 服了 U
     
  3. 菜鸟一枚,最近才了解到有这种做法的。如果想法有误,您能直接指出其中的谬处吗?:)
     
  4. 有意义,可视为一种压力测试。但所有的测试都只是基于历史,不等于未来继续有效。
     

  5. 可除了压力测试外,如果用这样的方式去估计策略的收益分布,用以预测未来收益,可行吗?
     
  6. 真心希望有海洋大虾,能帮忙解惑啊。。。
     
  7. 测试只是测试,不要指望透过测试能看到未来。世上没有水晶球。
    不要把历史测试当成一种很精确的东西。
     
  8. garch之类的模型拟合出来,残差是服从某一或某些假设的分布,在这样的假设条件下,把残差打乱,或者通过残差的分布特征(比如对称性)构造出新的残差,然后随机组合在拟合好的模型上,生成新的N种价格序列。
    按照这种逻辑,最多可以认为历史以另外N条路径的方式方式呈现,实际上仍然用的是历史信息。
    历史就是历史,之前在海洋上看到一句话,“回测只能表明历史上策略最坏的表现,但不知道未来有没有更坏的情景”。
     

  9. 是的。哪怕对历史数据回测得再好,未来仍是未知的。如果结构破裂了,只能从头再来。
    我所设想的,确实是如您所说,让“历史以另外N条路径的方式方式呈现”,不知这样的做法是否有意义。
    并不是期望在通过这样的测试之后,就能获得圣杯,而是想知道这样做是否能增强鲁棒性、减少对历史数据的过度拟合了呢。假如历史以同样分布特征的另外一条路径出现,而原先一条完美的回测曲线变得恶化,是否可以认为这样的策略和参数过拟合的可能性很大呢。
    这其实是两方面的问题了:
    (1)该做法是否能将一个不鲁棒的策略检测出来
    (2)该做法是否会错误地将一个好的策略剔除掉
     
  10. 如果是从科研的角度来说,这种做法肯定可以提升模型稳定性。选用不同的模型去做仿真,把“回测曲线恶化”量化成一系列的衡量稳定性的判别指标,根据不同模型这些指标的分布,在统计层面判别模型属于“稳定”还是“不稳定”的类别。
    这样(1)和(2)的问题类似于 统计的第二类错误和第一类错误,零假设是:该模型是稳健的。
    这样来看,是给策略 f(price and other related variables) 加了一层保险。用统计方法“证伪”了一系列过度拟合的模型。
     
  11. 这大概算是另一种类型的“过渡拟合“的方式。

    认为策略应该觉有这些特点:1, 针对性(针对特定品种) 2,时间性。(一定周期内有效)3。变化性 (需要不断的修正和演变。)
     

  12. 谢谢。您说“如果是从科研的角度来说”,那不知从实际交易的角度来看,这样做是否有价值呢?
     
  13. 赞同您说的。可是“特定品种”“特定时间”等等,又如何客观地去确定呢
     
  14. 自己经验才几年,不好说。可能更多的是心理上的作用吧,这种严谨在某种程度上来说就是保守。

    觉得风控压力测试的意义比这个更大。目前想到以下思路。
    1.在MC过程中随机加入异常的残差数据,模拟那些肥尾。
    2.在原始数据中加入异常订单流数据(比如突然大笔跳空,伪造几笔乌龙指),相当于人为去伪造数据。
    本来交易数据就是人的行为的结果,那压力测试就相当于,一群人产生非理性行为导致的结果表现在这些行情数据上会是怎么样。。这个“怎么样”就没定式了,有各种假设情况。可以观察历史上出现这种情况的表现,比如8.16那天的珍贵数据,但是更多的应该是经验。
     
  15. MC的本质是用历史数据获得抽样的统计结果,有一定的合理性。但测试结果无法代表未来。
    基于历史数据的分析,不论是技术面还是基本面,或者概率统计,都无法代表未来。从这个角度来说,交易更多需要智慧层面而非知识层面来解决。
     
  16. 用技术指标有人盈利有人不能,这个问题道理一样。用法和盈利经验比工具重要,但不是说工具都一样不重要。:)
     

  17. 谢谢。您的思路对我很有启发:)
     
  18. 在这里没太明白ku大的深意。不知您是否方便给予一些详解啊
     
  19. 蒙特卡罗的话,要说有用的话,我可以确定负责任的告诉你,是有用的,但是用法的不同,有用性也就会不同,甚至可能会起到反作用。
    也就是说,任何工具、算法、是否有意义,其决定因素并不是工具和算法本身,而是使用者的使用方法,成功的经验有助于这些工具发挥作用,就好象同样是技术指标,或者excel,但是就是有人就用那些就能盈利颇多。
    人们容易极端,所以经常是非左即右,很多包括国际机构回到中国的精英人士,会喜欢宣传说算法没什么,大家用的都一样,就是说工具都差不多,可是实际上,有时候不同的工具,的确是除了效率以外,其实际效果也会出众很多。当然也有用的其实就是一般金融学基本理论方法,本来做理财的,却宣传成高级算法或者工具什么的,比如富国基金的。:D
     
  20. 我听说富国基金用Excel建模, 还用BARRA模型啥的, 感觉还是基于通常的金融学方法。也不知是不是真的。