CTP接收到的行情一般用什么方式保存

Discussion in 'CTP' started by 村民甲, Jan 28, 2014.

?

你使用/计划使用哪种方式保存CTP接收的行情数据

  1. MySQL等关系型数据库

    8 vote(s)
    22.2%
  2. kdb+

    1 vote(s)
    2.8%
  3. mongodb

    2 vote(s)
    5.6%
  4. redis

    2 vote(s)
    5.6%
  5. c++等语言自己写数据保存接口

    14 vote(s)
    38.9%
  6. MonetDB

    0 vote(s)
    0.0%
  7. 其它(方便地话,请在回帖中注明具体方式)

    6 vote(s)
    16.7%
  8. 不保存从CTP接收到的行情数据

    6 vote(s)
    16.7%
Multiple votes are allowed.
  1. 权且抛砖引玉。

    1. MySQL之类:关系型数据库,没有针对行情保存的特点优化。
    2. kdb+: 强大、专业,但价格稍贵。
    3. mongodb之类:虽然是NoSQL,但不是基于列,没有针对行情保存的特点优化。
    4. redis: 速度飞快,但不是基于列;对于长期保存数据来说,内存占用过大。
    5. c++等语言自写数据文件:定制、强大,但是对于编程能力要求较高。
    6. MonetDB:基于列,适合保存行情,但是用户较少,帮助文件不够多,数据文件膨胀较大。

    请务实讨论,最好基于自己的使用经验。谢绝口水战。
     
  2. sqlserver 美股,记录tas与lv2
     
  3. CTP期货,证券未测试过。
    实盘数据放内存。
    另开接受数据程序保存csv(或者直接binary 的dat),盘后清理行情数据,自写脚本导入infobright供回测。(原因是我硬盘空间不够:p,2011到现在两年全市场500ms期货数据csv20G,数据库不到4g。列式数据库)
    合约信息相关的数据存csv,开盘前调用。


    单个合约回测建议直接dat或csv,io可以到极限。
    多个合约数据库select 可能快一点。(未测试)

    有空准备测试tokumx (mongodb)
     
  4. 关键实时行情数据接收程序要设计有缓冲层,至于用什么数据库似乎可以根据个人喜好
     
  5. Oracle 国内期货500ms 部分外盘 分年分品种,存储设备,已800g左右。存储上研究较少,请教上面提到的哪种更合适存储行情? 主要做策略研究
     
  6. 如果自己写程序,保存成二进制格式比较好,自己定义格式,时间序列而已,读写很快的
     
  7. :):)
     
  8. CSV吧,通用性强。用过oracle,sqlserver,sqlite,最后又回到csv了。
     
  9. notepad不错
     
  10. :):)
     
  11. diy

    diy

    自己定制格式,写二进制。要速度的话就用FileMapping,足够快。
     
  12. 文本文件+Mysql
     
  13. CSV 与 数据库 互相配合,性能与功能兼顾