终于又有点进展~

Discussion in 'General Topics on Software and Data' started by lvsoft, Aug 26, 2010.

  1. 4亿数据存储花了不到40秒,读取不到4秒,牛啊。
     
  2. 现在没这么快,因为之前的测试太简单了。我现在换了更复杂的压缩算法,速度估计要慢4倍。不过等针对多核加速的代码写好,再把cache的算法优化下,估计还是能拉回来的。
     
  3. 目前把界面做上去了(见 http://lvsoft.3322.org:8000/Hello.html ),不过还有不少问题。
    貌似有32位系统和64位系统位宽不一致现象。现在的数据库是在32位系统下导入的,然后服务架在64位的下载机上,貌似读取偶尔会出现总线错误。

    另外这是一天的结果,这个结果的横坐标并不是时间,而是交易次数。目前还没有把交易根据发生的时间分散到时间轴里面,因此有些日内不足200次交易的,数据库会溢出,结果就是周期性重复。

    最后,成交量貌似有bug...明天再研究吧...
     
  4. lz能否把Tick数据共享一下啊。
     
  5. 我的tick数据是自己收的,从开始这个项目至今才刚收满1个月出头~~
     
  6. 恩,这个错误比我想象中的严重,会segment fault,会bus error,还会死循环...
    先暂时撤下来了,等修复了再说~
     
  7. 呼呼~累死了~
    http://lvsoft.3322.org:8000/Hello.html
    如果没有bug导致崩溃的话应该能一直跑下去。

    后台终于基本搞好了。现在的后台偶很满意~CTP一个半月的tick数据存储用了546M。这个压缩比没以前简单数据测试的时候强,但跟之前直接用python串行化再压缩需要2G的空间相比,又压掉了75%,还是挺不错的~而且这还不是极限压缩的结果。极限压缩还能再去掉100M,但是性能会下降到1/4,没啥意思了~

    性能方面,目前的CTP数据规模还是不够大,自己对4000000个点规模的模拟数据测试,无论画多少根K线,最多只需要1秒。这次的cache机制对规模不敏感,估算即使规模再升一个数量级应该也是这样的速度。

    现在前端反而是瓶颈了,没有日期标注,只会显示第一天到最后一天的数据...而且K线也画的太丑,交易量跟K线数据合并在一张图也很不清晰... ...

    休息一阵子再改进前端吧...
     
  8. 数据读取速度很不错,就是chart图差了点儿!:D

    可以参考这个网站的chart图,他们做得很漂亮: finviz.com
     
  9. lvsoft兄做事效率甚高,不得不赞一下!
     
  10. chart是自己画的,所以理论上想怎么画就怎么画~~
    我知道现在比较的丑~~不过下一次更新的重点就是chart图,到时候会很漂亮的~

    比起图的美丑,我眼下更关心数据的准确性...
     
  11. 我错过了什么吗?那个链接出来基本没什么东西啊~~~
     
  12. 你是看到一片空白还是啥...
    要用firefox/chrome看~

    首次加载比较慢,载入完毕后要选下期货种类和期约时间。
    然后会出现一张K线图,然后就没了...
    眼下暂时就这样...你可以点点别的期约切来切去的看...

    最新的更新是把图弄漂亮一点了...
     
  13. 最新更新

    把chart画的好看一点,增加了一个鼠标滚轮事件,可以用滚轮来调整时间尺度了。
    不过过小或者过大都会出现bug,这个问题暂时不管了...

    其实平台和界面的小bug还是有不少的,不过都无伤大雅了,先暂时跳过吧。
    下面暂停界面部分开发,开始思考策略部分的问题~

    不贴url了,贴个截图吧
    [​IMG]
     
  14. 看上去很好啊。
     
  15. lvsoft,如果你用python的话,绘图可以试试matplot这个库,它最新版本貌似支持web的backend(至少我肯定可以出png的图)不过它的文档跟架构巨烂无比。

    我做本机的一些分析工具就是用的这个库,itrade出图也是用的这个库。



    还有google 财经的那个图表工具貌似是开源的,貌似
     
  16. 呵呵,看到楼主在我那个帖子的留言了,如果喜欢用canvas画的话,用matplot做一个辅助也是好的
     
  17. 我知道matplot,也用过几次,不过我还是更喜欢用html5自己画~
    单单静态png是远远不够的,我需要一定的交互能力,比如鼠标移过去要有个大大的十字,
    同时显示鼠标所指位置的精确数值等等。

    我不太确定matplot能否做好这些交互功能。
     
  18. 搞得挺好的!加油!我有小建议一枚供你参考:成交量可以跟随bar的涨跌而显示不同颜色,不过你似乎不trade,所以这些实战上的小习惯也许对你来说没什么用,姑妄听之好了!

    不过我不明白为什么你这个系统要做成web based的,难道是你对web比较熟悉?
     
  19. 如果没有响应速度问题的话当然是web based兼容性、通用性和适应性更好。
     
  20. 还有哪些小技巧~都拿出来说说呢~

    用web有许多好处~最大的好处就是终端不受限制。要知道玩Linux的最恨别人说“你这个东西做的不错,但是windows下没法跑啊~~”这样的话。
    基于web的话,ipad,iphone都能用,我比较喜欢不受限制。
    另外我对web比较熟悉,相反现在对GUI反而不太喜欢了。

    web的性能方面也是没啥问题的,我之前基于web界面还开发过非线性视频编辑器,现在的web已经很强了,笼统地说,chrome跑JS的性能大概是Python的十倍左右。并且以后只会越来越好,毕竟这是一个大的趋势。

    我目前的代码还是有些bug的,可能有些人看不到也是因为这个原因吧。比如safari上就画不完整。其实都是些小问题,以后有精力再改吧。