日志扫描工具 ...

Discussion in 'General Topics on Software and Data' started by espresso, Jun 5, 2011.

  1. 这个功能说明写得真不错,结构清晰,段落分明,具体示例也都恰到好处。赞一个先。

    大致看下来,觉得最重要的还是在“多行合并扫描”这块。我会先从这部分入手,具体做的时候碰到问题再与你详细沟通。
     
  2. 哈哈,Wenyan兄过奖了,
    我就是从一个实际用户的角度来写,最后还是要靠你来实现啊。
    这个"多行合并一行",我还忘记和你说个想法,
    其实"单独一行"可以看作"多行合并一行"的特例。
    如果 multi_line_scan = false
    那么读进来的每一行都自动加个特定的行首标记,
    后面处理"多行合并一行"的代码应该就可以直接用了。

    希望你的脚本最终可以替换CBLM,
    这样就很容易配置,改改配置文件就好,
    我现在用CBLM,配置的东西需要到处点各种按钮和菜单,
    要详细说明我现在的配置,不知道要写多少,和截多少图才行....
     
  3. 这玩意儿这周可以开工了,争取周末先搞个测试版出来。到时候得劳烦espresso兄做小白鼠了
     
  4. 哈哈,太好了!我是计划这个周末前发个版本出来...
    到时候我帮你测试,周末前我会发一些日志文件的样本给你。
     
  5. 匹配和响应的规则在配置文件里这样写如何?

    {"regex": "TWS Message\(s\)", "send_email": ("extract", 5, 5)}
    {"regex": "^E.*TWS.*no heartbeat", "send_email": ("text", "please check data source.")}
    {"regex": "^E.*TWS.*ERROR", "play_sound": ("/path/to/sound_file2", 1)}
    {"file_idle_minutes": 5, "send_email": ("text", "please check XYZ")}
    {"file_size_max": 200, "send_email": ("text", "please archive log")}
     
  6. 我需要“样本外数据”做测试,记得给我发一些:)
     

  7. 我觉得挺好的(而且python处理起来也方便?),
    到时候每个配置行写点注释就可以了,这个文件不会经常改的。
     
  8. 早就该发给你的,但是这两天有些其他事情耽误了,
    我已经给你邮箱发了日志文件,请查收,多谢~ :)
     
  9. 一方面是处理方便。另一方面是易于错误恢复,比方说如果一条规则配置有误导致无法正确解析的话,简单地忽略掉就可以了,不会影响到其它正确配置的规则。

    收到~ 其实我也有事稍稍耽误了一下:) 好在大体上已搞定,再盘查一下细节应该就差不多了
     
  10. 看来进展顺利 :D
     
  11. 菜鸟从 《独立于交易开发平台的策略自动化引擎:ATSXL》这个帖子一直追到这来啦~~~感谢两位大神在帖子上的讨论建议,给我这个菜鸟不少启发了~
     
  12. 日志扫描工具,用Python 2.7 写的,已经过数周的实测,文档方面尚不完善,使用方面有问题的话不妨先在这里讨论。

    感谢espresso兄对该工具进行了多轮实测,并提出诸多修改建议。据espresso兄的实测反馈,这小工具目前表现还行。当然也还有些细节方面可以继续改进,至于具体如何改,我想还是等将来有更多的用户反馈时可能会更清晰些。

    另外,该工具目前不适合用于高频交易。
     
  13. 非常感谢Wenyan兄弟开发的这个工具!
    这个差不多三年前的帖子,从今年10月初被重提,
    到现在也不过2个月,就取得比较满意的结果,
    目前已可以替代之前说的CBLM。
    实在是自动化系统运行日志监测的利器。 :D
     
  14. 赞!