求diy高性能服务器方案

Discussion in 'Fund Operating and Career' started by clmtw, May 3, 2011.

  1. 算法和总体构架才是最重要的,
    算法和总体构架决定了瓶颈在哪里,然后选择硬件和平台的时候才能有针对性。
     
  2. 必须试试才能知道到底好不好用……说实话针对性很难做到。GPU的运算能力到底如何,到底适合什么样的计算任务,恐怕只能试试才能知道,但是“试试”的代价可能并不便宜。
    OpenCL程序可以在GPU上用也可以在CPU上用,但是怪怪的,可能所有东西都要重头做。
    PGI和PathScale这两个编译器能自动CUDA化。

    我最远YY到N*(Xeon X5690+Nvidia Tesla),可惜目前想赚到i7 2600K+GTX 560Ti都比较难……
     
  3. 我到觉得服务器之类的不忙 先实现算法 全面评测下 看瓶颈是在CPU 内存 磁盘IO还是其他什么 再有针对性的配置服务器 达到最佳硬件提升效果

    考虑到交易类算法的生命周期 可维护性的重要程度要大于执行性能 当然也不能太慢了

    其他的 并行计算 网格计算 CUDA架构 之类的 先考虑你的程序员团队执行力吧
     
  4. 呵呵,如果连今后的系统是什么样子都没有什么想法,也即没有总体构架,何谈服务器的配置?

    再说,算法和交易系统重要,还是服务器重要?如果楼主也认为服务器比算法重要的话,我就不说什么了...
     
  5. 多核并行计算与云计算是主方向。
    用GPU计算是扯蛋。
     
  6. nix

    nix

    去年,BLOOMBERG就有一个专辑讲硬件,节目中已经有机构用CUDA计算鸟。
     
  7. nix

    nix

    其实一些软件都开始支持的分布式,可以解决运算的问题,但是我目前的实践经验是,虽然有了强力的运算搜寻能力,但是INPUT还是要你去筛选的,然后并行计算再在这些INPUT中找策略,问题来了,在茫茫的INPUT指标和参宿组合中,只能靠人为来选择input。。。OHMYGOD这个也够折腾人的。
     
  8. 汗啊!我现在是用一千多块钱的上网本跑算法。
     
  9. 弄GPU, 搞这个。我不说好不好。商人最在乎的其实是投入与产出的比。如果你真的觉的这个项目能产生前所未有的结果。你就试试看。砸进去几十万其实不算什么,主要是企业初期的时间和热情是要保护好的,所以第一个项目的选择要特别慎重,不要用空的东西把企业搞死。我觉得采取务实的态度才是最好的。 不要被一群硬件软件爱好者所蒙蔽。你让他们用这些高级玩意写算法,他们马上就会改口说嗯,工具有bug,我写的码模拟都没问题,一到真机上就死车,问题以前没考虑过,没见过,效率不好提高,不知道瓶颈在哪里。再给我个把月时间。一个要迈向金融行业的企业每天解决的问题居然是如何才能用好这些新玩意。如果真的有神奇的理论金融工程范畴的,真的不妨交给所谓计算所去弄。你靠他挣了大钱, 可以用大钱把这个什么所买下来。 挣不到也就省了。
     
  10. 用GPU做程序。如果是我的话,我会单找个研究生在学校里面弄。不会找社会上的这些人, 过分学院派的事物,你只能在象牙塔里面寻求解决方法。 不然面对的都是一张张大嘴。而实际问题的解决却遥遥无期。
     
  11. 估计有些策略的研制和调试需要较大的计算量。
    ---------------------------------------------------------------------------------
    估计是向mt4的ea测试一样,需要用大量的历史数据进行测试。
    1. 检测你的测试平台是否支持多cpu、多核并行计算。
    2. cpu内的cache,越大越好。
    3. 选择amd的多核cpu。(浮点计算速度远超intel)
    4. 预估历史数据的容量。以此计算内存消耗的最大值。
    5. 一块超大缓存的raid5卡,用ssd硬盘建立硬盘库。
    6. 不要选择GPU,目前没有测试平台支持它。如果你自己编写的测试平台支持,另当别论。等以后有了,买几块GPU卡插上就行。
    7. 最好是选择linux、unix操作系统。稳定、无毒、速度快。
     
  12. 既然是估计,那就随便搞台PC跑一下,看看估计得准不准再做打算呗
     
  13. 给楼主个建议 考虑hp z800工作站.
     
  14. 等程序赚钱了在考虑GPU加速,一开始直接随便来个pc测试测试就行了。
     
  15. 产品型号:XASUN T5 23124-A41RB
    参考配置 12核Xeon 3.06G/24GB DDR3/Quadro 2000/超级硬盘4*146GB SAS(实际容量450GB)

    工作站硬件性能指标
    CPU 运算速度每秒1469亿次
    GPU 像素填充率10GP/s,显存带宽41.6GB/s,192流处理器,64X反锯齿,支持Mosaic技术。
    硬盘 IO读带宽2000MB/S,写带宽800MB/S (调优后)
    网络端口 通过汇聚功能,实现2Gbps,支持VMDq Queue功能  
    硬件配置明细    
    配件 品牌和型号 数量
    CPU 六核Xeon X5675 2
    3.06G/12MB/6.4GTs/超线程/Turbo
    芯片组 intel S5520 Chips 1
    内存 4G DDR3 1333 Reg ECC 6
    显卡 Nvidia Quadro 2000 1GB GDDR5 1
    超级硬盘 146G SAS 15K 4
    光驱 DVD刻录机 1
    网卡 千兆以太端口 2
    工作站平台 XASUN SA6C105PAS,1000W EPS  
    噪音控制系统 静音级 (全速计算45分贝以内)  
    硬件升级能力    
    显卡 支持Quadro 专业图形卡全系列
    内存槽 12个,单根内存最大16GB,最大容量192GB
    硬盘位 4个,单块最大SAS:1TB、SATA:2TB
    PCI扩展 1*PCIE x8,2*PCIE x4,3*PCI-X
    操作系统    
    支持Windows Server 2003、2008
    支持Windows XP、Vista、7
    支持Redhat、Suse Linux全系列
    应用软件    
    基于windows、linux环境下软件全系列
    报价 ¥49,999元


    报价时间: 2011年11月12日



    XASUN T5图形工作站的技术要点
    一台机器性能如何,体现在系统的浮点运算和内存带宽、GPU图形处理速度、硬盘io读写等型要求方面,影响计算性能的主要环节是:CPU运算单元→ CPU二、三级缓存→ QPI总线 →内存---> 北桥芯片→ 硬盘,每一个环节都不能忽视

    CPU方面: 采用2颗Xeon X5675,12核×3.06G频率、12M三级缓存、QPI 6.4GTs,1333Mhz前端总线频率,整台工作站拥有八个计算单元,从而处理器的峰值速度达到3.06G×4×12=146.88Gflop/S,1468.8亿次/秒,Xeon5600处理器,拥有众多性能卓越的技术,包括基于Core架构的酷睿CPU核心,多达12MB的共享L3 缓存、高速QPI总线架构。众多的先进技术实现了Intel Xeon X5675超强的计算性能,比上一代性能再次提升很多,为确保工作站高速高效还要合理的成本5600系列。

    主板采用基于S5520芯片组主板,支持最新四~六核Xeon,支持PCIE 16X 2.0、PCI 4X2.0接口等

    内存容量24G,6根4G内存构成六通道,那些数据密集交换型的应用对大内存大带宽有很高的要求,只有内存足够大,才能把所有数据一次放进内存,才能最快对数据计算和得到结果,否则当物理内存不足的时候,系统就会使用虚拟内存(磁盘部分作为虚拟内存),这样降大大降低性能

    硬盘采用最新4*146G SAS +SAS2-RAID,满足对频繁数据读写要求应用,如应用在初始化、中间结果保存和计算结果输出时都会有密集的数据IO操作,而且目前并行计算程序的IO操作大多还是串行进行的,因此IO的性能经常是并行计算程序的瓶颈所在,所以超级硬盘的性能 是非常必要的,如果资金允许,可以在通过更深的提升RAID进一步提升读取速度,通过多块磁盘RAID,磁盘的IO速度可以成倍提高。

    显卡Quadro 2000 一款高端专业图形处理解决方案,计算产生的数据则需做可视化处理,经由适当的计算机绘图技术将结果表示出来。
     
  16. 硬件要发挥出能力完全取决于软件,看你软件是怎么写和架构的,
    如果软件能利用gpu加速,或者用群集把任务拆解开,那么性能会有本质的飞跃。
    所以不谈软件的类型,实际上硬件很难配置。
     
  17. 单个的高性能服务器其实意义不大,
    最好的构架是性能可以随着需求扩展。
    比如最初用1台电脑可以应付,随着涉及市场和品种的增加,
    可以逐渐增加电脑的数量,但是软件系统最多就是配置上修改一下,就可以部署到新的电脑上,
    一台电脑坏了,没事,切换到另外一台上接着运行...

    想法比算法重要
    软件比硬件重要
    构架比配置重要

    :)
    祝各位海友新年快乐!2012大展宏图!
     
  18. 确定采用什么硬件架构之前,最好先确定你的测试软件的架构,必须相互配合起来才能发挥最大的效力。
    简单的举二个例子,
    你使用的测试软件是商品化的,还是自主开发的?
    如果你使用的测试软件完成测试时仅支持单线程,那么多处理器、多核都发挥不出来,都是浪费;
    如果你的测试软件不支持大的虚拟内存管理,不能对大规模的数据进行有效的管理,那么配置很大的内存也不能大大的提升测试的效率(测试效率低很大的原因在于数据管理,而目前大多数软件的支持很弱)。

    软硬件架构应统一考虑,而不是买几台服务器这么简单。

    顺祝新年快乐!