金融量化投资由于其数据价值，且符合大数据的重大思维变革，是大数据最早应用的领域。 大数据时代的思维变革 1) 不是随机样本，而是全数据 大数据是指不用随机分析，而采用所有数据的方法。主要原因有二，一是当前的技术能力让人类可以处理海量的数据，二是随机样本无法获取某些有用的信息，比如跨境汇款中的异常交易。量化投资与图表派技术分析不同，用全数据进行分析，了解指标或信号在整个数据集上的统计优势。 2) 不是精确性，而是混杂性 大数据时代精确不可能实现，反之用概率说话，混杂性变成了一种标准途径。对一个交易策略，只要透过全数据分析，在概率上他是能够长期稳定盈利的，即可被投资者考虑采纳。而到底哪笔交易赚钱，哪笔交易赔钱，虽然投资者很好奇，但交易策略无法给出精确的答案，从某种程度上讲也是无意义的。 3) 不是因果，而是相关性 在大数据时代，是什么比为什么更重要。虽然这违背了人类好奇和探索的天性，但知道是什么对决策的帮助确实有限。比如，策略预测某个模式出现后该股票有很大概率上涨，如果执迷于探究股价上涨背后的基本面缘由，则成本过高，也确实无法得出准确的原因。 大数据时代对交易策略的研发提出了几大要求 1) 量化非结构的数据(unstructured data)。比如国外的对冲基金曾尝试量化财经新闻，用情感度的变化帮助决策；投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹等。 2) 数据的再利用。Amazon利用用户的购书记录推荐新书，我们是否可以利用用户的观点和交易记录做协助学习(collaborative filtering)，帮助策略作出更好的选择？ 3) 数据的重组。把多个数据集的总和重组在一起往往能提高单个数据的价值。这就好像除了利用股价信息，加上从财务报表提取的因子能提升预测水平一样。 案例： 你开心他就买你焦虑他就抛，华尔街“德温特资本市潮公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。 霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入;如果大家的焦虑情绪上升，那就抛售。这一招收效显着——今年第一季度，霍廷的公司获得了7%的收益率。 大数据时代与金融投资的未来 1) 投资者的扁平化。随着互联网和移动互联网带来的信息化革命，个人投资者将能够轻松使用有大数据实证支持，低风险交易策略，投资能力将大幅提升。 2)金融市场更加高效。大数据时代令有盈利能力的交易策略能够被更快的发现，验证和应用，金融市场也会变得变得更加有效，起到更好的分配财富作用。 3)平庸的基金公司将消亡。大数据让科技公司第一次有机会能够挑战传统的金融分析师和交易员，利用对各种全体数据的量化，重组和整合，低成本的建立针对各个市场，面向不同用户的交易策略，让投资者能够科学稳定的在全球市场投资。 实际上，管理1200亿资产，全球最大的对冲基金Bridge Water已经很接近这一点，他们搜集了近百年的金融数据建立交易模型，覆盖全球外汇，债券，衍生品和股票市场，其99%的交易都由电脑决策作出。不远的将来，普通的共同基金将被根据大数据分析提供交易策略的公司所取代，留下的基金公司将是那些能够提供独特优势(alpha)的对冲基金和自营基金(如高频基金和统计套利型基金)。