高频数据存储、订单簿、高频回测 DolphinDB 中高频量化一站式解决方案
2024-04-01
3月14日下午,DolphinDB 受邀出席由卡方科技与华安证券携手举办的私募行业交流会。此次盛会汇聚了私募行业的精英力量。众多国内成长型私募机构代表齐聚一堂,共同探讨私募领域的多元化合作策略,携手书写行业发展的新篇章。
在分享环节,DolphinDB 创始人、CEO 周小华博士带来了一场精彩演讲。他不仅对中高频量化交易的解决方案进行了深入剖析,还就当前热点 AI 大模型展开了富有洞见的探讨。现在,让我们一同回顾周博士在现场的精彩分享。
01 高频数据存储
随着行情数据频率的提高,海量数据的存储为投研带来巨大挑战。传统的关系型数据库及文件存储等方式存在着压缩比低,性能优化不足,数据难以管理等痛点。针对以上问题 DolphinDB 提出了新的解决方案,除了能够将压缩比大幅提升之外(最高可达10:1),DolphinDB 深刻洞察量化领域业务,提供了相同时间戳存储、数组存储、宽表存储/窄表存储和 co-location 存储,为用户提供了更为高效的海量数据存储方案。
02 订单簿
在研究市场的微观结构时,每家机构都希望能够对逐笔数据进行挖掘,高效、灵活处理订单簿数据。目前市面上多数快照引擎普遍采取每三秒生成一次快照的方式,这样的频率难以捕捉更为细致的信息,例如三秒内所有交易的平均价格,以及最后一笔成交与最后一笔报价之间的精确时间差。这些细微的数据点对于精确分析市场动态至关重要。为此,DolphinDB 提供了订单簿数据处理框架允许用户自定义指标,生成交易信号,助力策略开发。DolphinDB 的订单簿数据处理架构,提供了高度的灵活性和性能保障,能够满足用户的个性化业务需求。
03 高频回测
市场上,对于中低频的回测产品,用户有许多选择。但是在对高频数据进行回测时,由于数据量巨大,性能时延要求高、开发难度大等特点,市场上并没有太多成熟的产品,用户往往选择自研。为此,DolphinDB 提供了一套模拟撮合引擎,方便用户在中高频策略回测中模拟实际交易,从而更合理地评估和推断策略在真实交易中的效果。DolphinDB 模拟撮合引擎支持订单成交比例和延时等设置,多笔同方向的用户委托订单同时撮合时,遵循按照价格优先、时间优先的原则进行撮合成交,方便用户在高频策略回测中模拟实际交易。模拟撮合引擎插件使用 C++ 开发,结合 DolphinDB 分布式数据库,能极大地减少高频策略回测的整体耗时。
04 流批一体的高频因子
因子挖掘是量化交易的基石,挖掘中高频行情数据中的有价值因子并建模回测,构建交易系统是量化团队的必要路径。DolphinDB 整合历史与实时数据提供了实时流计算框架,用户在投研阶段基于批量数据开发的核心因子表达式,经封装后,可以无缝应用于实际生产环境中。由此,实时行情订阅、行情数据收录、交易实时计算、盘后研究建模,可以用同一套代码实现。这不但确保了历史回放和生产交易的数据一致性,还大大降低了用户的开发与代码维护成本。同时,流计算框架在算法路径上进行了精细的优化,兼顾了高效开发和计算性能的优势。
05 AI & DolphinDB
在总结部分,周博士深入探讨了 AI 与 DolphinDB 前沿技术的融合。其中,CPU-GPU 异构计算平台,可以让 DolphinDB 脚本能够无缝切换至 GPU 进行高效的并行计算,从而实现了性能上的显著跃升。同时,GPLearn 负责训练时的调度工作,涵盖了种群生成、进化与变异操作等关键环节,确保了训练过程的精准与高效。此外,AI Dataloader 极大地简化了大量因子数据导入深度学习框架进行训练的过程,有效缩减了数据准备与模型训练的时间成本。值得一提的是,这些前沿功能将在即将发布的 DolphinDB 3.0版本中全面呈现,我们热切期待各位用户的积极试用与反馈!周博士还强调,DolphinDB 的应用范围已扩展到交易策略、交易风控、交易监控、机构业务、算法交易、实时数仓、风险控制、指标计算、估值定价等多个金融行业场景。DolphinDB 致力于在金融技术领域不断创新,为金融机构提供高效技术解决方案,助力中小机构在激烈的市场竞争中脱颖而出。