11月28日消息,阿里巴巴宣布,旗下的大数据营销平台阿里妈妈对其重要技术框架进行开源。据悉,阿里妈妈基于自身广告业务,自主研发了深度学习框架X-Deep Learning(下文简称XDL),并已经大规模部署应用在核心生产场景。
这是阿里巴巴首次公开的深度学习框架,也是业界头个面向高维稀疏数据场景的深度学习开源框架,突破了现有深度学习开源框架大都面向图像、语音等低维稠密数据而设计的现状,相关代码链接将在12月中旬正式发布。
数据的高维稀疏性既是阿里妈妈业务场景的重要特征,也是互联网的众多核心应用场景的特征,如广告、推荐、搜索等,覆盖了大多数互联网企业的数据应用模式。对于难以与BAT研发能力比肩的众多互联网公司而言,工业级深度学习框架XDL及内置算法方案的开源,将助力各大公司的技术升级,提升广告、推荐、搜索场景的精准性,缩短技术迭代周期。
此前,阿里妈妈以算法先行的方式进行了探索,但已有的开源框架很难满足其广告场景的规模性及生产迭代要求。而新框架XDL针对阿里妈妈业务数据高维稀疏的场景特点进行了优化,自2016年下半年开始逐步部署到阿里妈妈的业务系统,至2017年初全面完成了生产化。
据阿里妈妈透露,XDL框架从设计之初,就具备了足够的开放性和易用性,开源是水到渠成的一步。
XDL创造性地采用了桥接的架构设计理念,重点打造面向工业级应用的分布式规模能力,单机能够处理的计算则引用现有开源框架。这种桥接的架构,使得XDL跟业界的开源社区是无缝对接的。此外,对于已经在使用其它开源框架的企业或者个人用户,也可以在原有系统基础上进行扩展,享受XDL带来的高维稀疏数据场景下的分布式能力。
除了核心的XDL训练框架外,阿里妈妈透露将全面开源面向高维稀疏数据场景的系统化解决方案,计划分批次对外发布,包括面向在线实时服务的高性能深度学习预估引擎、面向全库实时检索的全新深度学习匹配引擎;同时还内置阿里妈妈自主研发的一系列创新算法,涉及CTR预估模型、CVR预估模型、匹配召回模型、模型压缩训练算法等等。
阿里妈妈产品技术部资深总监盖坤表示,阿里妈妈不只自身在打造前沿的AI技术,更希望通过技术开源来赋能大家,推动整个领域技术的前进,让创新的算法方案层出不穷。