开发者社区 > 云计算 > 正文

大规模机器学习在蚂蚁+阿里的应用

发布者:云栖徒骇 2016-08-05 19:53:07 3060
视频介绍

随着移动互联网的快速普及和数据收集的便利性,越来越多的数据被存储到分布式系统,大量的数据等待被挖掘、分析和利用,从而提供给用户更个性化的服务。

大数据给机器学习带来了巨大的机遇和挑战,一方面,因为模型规模太大(百亿甚至千亿特征),单机内存无法装载,需要考虑各种分布式策略;另外在进行模型迭代时,需要考虑稳定性、可扩展性、计算/通信效率等多个核心问题,才有可能在浮沙上盖楼成功。因此面向大数据量的机器学习,通常需要设计分布式系统跟稳健的算法来处理上千亿特征和几十T甚至到几个P的数据,这里的系统+算法的结合,统称为大规模机器学习。

如何结合现有分布式系统的优点,克服它的“特点”(同步、慢机等),通过普通CPU获得高可靠、高可扩展、高效率的大规模机器学习平台?如何结合具体的蚂蚁+阿里业务,沉淀优秀的大规模机器学习算法?我们将分享大规模机器学习的技术与过程,介绍大规模机器学习面临的问题以及在蚂蚁+阿里的应用。

本专题主要涵盖: 1)大规模机器学习的设计理念以及优化。 2)大规模机器学习在蚂蚁+阿里的应用,尤其如何更好满足金融业务场景。 3)大规模机器学习的未来发展。