[干货分享]数美联合创始人&CTO梁堃: 无孔不入的机器学习与人工智能

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

人工智能和机器学习这两个生僻的科技术语如今已经广为流传。过去10年,机器学习已经为我们带来了无人驾驶汽车、实用的语音识别、有效的网络搜索,还大幅加深了我们对人类基因组的理解。机器学习是什么;机器学习能做什么;企业机器学习应用趋势又哪些?数美CTO梁堃在以“大数据与人工智能”为主题的第五届中国大数据应用论坛上,分享了他的理解,以下是他演讲的内容。

2016-11-24-425c8e6624-f477-458c-bea1-822

演讲嘉宾:梁堃,数美联合创始人&CTO, 高考状元,北大学霸,曾就职于百度,小米担任高级工程师,架构师。两次获得百度年度“MVE”(最具有价值员工) 。成功将大数据运用于搜索 推荐,反欺诈,风险控制等领域。具有大数据方案整体架构能力。擅长发现并解决用户在大数据领域的痛点。

2016-11-24-53c9ff57da-09fb-4ace-b4da-dbd

先做下自我介绍,我是梁堃,数美的联合创始人兼CTO。很荣幸有机会给大家介绍机器学习和人工智能。这次介绍分为三个部分:

第一部分,机器学习是什么

第二部分,机器学习能做什么

第三部分,企业机器学习应用趋势

机器学习是什么

一个方面来介绍机器学习,就是从机器学习的目标或者业务要做什么来介绍。机器学习最大的是计算机科学,其中有一个很重要的分支是人工智能。人工智能里面有两种实现人工智能的方法,这两种方法分别对应于人类智能的两种思考模式,一种思考模式叫做演绎法,就是我从已知的规则和事实推导新的规则和事实。这个系统是之前60-80年代用的比较多的系统,叫专家系统。而第二种在人类思考叫做归纳法,通过对事实观察归纳来归纳总结出来新的规律、新的事物的本质,然后再把它应用到新的事物里面去。把这个是现在计算之中就叫做机器学习。当然最近几年非常热的机器学习的方法叫做深度学习,它是机器学习里面的一个领域。

2016-11-24-193cd0e7d3-c90e-4507-93dd-c1e

从一九四几年开始发展出来计算机科学,它在做什么?本质就是尝试对业务进行自动化处理。刚出来的时候完全是针对数字计算,大规模的计算,如果要靠人来做这个事情是很困难的,需要花费大量的精力和时间。那么能否让机器像做成流水线计算呢?这就是最早的计算。我们不断的去探究,不单单数据计算自动化了,普通企业各个行业的企业里面的流程以及业务也在被信息化、自动化。这是关于数据库出现之后包括订单的转移、ERP财务等等都被自动化。随着计算机越来越火,可以自动化越来越多的东西,互联网自动化很多东西,比如对资料的检索等。当我们进一步拓展可以自动化的范围时我们发现了一些困难,举个例子,比如说自动驾驶一辆汽车,这件事情就非常困难。因为计算机本质上它是一个程序,需要得到明确的指令,第一步做什么、第二步做什么,它才能做。而自动驾驶汽车,这个无法用一个明确的指令描述,因为这个过程非常复杂。

2016-11-24-4406364c2b-5d12-4894-9bfe-526

还有一个非常一经典问题就是有一只小猫,连一个三岁的孩子都可以非常容易辨别出来,但是写一段程序让计算机系统认知就很复杂。

所以就提出来第二个分支:人工智能,就是想对非常复杂的问题或业务进行智能的自动化。为什么叫智能的自动化?因为很难用一个确定的公式或算法来一步步的做出来。我们需要这个系统可以去观察世界,可以像人一样思考来智能、理性做决策,最大化目标。比如我要驾驶汽车,在最短时间内到达那个地方同时又不出任何事故,这就是人工智能。人工智能就是把原本机器学习里面简单程序、无法自动化的东西,用一种像人一样智能的把它做出来。

人工智能在业界使用的方法有两个,一个是演绎法,这种方法的核心概念就是有一个专家会把已知的知识和里面的推理规则放到这里面,当出现新的状况时,系统会根据已知的知道推演出新的规则。比如说大楼里都有防火器,其实它就是一个特别简单的专家系统,它只知道一个事实,温度达到一定高度时、有烟雾的时候就会启动。这种系统有一个好处就是只需要专家的支持,而不需要那么多数据的支持。而业务系统,就是我们说得机器学习。

归纳法。这时候没有专家告诉他推理的规则,而是给他一大堆数据,这就是对世界的描述,然后会有个算法,无论是神经网络算法还是其他,这个算法本身是观察数据、探索数据,它会自动的根据统计学规则从数据中总结出来一些规则和事实。当一份新的数据过来,就可以应用到其中,机器学习本身还是把复杂的业务系统自动化。

2016-11-24-103df62d4b-1a6a-4df5-8ece-af1

而深度学习是机器学习的一个分支,我们可以做点击率预估,这个是互联网购盈利的两大核心之一。当一个用户来了,我应该给他出什么样的广告,这个用户才最可能点这个广告让我盈利。深度学习解决的是,对这个世界做一种更抽象的解读。比如说传统的是无法形成多级的抽象,深度学习不一样,深度学习是给他一个图片就行。深度学习主要是基于神经网络,神经网络的前几层是在学习这张图片里面或者学习人脸的边边角角的特征,这是不是有一个弧线或者阴影,比如说一些特征组合出来眼睛这个概念,一些特征组合出来鼻子这个概念。再往上这个神经网络就会形成一个非常高级的抽象,这是一个人脸。这种高级的概念对我们而言是非常自然的,但是对于计算机而言,你想把它描述准确极其困难。

2016-11-24-560fed9f2f-a033-47a2-89ee-ce6

比如说“马”这个概念,我们可以看到有各种各样的马,白色的马、黑色的马或者有的马少一条腿甚至是一个玩具的马、木马,当把这个东西方在你面前,任何一个人都明确知道这是马。但是你想给一个机器去描述的时候,什么样的东西是马,这个概念极其复杂。你很难描述出来。两个耳朵、四条腿、能跑的就是马?不对。深度学习要解决的就是这个问题。希望通过深度学习让计算机认识之前只有人才认识的高级概念。

深度学习这两年做的非常火,但其实这个概念很早就有了。70年代的时候银行就开始使用了,目前演进为“深度学习”,银行就做个人信用得分的预测。比如说收入、年龄、消费组成、职业,预测输出如期还款概率或者延期还款概率等等。

机器学习在今天越来越重要,为什么?因为这些年信息化程度非常之高,存储成本又非常便宜,广泛的互联网化让大量数据出现在我们的存储、出现在计算机世界当中。这样就有机会用更加复杂的机器学习的算法,因为它有大量事实、数据可以学习。它是归纳法,本身就依赖于这个条件。所以这两年发展非常快速。

机器学习能做什么?

算法交易、欺诈检测、信用评估...这是非常经典的应用,都是预测的东西。我把前的两个提出来,前两个就是去年到今天为止整个互联网行业盈利最大的两个算法,一个是在线广告,在线广告贯穿了整个PC端。打开任何一个网页,都会发现这些广告。有些是广告主直接跟网站签订投放协议,但更多的是通过京东、淘宝这样的中介去投放。当你投放广告时,只有用户点击了,广告主才会付账。所以广告出现在这个页面时,你一定要把他最可能点的广告放在上面。这里面就涉及到非常复杂的东西。这里面涉及到方方面面,包括你要对用户建立画像,你要了解你的用户,性别、年龄、住在什么地区什么小区。第二是个性化推荐,相信大家对这个非常熟悉。在互联网上我们每个人都在享受定制化的服务,你在听音乐,它会把你感兴趣的音乐推给你,你看今日头条,他也会把你感兴趣的新闻推给你。当然还有算法交易、欺诈检测、信用评估等等,比如说我们的员工,实时检测一个人,他是真的人还是机器人。另外,现在机器人特别高级,他们自己都会相互聊天。

2016-11-24-27af216223-4c6a-4446-b6cb-3e2

那么新兴应用呢?机器学习其实能做很多事情,我挑了几个非常震惊的例子,比如说实时翻译,一个路牌,你把摄像头对准它,它就会给你实时翻译成你认识的语言。又比如微软的一个软件,是同声传译的东西,他只要说英语就行,他说出来的话就被实时的翻译成中文,你说出来的话在他听到的时候已经被实时翻译成英文。这件事情让我极其震惊。因为我大学有一个同学就是学同声传译的,当时他学的时候非常辛苦,但是现在机器就可以做到了。自动驾驶,一两年前还是在实验阶段,但今天已经开始上路。第一个真正路上跑的。包括特斯拉、Google、百度。相信自动驾驶将来会成为一个中高端车的标配。为什么今天可以做到这点?很简单,因为特斯拉有数亿英里的驾驶数据。

从刚才几个例子来看,我们想象一下机器学习可以深入到生活的方方面面。金融制造业、机器人工厂、医疗、教育、服务等方方面面。为什么?因为机器学习或者说基于机器学习的人工智能,它最本质的目标就是在某一个任务上做到像人一样有智能、像人一样可以对这个问题进行分析并做出快速的预测。在我看来机器学习会在其他方面成为核心。

企业机器学习应用趋势

2016-11-24-52e543dc05-75b3-4514-be6a-94a

我们来看Google公司的一个数据,在2002年的时候Google公司全部署了机器学习模型,大几十个,或者一百出头的样子。但是到2016年年初的时候,他们部署的机器学习的模型已经接近3000个。在他的每一个业务里都有Gmail、读书、翻译等都部署了机器学习。其实很多公司,尤其是比较早的互联网公司都是这样的趋势。在我看来可能几年之后几乎所有大规模的业务都将用机器学习自动处理,几乎所有的。我加了“几乎”只是为了严谨,因为很有可能是“所有”。首先,随着业务广泛的数字化、互联网化,无论是工业4.0还是互联网+都是把人的衣食住行各个方面的业务数字化、互联网化。这会导致什么?会导致我们有非常大量的数据产生。包括打车的数据、吃饭的数据、穿衣服的数据、医疗数据等等都会出现。同时,存储和计算成本在不断降低。几年之后,每个企业都将成为数据企业,都将积攒自己的核心数据,这些数据是非常宝贵的财富。因为这些数据提供了机器学习、人工智能的基石。

第二,这些数据不能仅仅出些报表而已,每一个企业都将大规模部署机器学习,去把自己企业里面尽可能多的大规模业务自动化。能用机器学习代替的东西,为什么不呢,所以每个企业都会在自己的核心业务上部署机器学习。当然机器学习还是个挺麻烦的事情,对于有实力的大企业可以建设自己的专家团队、机器学习团队来进行定制化服务,但是这件事情是富人游戏,一般的企业并不适用。现在无论是亚马逊、微软、阿里都在集成标准学习模块,以及共享行业的信息模块。在我看来,中小型的企业也会部署机器学习模型,只不过他们的不是定制化的,而是一种基于云的机器学习。它就像App标准服务一样被使用。第三,每个企业提供的每个应用服务都是智能化的,它不再是说我要定制一个服务需要昂贵的成本。每一个客户都在享受定制化服务、享受定制应用。这是之后两三年企业机器学习应用的趋势分析。当然了,三年搞不定可能会是五年。

我的介绍就到这里,谢谢大家!

2016-11-24-191798f58e-8aa7-4ed6-bf6f-60c

数美是一家由一线互联网顶尖大数据专家团队创建,顶级互联网大佬领投的大数据企业依托积累的海量数据、核心技术,提供领先的大数据风控产品与服务目前已服务数百家客户,覆盖直播、金融、支付、社交、电商、游戏、O2O等行业。



本文出处:畅享网
本文来自云栖社区合作伙伴畅享网,了解相关信息可以关注vsharing.com网站。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
6天前
|
机器学习/深度学习 数据采集 人工智能
AI与机器学习:从理论到实践
【10月更文挑战第2天】本文将深入探讨AI和机器学习的基本概念,以及它们如何从理论转化为实际的应用。我们将通过Python代码示例,展示如何使用机器学习库scikit-learn进行数据预处理、模型训练和预测。无论你是AI领域的初学者,还是有一定基础的开发者,这篇文章都将为你提供有价值的信息和知识。
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
探索人工智能的未来:机器学习与深度学习的融合之旅
【9月更文挑战第35天】在这篇文章中,我们将深入探讨人工智能的两大支柱——机器学习和深度学习。我们将通过代码示例和实际应用案例,揭示它们如何相互补充,共同推动AI技术的发展。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的见解和启示。
44 0
|
15天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与机器学习在医疗诊断中的应用
【9月更文挑战第32天】随着科技的不断发展,人工智能和机器学习已经在许多领域得到了广泛应用。在医疗领域,它们正在改变着医生和患者的生活。通过分析大量的医疗数据,AI可以帮助医生更准确地诊断疾病,预测患者的病情发展,并提供个性化的治疗方案。本文将探讨人工智能和机器学习在医疗诊断中的具体应用,包括图像识别、自然语言处理和预测分析等方面。我们还将讨论AI技术面临的挑战和未来的发展趋势。
|
2天前
|
机器学习/深度学习 人工智能 监控
揭秘人工智能:机器学习的魔法
【10月更文挑战第6天】本文将带你走进人工智能的世界,了解机器学习如何改变我们的生活。我们将深入探讨机器学习的原理,以及它在各个领域的应用。同时,我们也会分享一些实用的代码示例,帮助你更好地理解和应用机器学习。无论你是初学者还是专业人士,这篇文章都将为你提供有价值的信息和启示。让我们一起探索这个神奇的领域吧!
|
4天前
|
机器学习/深度学习 人工智能 算法
人工智能与机器学习在医疗诊断中的应用
【10月更文挑战第3天】人工智能与机器学习在医疗诊断中的应用
17 3
|
7天前
|
机器学习/深度学习 人工智能 安全
自动化测试的未来:AI与机器学习的结合
随着技术的发展,软件测试领域正迎来一场革命。自动化测试,一度被认为是提高效率和准确性的黄金标准,如今正在被人工智能(AI)和机器学习(ML)的浪潮所推动。本文将探讨AI和ML如何改变自动化测试的面貌,提供代码示例,并展望这一趋势如何塑造软件测试的未来。我们将从基础概念出发,逐步深入到实际应用,揭示这一技术融合如何为测试工程师带来新的挑战和机遇。
26 2
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
自动化测试的未来:AI与机器学习的融合
【9月更文挑战第29天】在软件测试领域,自动化测试一直是提高测试效率和质量的关键。随着人工智能(AI)和机器学习(ML)技术的飞速发展,它们正逐步渗透到自动化测试中,预示着一场测试革命的来临。本文将探讨AI和ML如何重塑自动化测试的未来,通过具体案例展示这些技术如何优化测试流程,提高测试覆盖率和准确性,以及它们对测试工程师角色的影响。
48 7
|
14天前
|
机器学习/深度学习 人工智能 算法
揭秘AI:机器学习的魔法与现实
【9月更文挑战第33天】在这篇文章中,我们将一探究竟,揭开机器学习神秘的面纱,通过直观的解释和代码示例,了解其背后的原理。无论你是初学者还是有一定基础的学习者,这篇文章都将为你提供有价值的信息。让我们一起探索机器学习的世界,发现它的奥秘和魅力!
|
18天前
|
机器学习/深度学习 人工智能 数据挖掘
探索自动化测试的未来:AI与机器学习的融合
【9月更文挑战第29天】在软件测试领域,自动化测试一直是提高效率和准确性的关键。但随着技术的发展,特别是人工智能(AI)和机器学习(ML)的兴起,我们见证了一个新时代的到来——自动化测试的未来正逐渐被重新定义。本文将探讨AI和ML如何改变自动化测试的面貌,从智能测试脚本的生成到测试结果的深度分析,我们将一探究竟这些前沿技术是如何使测试流程更加智能化、高效化,并预测它们将如何塑造软件测试的未来趋势。
|
7天前
|
机器学习/深度学习 人工智能 算法
【人工智能】人工智能的历史发展与机器学习和神经网络
【人工智能】人工智能的历史发展与机器学习和神经网络
24 0