对话戴金权:英特尔如何构建软硬件协同统一的大数据分析+AI平台?

简介: 抛开硬件,英特尔的软件能力也不容忽视。

雷锋网消息,在2019全球人工智能技术大会主论坛,英特尔高级首席工程师、大数据技术全球CTO戴金权发表了题为“如何构建统一的大数据分析+AI平台”的演讲,英特尔的硬件能力不必赘述,这次英特尔则着重展示了软硬协同能力,尤其是人工智能开源软件平台Analytics Zoo。

戴金权表示,英特尔致力于提供从设备端到边缘再到数据中心、云端完整的计算架构,比如在数据中心,英特尔至强系列服务器是AI应用分析的基础架构,同时也提供了多种神经网络处理器等硬件架构。

TB1bNoJaCWD3KVjSZSgXXcCxVXa.jpg

英特尔开源AI软件版图

如上图所示,这是英特尔使用开源AI软件加速开发的版图,他强调,英特尔致力于提供全栈的解决方案,从最底层的算法开源项目帮助用户更高效开发计算库,再到上层各种机器学习或者深度学习的框架,再到最上层,英特尔也提供了一些开源工具包,目的是帮助应用开发人员更高效的开发基于深度学习的应用。

趋势 | 大数据分析和AI平台融为一体

据雷锋网了解,业内大数据分析和AI平台产品并不少,英特尔这类将大数据分析和AI平台融为一体的模式正成为行业新趋势。

第一,对于大多数用户来说,尤其在生产系统当中,基于Apache Spark这样的大数据集群仍然是所有的生产数据以及包括大量硬件资源的聚集地,如何更高效利用生产数据以及硬件资源,能够将新的人工智能的应用支持起来成为新挑战。

第二,要构建一个工业级端到端的大数据分析+人工智能应用,并不是说训练一个模型就可以完成的事情,其是一个非常复杂的流水线或者工作流。从数据的收集、导入、处理、特征的提取、各种模型的构建训练,到最后的部署、推理等等,是一个非常复杂的工作流。

“我们能够帮助用户可以将这一个样端到端的大数据处理分析加上机器学习的工作流能够非常方便地构建出来,从而大大能够提高了用户的开发效率、部署效率和运维效率”,戴金权介绍道。

与过去数年相比,深度学习和人工智能应用场景更加广泛,要处理的数据也更加广泛,所以客观要求使用者构建端到端的大数据处理分析加上机器学习、深度学习的统一流水线。英特尔观察到,客户有越来越多的类似需求。

“我们有很多用户是来自于很多非常大的互联网公司或者是大的企业里面的传统实验室,他慢慢的也会发现,当构建了一些人工智能深度学习的框架和模型之后,怎么样能够很好的真正跑到生产系统上去,能将生产数据在上面跑起来。这是用户来使用英特尔Analytics Zoo一个很重要的出发点。”

此外,Analytics Zoo的用户也不乏硬件的OEM的厂商、软件提供商、公有云服务商等,英特尔现场展示出的客户包括浪潮、宝信、戴尔、阿里云和腾讯云等。

核心 | 端到端应用场景塑造

TB1jAMQarys3KVjSZFnXXXFzpXa.jpg

从深度学习模型到一个完整的工业级应用要多少步骤?如上戴金权在现场展示的PPT,黑色部分是核心的深度学习模型,但是周边有很多工作要完成,才能使之运行起来。

深度学习的模型只是整个流程的一部分,要构建和应用深度学习模型,还有数据的导入、数据清洗、特征提取、对整个集群的资源的管理和各个应用之间对这个资源的共享等,这些工作事实上占据了机器学习或者深度学习的一个工业级应用开发大部分的时间和资源。所以,数据处理、机器学习,以及算法必须很好地和现有的大数据处理的工作流整合在一起。

这也是构建一个端到端的应用场景所面临的问题,在没有一个统一的大数据分析+AI平台之前,需要人工把很多不同的框架拼凑起来。

另外很多用户开发一般都是从单机开始,当需要处理更多数据的时候,就需要跑到一个大规模分布式环境,甚至到一个生产环境里去。

从Analytics Zoo的角度,第一,英特尔能够将不同的框架无缝的集成到流水线里面去,通过在软件层上面各种新的支持或者功能,能够将TensorFlow、Spark能够非常无缝的集成在一个程序里面,在一个Spark程序里面直接嵌入TensorFlow的Code,然后一起运行起来,这其实对很多用户来说很有吸引力。

第二是在开发过程中,因为底层运行在Spark这样的引擎上,上面可以嵌入各种深度学习的功能,它可以运行在一个单机的环境,也可以跑到一个分布式环境里面去,用户也可以直接访问生产数据。

“很多用户之所以想用Analytics Zoo,就是它可以直接构建端到端的,跟生产系统几乎一致的原型。这是我们的一个主要出发点,可以帮助用户将整个的大数据分析+人工智能的应用很方便的将端到端的流水线构建出来,而且它可以很方便的从用户的笔记本运行到集群、运行到用户的生产环境当中去,这是英特尔在底层Analytics Zoo这个平台里所做的工作”,戴金权总结道。

Analytics Zoo是为了大数据平台所优化的,今天大数据平台基本都运行在非常大规模的英特尔至强处理器上,或许是几十、几百、几千个节点,但是英特尔使用了大量的底层优化的框架和库,像MKL-DNN、OpenVINO等等,将来会通过英特尔One API这样的生态系统输出。

戴金权提到,当在英特尔的生态系统上构建一个人工智能开发平台时,带来的好处就是底层能够支持英特尔各种硬件的加速,不管是至强服务器,包括像Movidius、FPGA,神经网络处理器,还有将来的独立显卡,都可以通过One API下面的底层生态系统来给上层的平台和应用所使用。

雷锋网(公众号:雷锋网)总结,Analytics Zoo能够将各种不同的模块不同的框架下统一到一个端到端流水线上,提高客户开发部署大数据分析和深度学习的能力,这在如今深度学习或者机器学习越泛化的背景下十分重要,英特尔的工作能够让用户减少人工智能应用的开发环节,快速推向现实场景。

相关文章:

英特尔首次向其投资者谈论一个不为人知的“秘密”

腾讯X英特尔:巨头联手如何掘金5G&MEC?

英特尔以数据为中心的竞争优势是什么?BATJ有个共同的观点

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
25天前
|
数据采集 人工智能 Rust
『GitHub项目圈选周刊01』一款构建AI数字人项目开源了!自动实现音视频同步!
『GitHub项目圈选周刊01』一款构建AI数字人项目开源了!自动实现音视频同步!
|
1天前
|
机器学习/深度学习 人工智能 算法
|
3天前
|
人工智能 NoSQL atlas
如何用MongoDB Atlas和大语言模型,高效构建企业级AI应用?
利用生成式 AI 强化应用程序为客户打造令人叹服、真正差异化的体验意味着将人工智能建立在事实的基础之上
|
5天前
|
机器学习/深度学习 人工智能 运维
构建未来:AI驱动的自适应网络安全防御系统
【4月更文挑战第7天】 在数字时代的浪潮中,网络安全已成为维系信息完整性、保障用户隐私和确保商业连续性的关键。传统的安全防御策略,受限于其静态性质和对新型威胁的响应迟缓,已难以满足日益增长的安全需求。本文将探讨如何利用人工智能(AI)技术打造一个自适应的网络安全防御系统,该系统能够实时分析网络流量,自动识别并响应未知威胁,从而提供更为强大和灵活的保护机制。通过深入剖析AI算法的核心原理及其在网络安全中的应用,我们将展望一个由AI赋能的、更加智能和安全的网络环境。
17 0
|
22天前
|
人工智能 算法 搜索推荐
构建未来:AI在持续学习系统中的创新应用
【2月更文挑战第30天】 本文聚焦于人工智能(AI)技术在持续学习系统(CLS)中的前沿应用,探讨了AI如何促进个体和组织的知识演进与技能提升。通过分析自适应学习算法、数据驱动的个性化推荐以及智能辅助决策支持等关键技术,揭示了AI在推动终身学习和知识管理领域的创新潜力。文章还考察了这些技术在实际部署中面临的挑战,包括数据隐私保护、算法透明度和系统集成问题,并提出了相应的解决策略。
15 3
|
22天前
|
人工智能 自然语言处理 数据挖掘
用RAG轻松构建自己的AI大模型应用
如何构建自己的AI大模型应用?
|
23天前
|
人工智能 分布式计算 算法
英特尔助力龙蜥加速 AI 应用及 LLM 性能
英特尔至强服务器平台加速大语言模型应用。
|
23天前
|
人工智能 自然语言处理 安全
推荐一款 AI 资源集合平台,助你通往AGI之路。
推荐一款 AI 资源集合平台,助你通往AGI之路。
|
23天前
|
机器学习/深度学习 存储 人工智能
构建未来:AI在持续学习系统中的创新应用
【2月更文挑战第29天】 在人工智能的不断进步中,一个引人注目的领域是持续学习系统(Continuous Learning Systems, CLS)。这类系统旨在模拟人类学习过程,允许AI模型在不断接收新信息的同时,保持并增强其先前的知识。本文将探讨AI在持续学习领域的最新技术进展,分析其对现有教育模式、工业应用及个人发展的深远影响,同时提出当前面临的主要挑战和潜在的解决方案。
16 1
|
25天前
|
机器学习/深度学习 人工智能 算法
构建未来:AI驱动的自适应网络安全防御系统
【2月更文挑战第27天】 在数字化进程加速的背景下,网络安全威胁日益增长,传统的安全防御机制逐渐显得力不从心。本文提出一种基于人工智能技术的自适应网络安全防御系统架构,旨在通过实时分析网络行为和自动调整防御策略来应对复杂多变的网络攻击。该系统利用机器学习算法对异常行为进行检测与分类,并结合深度学习技术实现攻击模式的预测和响应策略的动态优化。文章详细阐述了系统的设计理念、关键技术以及预期效能,展望了AI技术在网络安全领域应用的未来趋势。

热门文章

最新文章