网易大数据服务 让非技术人员也能独立分析数据

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

“在我们开始做电商(考拉、严选)的时候,发现数据开发工程师、数据分析师老板招聘量很大,发现即便用高薪也很难招到合适的人。这时候老板就对我们提出了一个需求,如何让网易普通的开发工程师、业务人员,通过大数据平台就可以自主进行大数据可视化分析。”

1997年成立的网易,经过二十年的发展,其业务范围已经涉及到在线游戏、电子邮箱、在线教育、电子商务、在线音乐等多种服务,积累了大量用户线上线下的行为数据,因此数据分析的需求也就不言而喻。网易有数总经理魏文庆谈到,最初布局大数据技术的初衷,就是希望让内部普通的工程师进行大数据开发,非技术人员能够独立做数据分析工作。

 网易大数据服务 让非技术人员也能独立分析数据

网易有数总经理 魏文庆

非技术人员自主解读大数据

早前,网易针对技术研究成立了网易杭州研究院,成立最初是解决web2.0时代的海量数据存储的问题。现在逐步发展成为集研究院、工程院、孵化器与一身的综合性结构。在大数据方面,随着业务的复杂度逐渐加深,网易的两个大数据平台及产品——“猛犸”和“有数”应运而生。

“猛犸”是网易研发的大数据应用开发和管理平台,功能覆盖数据传输、计算及作业流调度,每天要对网易考拉海购、网易严选、网易云音乐 等各个产品进行数据收集、管理与计算。平均每天要处理PB级以上的数据,有大约7万个任务在调度。

另一款产品“有数”,定位是敏捷数据分析平台,数据资产管理的目的是对所积累的海量数据进行深度加工。据魏文庆的描述,这款产品有着甚至连国际友商都不具备的功能——有着和PPT一模一样的操作方式,包括整个布局、右侧配置、快捷键以及图片播放等等……

除此之外,“有数”平台上,只需要用自然语言输入,就可以从数据直接推到出图形,方便了大部分业务人员更直观分析数据情况的需求。总结出来,“有数”可以帮助非技术人员用智能图表的形式解读数据。

魏文庆介绍,两款产品均实现了可视化交互,比如日志、不同数据源的集成,都可以用可视化方式做任务的配置和调度。并且将数据分析、数据建模、数据处理等业务的门槛降低,经过培训的业务人员就可以进行独立数据分析工作,最后将分析结果汇报给管理层。在培训方面,网易有数会定期将课程视频通过网易云课堂,为企业提供在线的教程培训。

不做生态的大数据服务供应商

据了解,早在一年前“猛犸”和“有数”就已经开始了对外输出服务,目标客户更偏向于中、大型传统企业。

例如此前与吉利集团的合作,通过网易开放的大数据、计算、可视化等相关能力,缩短了吉利新产品的上线周期。以及帮助吉利把数据汇聚起来,通过多个不同的模型,从中找到最优的分析结果。

目前网易在为包括吉利、税友软件等知名企业,帮助他们搞定大数据计算管理方面的问题。“我们现在跟一些顶尖的、规模非常大的非互联网企业在合作。”魏文庆重点强调了“非互联网”企业。

在近两年国内的IT市场中,可以明显感觉到一个明显的趋势——做生态。为了更好应对竞争,很多IT厂商都选择了与行业中的领先企业达成战略合作,组建更具竞争力的生态体系,迅速拓展市场。

而在此次采访中,魏文庆透露他们从最初开始并且未来都没有考虑建立大数据服务的生态圈。对于这样的考量,其实也是由于网易有数所服务的客户规模。数据是每个企业非常核心和机密的资产,而大中型企业往往更看重企业内部的隐私。网易希望保持中立的角色,只关注于产品,不建生态,实现私有化部署的大数据平台。

截止到目前为止,网易大数据服务的用户量已过两位数。谈到未来的发展计划,魏文庆强调他们并没有急着去拓展用户数量,而是希望专注在技术层面,从而更好为传统企业内部的业务人员服务,解决“有数”和“猛犸”一开始研发的初衷。

原文发布时间为:2017-7-14
 
本文作者:孙博
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
6天前
|
分布式计算 Shell MaxCompute
odps测试表及大量数据构建测试
odps测试表及大量数据构建测试
|
20天前
|
机器学习/深度学习 数据可视化 大数据
机器学习与大数据分析的结合:智能决策的新引擎
机器学习与大数据分析的结合:智能决策的新引擎
107 15
|
26天前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
24天前
|
分布式计算 DataWorks 搜索推荐
用户画像分析(MaxCompute简化版)
通过本教程,您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析,并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。
|
2月前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
105 4
|
2月前
|
关系型数据库 分布式数据库 数据库
PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具
在数字化时代,企业面对海量数据的挑战,PolarDB 以其出色的性能和可扩展性,成为大数据分析的重要工具。它不仅支持高速数据读写,还通过数据分区、索引优化等策略提升分析效率,适用于电商、金融等多个行业,助力企业精准决策。
39 4
|
2月前
|
机器学习/深度学习 分布式计算 算法
【大数据分析&机器学习】分布式机器学习
本文主要介绍分布式机器学习基础知识,并介绍主流的分布式机器学习框架,结合实例介绍一些机器学习算法。
272 5
|
3月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
2月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
487 7
|
2月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
62 2