网易大数据服务 让非技术人员也能独立分析数据

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

“在我们开始做电商(考拉、严选)的时候,发现数据开发工程师、数据分析师老板招聘量很大,发现即便用高薪也很难招到合适的人。这时候老板就对我们提出了一个需求,如何让网易普通的开发工程师、业务人员,通过大数据平台就可以自主进行大数据可视化分析。”

1997年成立的网易,经过二十年的发展,其业务范围已经涉及到在线游戏、电子邮箱、在线教育、电子商务、在线音乐等多种服务,积累了大量用户线上线下的行为数据,因此数据分析的需求也就不言而喻。网易有数总经理魏文庆谈到,最初布局大数据技术的初衷,就是希望让内部普通的工程师进行大数据开发,非技术人员能够独立做数据分析工作。

 网易大数据服务 让非技术人员也能独立分析数据

网易有数总经理 魏文庆

非技术人员自主解读大数据

早前,网易针对技术研究成立了网易杭州研究院,成立最初是解决web2.0时代的海量数据存储的问题。现在逐步发展成为集研究院、工程院、孵化器与一身的综合性结构。在大数据方面,随着业务的复杂度逐渐加深,网易的两个大数据平台及产品——“猛犸”和“有数”应运而生。

“猛犸”是网易研发的大数据应用开发和管理平台,功能覆盖数据传输、计算及作业流调度,每天要对网易考拉海购、网易严选、网易云音乐 等各个产品进行数据收集、管理与计算。平均每天要处理PB级以上的数据,有大约7万个任务在调度。

另一款产品“有数”,定位是敏捷数据分析平台,数据资产管理的目的是对所积累的海量数据进行深度加工。据魏文庆的描述,这款产品有着甚至连国际友商都不具备的功能——有着和PPT一模一样的操作方式,包括整个布局、右侧配置、快捷键以及图片播放等等……

除此之外,“有数”平台上,只需要用自然语言输入,就可以从数据直接推到出图形,方便了大部分业务人员更直观分析数据情况的需求。总结出来,“有数”可以帮助非技术人员用智能图表的形式解读数据。

魏文庆介绍,两款产品均实现了可视化交互,比如日志、不同数据源的集成,都可以用可视化方式做任务的配置和调度。并且将数据分析、数据建模、数据处理等业务的门槛降低,经过培训的业务人员就可以进行独立数据分析工作,最后将分析结果汇报给管理层。在培训方面,网易有数会定期将课程视频通过网易云课堂,为企业提供在线的教程培训。

不做生态的大数据服务供应商

据了解,早在一年前“猛犸”和“有数”就已经开始了对外输出服务,目标客户更偏向于中、大型传统企业。

例如此前与吉利集团的合作,通过网易开放的大数据、计算、可视化等相关能力,缩短了吉利新产品的上线周期。以及帮助吉利把数据汇聚起来,通过多个不同的模型,从中找到最优的分析结果。

目前网易在为包括吉利、税友软件等知名企业,帮助他们搞定大数据计算管理方面的问题。“我们现在跟一些顶尖的、规模非常大的非互联网企业在合作。”魏文庆重点强调了“非互联网”企业。

在近两年国内的IT市场中,可以明显感觉到一个明显的趋势——做生态。为了更好应对竞争,很多IT厂商都选择了与行业中的领先企业达成战略合作,组建更具竞争力的生态体系,迅速拓展市场。

而在此次采访中,魏文庆透露他们从最初开始并且未来都没有考虑建立大数据服务的生态圈。对于这样的考量,其实也是由于网易有数所服务的客户规模。数据是每个企业非常核心和机密的资产,而大中型企业往往更看重企业内部的隐私。网易希望保持中立的角色,只关注于产品,不建生态,实现私有化部署的大数据平台。

截止到目前为止,网易大数据服务的用户量已过两位数。谈到未来的发展计划,魏文庆强调他们并没有急着去拓展用户数量,而是希望专注在技术层面,从而更好为传统企业内部的业务人员服务,解决“有数”和“猛犸”一开始研发的初衷。

原文发布时间为:2017-7-14
 
本文作者:孙博
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
42 7
|
3天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
14 2
|
5天前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
25 2
|
8天前
|
存储 监控 数据挖掘
【Clikhouse 探秘】ClickHouse 物化视图:加速大数据分析的新利器
ClickHouse 的物化视图是一种特殊表,通过预先计算并存储查询结果,显著提高查询性能,减少资源消耗,适用于实时报表、日志分析、用户行为分析、金融数据分析和物联网数据分析等场景。物化视图的创建、数据插入、更新和一致性保证通过事务机制实现。
46 14
|
10天前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
24 3
|
10天前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
39 2
|
13天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
45 2
|
14天前
|
数据采集 机器学习/深度学习 搜索推荐
大数据与社交媒体:用户行为分析
【10月更文挑战第31天】在数字化时代,社交媒体成为人们生活的重要部分,大数据技术的发展使其用户行为分析成为企业理解用户需求、优化产品设计和提升用户体验的关键手段。本文探讨了大数据在社交媒体用户行为分析中的应用,包括用户画像构建、情感分析、行为路径分析和社交网络分析,以及面临的挑战与机遇。
|
14天前
|
机器学习/深度学习 搜索推荐 大数据
大数据与教育:学生表现分析的工具
【10月更文挑战第31天】在数字化时代,大数据成为改善教育质量的重要工具。本文探讨了大数据在学生表现分析中的应用,介绍学习管理系统、智能评估系统、情感分析技术和学习路径优化等工具,帮助教育者更好地理解学生需求,制定个性化教学策略,提升教学效果。尽管面临数据隐私等挑战,大数据仍为教育创新带来巨大机遇。
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势