【云栖大会】行在:6年大数据实践中我们所踩过的坑

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

云栖大会将在2016年1月20日登陆上海。云栖大会上海峰会提供六大分论坛(包括金融、平台构建、创业与生态、互联网+、大数据、政务云安全等)、46+场高浓度演讲、4场开放实验室,近百位一线技术专家现场互动。

了让大家更多了解云栖大会上海峰会情况,我们对相关分论坛出品人进行了系列采访。本期采访嘉宾——阿里云数加工场的张金银(花名行在),云栖大会上海峰会《大数据》出品人。

阿里云大数据资深专家 张金银

云栖社区:请简单介绍下工作经验,以及策划《大数据》论坛的初衷是什么?

行在:来阿里之前,是软件研发、DBA和数仓。来到阿里已经11年,从中文站事业部的数仓、B2B dw到CDO,到数据事业部,主要都是从事和数据相关的工作。作为云栖大会上海峰会《大数据》出品人,希望普惠大数 据,让大数据为人人可用。

云栖社区:大数据是DT时代的核心。在你看来,大数据技术发展与行业实践的困难和挑战在哪些方面?

行在:主要有两大类挑战,其一是大数据的底层技术掌握在巨头手里;并且很多巨头不愿意分享,普通的创业团队无法使用这些核心技术;其二是现在行业内大数据喊的比较多,但成功案例不多,人人都知道数据有 价值,但还有几方面的问题,比如缺少核心的加工技术,无法把石油变成汽油;缺少掌握加工技术的人才;数据的融合、交易、分享还存在一些核心需要解决的问题,如:安全问题;定价问题;所有权和使用权问题 等。

云栖社区:阿里的演讲中,有什么亮点可以提前分享?

行在:有四大亮点,大家可以提前关注下:数加的使命:普惠大数据;数加实际上是集阿里6年在大数据的领域经验和技术之大成;我们会分享6年来踩过的坑,走过的弯路,帮助其他企业避免同样的问题;三年1万亿的合作伙 伴计划。

云栖社区:大数据行业属性明显。《大数据》论坛还包括音乐、物流、水利、金融、娱乐等多方面行业实践的分享,哪些会是共性技术需求?哪些是个性应用场景?

行在:数加底层的平台都是共性需求,但只解决这些共性需求是远远不能满足企业需求的,所以我们必须联合行业内的TOP服务商,发挥双方的共同优势,一起服务好最终用户。在我看来,共性需求如计算能力;存储 能力;安全;数据加工能力;展现和分析能力;数据挖掘能力等。个性场景则比较明确,场景众多,比如:交通预测;城市积水深度预测;充电桩选址;风力发电站选址;智慧水利,智能客服等。

云栖社区:从大数据产业发展来说,你认为有哪些新的技术趋势值得关注?

行在:大数据产业迅猛,数据技术已经平民化,业务人员可以任意对数据进行分析,挖掘,让这些不是数据工程师的专利,而是平民可用。此外,还有四个方面:
  1. 数据自动关联,建模自动化,减少人工建模等;
  2. 数据连接的技术;大数据的核心在于连接;
  3. 可视化展示的技术;
  4. 数据安全,系统安全。

云栖社区:如果企业想构建优秀大数据团队,你有什么建议?

行在:优秀大数据团队由三类成员组成:
  1. 技术人员:关键是能把问题转化成技术方案的能力;
  2. 行业专家:核心能力是能了解行业和客户痛点,并且能从数据的角度提出解决方案;
  3. 产品经理:能了解问题,沉淀出好的数据产品;
要构建好团队,这三类人的成长必不可少。
 
云栖社区:哪些听众最应该了解这些话题?《大数据》论坛可以帮助听众解决哪些问题?

行在:以后每个生意都是数据生意,所以我认为大家都要了解。我希望通过这个论坛,能普惠和普及大数据,揭开大数据的神秘面纱,让人人皆可以了解,使用,受惠于大数据。

云栖大会上海峰会官网(含报名链接): http://yunqi.aliyun.com/
《大数据》论坛议程:



相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
SQL 分布式计算 运维
如何对付一个耗时6h+的ODPS任务:慢节点优化实践
本文描述了大数据处理任务(特别是涉及大量JOIN操作的任务)中遇到的性能瓶颈问题及其优化过程。
|
13天前
|
机器学习/深度学习 算法 搜索推荐
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【10月更文挑战第4天】在大数据时代,算法效率至关重要。本文从理论入手,介绍时间复杂度和空间复杂度两个核心概念,并通过冒泡排序和快速排序的Python实现详细分析其复杂度。冒泡排序的时间复杂度为O(n^2),空间复杂度为O(1);快速排序平均时间复杂度为O(n log n),空间复杂度为O(log n)。文章还介绍了算法选择、分而治之及空间换时间等优化策略,帮助你在大数据挑战中游刃有余。
41 4
|
1月前
|
容器 云栖大会
|
1月前
|
人工智能 Cloud Native Java
新趋势、新开源、新实践|云栖大会 AI 原生应用架构专场邀您参会
新趋势、新开源、新实践|云栖大会 AI 原生应用架构专场邀您参会
|
1月前
|
大数据 云栖大会 云计算
2024云栖大会 预告:磐久服务器技术创新和实践
2024云栖大会 预告:磐久服务器技术创新和实践
2024云栖大会 预告:磐久服务器技术创新和实践
|
1月前
|
人工智能 云栖大会
AI Infra的前沿技术与应用实践 | 2024云栖大会预告
AI Infra的前沿技术与应用实践 | 2024云栖大会
|
13天前
|
SQL 消息中间件 分布式计算
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(一)
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(一)
43 0
|
13天前
|
SQL 大数据
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(二)
大数据-143 - ClickHouse 集群 SQL 超详细实践记录!(二)
38 0
|
13天前
|
SQL 消息中间件 分布式计算
大数据-130 - Flink CEP 详解 - CEP开发流程 与 案例实践:恶意登录检测实现
大数据-130 - Flink CEP 详解 - CEP开发流程 与 案例实践:恶意登录检测实现
28 0
|
1月前
|
云栖大会