【云栖大会】行在:6年大数据实践中我们所踩过的坑

简介:

云栖大会将在2016年1月20日登陆上海。云栖大会上海峰会提供六大分论坛(包括金融、平台构建、创业与生态、互联网+、大数据、政务云安全等)、46+场高浓度演讲、4场开放实验室,近百位一线技术专家现场互动。

为 了让大家更多了解云栖大会上海峰会情况,我们对相关分论坛出品人进行了系列采访。本期采访嘉宾——阿里云数加工场的张金银(花名行在),云栖大会上海峰会《大数据》出品人。

阿里云大数据资深专家 张金银

云栖社区:请简单介绍下工作经验,以及策划《大数据》论坛的初衷是什么?

行在:来阿里之前,是软件研发、DBA和数仓。来到阿里已经11年,从中文站事业部的数仓、B2B dw到CDO,到数据事业部,主要都是从事和数据相关的工作。作为云栖大会上海峰会《大数据》出品人,希望普惠大数 据,让大数据为人人可用。

云栖社区:大数据是DT时代的核心。在你看来,大数据技术发展与行业实践的困难和挑战在哪些方面?

行在:主要有两大类挑战,其一是大数据的底层技术掌握在巨头手里;并且很多巨头不愿意分享,普通的创业团队无法使用这些核心技术;其二是现在行业内大数据喊的比较多,但成功案例不多,人人都知道数据有 价值,但还有几方面的问题,比如缺少核心的加工技术,无法把石油变成汽油;缺少掌握加工技术的人才;数据的融合、交易、分享还存在一些核心需要解决的问题,如:安全问题;定价问题;所有权和使用权问题 等。

云栖社区:阿里的演讲中,有什么亮点可以提前分享?

行在:有四大亮点,大家可以提前关注下:数加的使命:普惠大数据;数加实际上是集阿里6年在大数据的领域经验和技术之大成;我们会分享6年来踩过的坑,走过的弯路,帮助其他企业避免同样的问题;三年1万亿的合作伙 伴计划。

云栖社区:大数据行业属性明显。《大数据》论坛还包括音乐、物流、水利、金融、娱乐等多方面行业实践的分享,哪些会是共性技术需求?哪些是个性应用场景?

行在:数加底层的平台都是共性需求,但只解决这些共性需求是远远不能满足企业需求的,所以我们必须联合行业内的TOP服务商,发挥双方的共同优势,一起服务好最终用户。在我看来,共性需求如计算能力;存储 能力;安全;数据加工能力;展现和分析能力;数据挖掘能力等。个性场景则比较明确,场景众多,比如:交通预测;城市积水深度预测;充电桩选址;风力发电站选址;智慧水利,智能客服等。

云栖社区:从大数据产业发展来说,你认为有哪些新的技术趋势值得关注?

行在:大数据产业迅猛,数据技术已经平民化,业务人员可以任意对数据进行分析,挖掘,让这些不是数据工程师的专利,而是平民可用。此外,还有四个方面:
  1. 数据自动关联,建模自动化,减少人工建模等;
  2. 数据连接的技术;大数据的核心在于连接;
  3. 可视化展示的技术;
  4. 数据安全,系统安全。

云栖社区:如果企业想构建优秀大数据团队,你有什么建议?

行在:优秀大数据团队由三类成员组成:
  1. 技术人员:关键是能把问题转化成技术方案的能力;
  2. 行业专家:核心能力是能了解行业和客户痛点,并且能从数据的角度提出解决方案;
  3. 产品经理:能了解问题,沉淀出好的数据产品;
要构建好团队,这三类人的成长必不可少。
 
云栖社区:哪些听众最应该了解这些话题?《大数据》论坛可以帮助听众解决哪些问题?

行在:以后每个生意都是数据生意,所以我认为大家都要了解。我希望通过这个论坛,能普惠和普及大数据,揭开大数据的神秘面纱,让人人皆可以了解,使用,受惠于大数据。

云栖大会上海峰会官网(含报名链接): http://yunqi.aliyun.com/
《大数据》论坛议程:



相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
人工智能 自然语言处理 搜索推荐
携多项成果亮相云栖大会,探索大模型在云通信中的创新应用与全球实践
2025云栖大会云通信分论坛聚焦大模型与云通信融合,阿里云发布智能联络中心2.0与Chat App AI助理,携手伙伴推动通信智能化升级。
1009 1
|
存储 数据采集 搜索推荐
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
本篇文章探讨了 Java 大数据在智慧文旅景区中的创新应用,重点分析了如何通过数据采集、情感分析与可视化等技术,挖掘游客情感需求,进而优化景区服务。文章结合实际案例,展示了 Java 在数据处理与智能推荐等方面的强大能力,为文旅行业的智慧化升级提供了可行路径。
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
|
数据采集 SQL 搜索推荐
大数据之路:阿里巴巴大数据实践——OneData数据中台体系
OneData是阿里巴巴内部实现数据整合与管理的方法体系与工具,旨在解决指标混乱、数据孤岛等问题。通过规范定义、模型设计与工具平台三层架构,实现数据标准化与高效开发,提升数据质量与应用效率。
4447 0
大数据之路:阿里巴巴大数据实践——OneData数据中台体系
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
532 4
|
数据采集 存储 大数据
大数据之路:阿里巴巴大数据实践——日志采集与数据同步
本资料全面介绍大数据处理技术架构,涵盖数据采集、同步、计算与服务全流程。内容包括Web/App端日志采集方案、数据同步工具DataX与TimeTunnel、离线与实时数仓架构、OneData方法论及元数据管理等核心内容,适用于构建企业级数据平台体系。
1425 1
|
分布式计算 监控 大数据
大数据之路:阿里巴巴大数据实践——离线数据开发
该平台提供一站式大数据开发与治理服务,涵盖数据存储计算、任务调度、质量监控及安全管控。基于MaxCompute实现海量数据处理,结合D2与DataWorks进行任务开发与运维,通过SQLSCAN与DQC保障代码质量与数据准确性。任务调度系统支持定时、周期、手动运行等多种模式,确保高效稳定的数据生产流程。
665 0
大数据之路:阿里巴巴大数据实践——离线数据开发
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
632 3
|
机器学习/深度学习 存储 分布式计算
ODPS驱动电商仓储革命:动态需求预测系统的落地实践
本方案基于ODPS构建“预测-仿真-决策”闭环系统,解决传统仓储中滞销积压与爆款缺货问题。通过动态特征工程、时空融合模型与库存仿真引擎,实现库存周转天数下降42%,缺货率下降65%,年损减少5000万以上,显著提升运营效率与GMV。
1285 1
|
存储 SQL 分布式计算
大数据之路:阿里巴巴大数据实践——元数据与计算管理
本内容系统讲解了大数据体系中的元数据管理与计算优化。元数据部分涵盖技术、业务与管理元数据的分类及平台工具,并介绍血缘捕获、智能推荐与冷热分级等技术创新。元数据应用于数据标签、门户管理与建模分析。计算管理方面,深入探讨资源调度失衡、数据倾斜、小文件及长尾任务等问题,提出HBO与CBO优化策略及任务治理方案,全面提升资源利用率与任务执行效率。
951 0

热门文章

最新文章