Hadoop数据迁移到MaxCompute最佳实践

高德对数据平台的要求不仅是数据集成、开发、运维中心、数据质量、数据地图、数据安全以及数据服务等全链路All in One，还希望能以可视化的方式进行用户交互，以提高开发效率。以运维中心为例，希望所使用的工具能够将调度节点可视化，方便进行不同时间粒度的任务依赖。同时，还希望拥有可视化的数据地图用于管理元数据信息，方便上下游即时查看。MaxCompute正是符合高德数据业务诉求的给力产品。不仅具有零学习成本和完善的IDE等优势，更具备超高弹性，让高德得以轻松应对国庆假期的超高流量。同时，基于MaxCompute等阿里云产品，让高德内部迄今为止最大的公共项目“魔方”得以实现，为用户提供更优质的出行服务。

众安保险作为国内首家互联网保险公司，从创立之初计算平台就使用MaxCompute。MaxCompute不仅仅是一个计算平台，它还提供可用的IDE（DataWorks、Studio）开发工具进行数据分析和挖掘，从而降低了众安最初的开发成本。MaxCompute不仅为众安提供任务调度系统、元数据、数据质量监控、数据服务与安全，而且生态的丰富，资源与工具的共享，都能很好的满足众安的使用需求，让众安可以有更多时间去接触用户，为用户创造更大价值。

大数据技术公开课第二季直播详情>>>

大数据技术公开课第二季直播详情>>>

获奖用户信息填写地址： https://survey.aliyun.com/survey/AgDLQqOP7 点击聚能聊畅所欲言： 【阿里云新品发布】开启新一代数据智能开发之路： https://yq.aliyun.com/roundtable/325525 了解更多产品详情，欢迎点击： https://et.aliyun.com/bigdatarelease 本次阿里云有6款大数据联合发布，分别是： DataWorks 智能SQL引擎：大大提升数据开发者Coding-效率，更加自然、智能的体验享受 机器学习PAI AutoML：参数自动化调优，为算法工程师节省大量调参工作，并输出好的模型 全新的分析产品DataLake Analytics：计算存储相分离，OSS数据分析最佳拍档，极低的分析成本 MaxCompute底层存储升级： EMR 一体化云上工作平台： Elasticsearch智能运维和离线平台： 议程如下： 13：30-14：00 《新一代智能数据工场》——士诚 14：00-14：30《机器学习PAI AutoML技术解析》——傲海 14：30-15：00《实践演练：云上编程应用》——祝星 15：00-15：30《无服务器分析架构最佳实践Data Lake Analytics》—长风 15：30-16：00《大数据计算服务MaxCompute底层存储升级解析》— 圣远 16：00-16：30《EMR：一体化Hadoop云上工作平台》—— 雷飙 16：30-17：00《Elasticsearch智能运维与离线平台》——洪阳 下载阿里云APP二维码，新品发布会抢先看：

FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展，讨论实时技术如何提升数据处理的全链路时效性，分析如何基于 Flink 设计实时数据集成框架，以及实时数据集成技术在不同业务领域的最佳实践。

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享，探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案，通过这些案例，一起解析技术挑战，分享业务成果，促进实时数据处理技术的创新与发展。

核心技术专场由 Apache Flink 核心贡献者与阿里云智能、字节跳动、网易、美团、蚂蚁金服等公司的一线技术专家解析 Flink 2.0 技术动向与应用实践。

批量识别发票，自动保存到Excel中

听一听参与夏令营的同学们怎么说，阿里云在这里期待迎接更多优秀的同学们！了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

打卡2023世界人工智能大会# 除了马斯克的机器人，大模型无疑是最热的话题，本次大会将有30多款大模型亮相，我们明天下午将走进《以模型为中心的AI开发新范式 》论坛，看看模型对人工智能行业发展到底有什么意义！欢迎关注我们！

点此免费试用 ->本实验基于Kibana Dashboard将航班信息可视化和其他相关数据可视化组合在一起，例如航班延误率较高时间段的机票平均价格等等。通过本实验，您将掌握Kibana Dashboard的使用方法，帮助您在仪表板上添加各种交互和过滤器，随时随地进行数据分析和操作，从而更加轻松地实现交互式数据可视化、深入挖掘数据价值。讲师简介刘晓国 - Elastic 首席布道师

2022第四届实时计算Flink挑战赛决赛答辩

Flink Forward 行业实践 “Flink在平安证券的实践”张兴平安证券经纪大数据基础平台负责人

Flink Forward 行业实践 “菜鸟供应链实时数仓最佳实践”张庭阿里巴巴菜鸟网络高级数据研发工程师

Flink Forward 平台建设 “Apache StreamPark 让Flink开发管理更简单”王华杰Apache StreamPark PPMC 社区发起人

Flink Forward 平台建设 “小米基于Flink的实时数仓建设实践”周超小米软件开发工程师

Flink Forward 平台建设 “Flink SQL 在美团实时数仓生产中的增强与实践”张彬美团数据系统研发工程师董剑辉美团数据系统研发工程师

Flink Forward 行业实践“中信建设证券基于Flink的实时计算平台探索与实践”宋宇航 中信建投证券流计算技术专家王若梦 中信建投证券实时数仓项目负责人

Flink Forward 行业实践“Apache Flink 在翼支付的实践应用”尹春光 翼支付高级大数据开发工程师

Flink Forward 行业实践“中原银行OLAP架构实时化演进”杜威科 中原银行实时计算平台负责人

Flink Forward 平台建设“Hive SQL迁移到Flink SQL在快手的实践”刘大龙 阿里云工程师张芒 快手大数据架构工程师

Flink Forward 核心技术“Flink Connector 社区新动向与开发指南”罗根 阿里云技术专家任庆盛 阿里云开发工程师

Flink Forward 核心技术“Flink Unaligned Checkpoint 在 Shopee 的优化和实践”范瑞 Apache StreamPark Committer

Flink Forward 行业案例“运满满 实时计算实践和思考”欧锐 满帮实时计算团队负责人

Flink Forward 实时湖仓“SmartNews 基于 Flink 的 iceberg 实时数据湖实践”戢清雨 SmartNews 数据平台架构师

Flink Forward Asia 实时风控专场 “京东物流实时风控实践”周文跃 风控数据产品组架构师

Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”冯斐 美团数据平台计算引擎工程师

Flink Forward Asia 生产实践专场 “快手Flink的稳定性和功能性扩展”刘建刚 快手技术专家

Flink Forward Asia 生产实践专场 “How To Write Fast Flink SQL”贺小令 阿里云高级技术专家

实时数仓workshop北京站"从ELK到EFK—结合Flink和Elasticsearch新特性重构全观测方案"朱杰Elastic资深解决方案架构师赵弘扬阿里云高级产品专家

实时数仓workshop北京站"预计算技术+Hologres在阿里采集流量分析产品中的实践"康凯阿里巴巴技术专家

平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介王世涛｜货拉拉大数据实时研发平台负责董剑辉｜美团数据系统研发工程师张彬｜美团数据系统研发工程师穆纯进｜联通数科实时计算团队负责人，Apache StreamPark Contributor周超｜小米软件开发工程师王华杰｜Apache StreamPark PPMC, 社区发起人

实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。讲师/嘉宾简介李劲松｜阿里巴巴高级技术专家，Apache Flink PMC王磊｜SelectDB 资深大数据研发专家、Apache Doris C汤楚熙｜美团数据系统研发工程师周跃跃｜OceanBase 架构师谢寅｜StarRocks 社区技术布道师

流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例，详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于 Hive SQL on Flink 构建流批一体引擎。讲师/嘉宾简介张静｜快手技术专家，Apache Flink/Calcite Committer马年圣｜蚂蚁集团数据技术专家，实时数仓架构师王鑫｜蚂蚁集团高级技术专家，Apache Storm PMC，Apache RocketMQ Committer，Apache IoTDB Committer杨涵冰｜上海数禾信息科技有限公司 大数据架构师张颖｜京东数据分析优化部算法开发工程师，Alink、DeepLearning on Flink Contributor

快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地，围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介连序全｜中泰证券大数据中心实时计算架构师杜威科｜中原银行流计算平台负责人尹春光｜翼支付高级大数据开发工程师王若梦｜中信建投证券实时数仓项目负责人宋宇航｜中信建投证券流计算技术专家张兴｜平安证券经纪大数据基础平台负责人

由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践，回归技术本质，打造全方位技术盛宴。讲师/嘉宾简介俞航翔｜Apache Flink Contributor范瑞｜Tech Lead of Shopee Flink Runtime Team，Apache StreamPark Committer & Flink/Hadoop/HBase/RocksDB Contributor张杨｜bilibili 资深开发工程师李明｜字节跳动基础架构工程师王义｜字节跳动基础架构工程师王非凡｜美团数据平台计算引擎工程师，Apache Flink Contributor

AI 特征工程专场将由来自腾讯、字节跳动、阿里巴巴的技术专家带来基于 Flink 的实时特征工程平台建设思路与落地实践。讲师/嘉宾简介林东｜Apache Kafka Committer 和 PMC 成员李天旺｜腾讯专家级工程师张颖莹｜阿里云计算平台算法专家廖嘉逸｜字节跳动推荐特征生产方向负责人刘首维｜字节跳动推荐架构工程师

Apache Flink Meetup 北京站主题：基于 Log 的通用增量 Checkpoint讲师：余航翔 Apache Flink Contributer

Apache Flink Meetup 北京站主题：Flink Table Store 典型应用场景讲师：李劲松 阿里巴巴高级技术专家

云原生一体化数仓数据安全能力基于MaxCompute与DataWorks的组合能力，包括数据分级机制、敏感数据识别算法、用户权限级别和数据安全级别自动映射、数据脱敏、审批和权限回收流程、审计机制、开发生产环境隔离等安全能力，实现了端到端的安全管控能力。讲师/嘉宾简介孔亮 阿里云智能 产品专家

阿里云DataWorks自研建模产品-智能数据建模产品核心能力及收费模式简介。讲师/嘉宾简介闫建丽 阿里云智能 产品专家

2022年5月11日14：00，阿里云EMR StarRocks 产品线上发布会重磅开启，精彩不容错过！阿里云EMR-StarRocks 是 StarRocks 授权阿里云的一款新一代开源OLAP产品，致力于构建极速统一分析体验，满足企业用户的多种数据分析场景。讲师/嘉宾简介本次发布会邀请到了来自阿里云、StarRocks、众安保险的产品技术专家，详细介绍 EMR StarRocks 的功能优势、应用场景以及落地实践，揭秘 StarRocks 极速数据湖分析能力背后的技术支撑和未来规划。

活动介绍：为了促进 Flink CDC 技术的交流和发展，我们将于 5 月 21 日在线举办 Flink CDC Meetup。本次 Meetup 由阿里巴巴技术专家，Apache Flink PMC Member & Committer 伍翀 (云邪) 作为出品人，邀请了来自阿里巴巴、XTransfer、顺丰、OceanBase、大健云仓的大咖分享 Flink CDC 在各场景中的最佳实践、生产经验、技术原理等。嘉宾简介：伍翀（云邪）- 阿里巴巴技术专家，Apache Flink PMC Member & Committer徐榜江（雪尽）- 阿里巴巴高级开发工程师，Apache Flink Committer & Flink CDC Maintainer孙家宝 - XTransfer 资深 Java 开发工程师，Flink CDC Maintainer覃立辉 - 顺丰大数据研发工程师王赫（川粉）- OceanBase 技术专家龚中强 - 大健云仓基础架构部负责人

本期课介绍如何使用DDI和MLflow搭建机器学习生命周期管理平台，实现从数据准备、模型训练、参数和性能指标追踪、以及模型部署的全流程。讲师/嘉宾简介李锦桂--阿里云开源大数据平台开发工程师

阿里云Elasticsearch面向海量日志的分析检索场景，提供了高性价比的日志增强版解决方案。主要分享阿里云Elasticsearch日志场景的最佳实践，以及引擎内核优化思路。更有现场展示产品操作和压测效果，干货满满。讲师/嘉宾简介郭嘉梁 阿里巴巴技术专家智能引擎事业部-云服务-搜索与分析-Elasticsearch，技术专家

首届 Flink Forward Asia Hackathon，本次比赛由 Apache Flink 社区联手阿里云 ACE、 Pravega 社区、DELL 联合举办。本次比赛为开放式命题，以实时计算为主题，以 Flink 为工具，解决大家日常学习和工作中遇到的实际问题。可以是气象预测、城市交通管理、金融交易监察这样关乎国计民生的选题；也可以是提升购物体验、增强游戏互动性、个人运动管理、社交等改善生活中琐碎点滴的选题；还可以是对 Flink 本身的创新和改进。选手需要使用（但不仅限于使用）Flink 生态里的各种工具，包括统计分析、机器学习、复杂事件处理、各类 connector，StatefulFunction 等等来完成自己的选题。共计 29 支队伍进入决赛