新零售---图书行业基于MaxCompute构建数据中台
中金易云(浙江新华书店)基于MaxCompute构建图书行业数据中台。打通全国1000多家出版机构,20多个发行集团,5000多家零售门店的数据,以大数据思维方法论重构图书出版发行行业。MaxCompute统一的存储、计算引擎和数据开发平台,提供全局的数据资源视图。计算资源可根据项目需要动态调整,快速生效。同时提供多租户隔离机制,各部门可独立管理自身的数据,独立做数据权限管理。
4节课全面突围企业大数据实践路线(三)
1、直播内容介绍:[MVP 时间]是由阿里云MVP主讲,聚焦行业数字化转型的实战经验的最佳实践课程。重在帮助开发者快速了解中小企业业务搭建中的技术难点与解决方案,减少踩坑。本课程《4节课全面突围企业大数据实践路线》为系列内容,全面介绍企业大数据是如何一步步搭建及应用的过程。课程划分:共计4节课内容,分4次直播进行;每周三晚20:00准时开播,每次1个小时(45分钟的课程,15分钟的答疑)。此次为第三节课程:解析业务数据特征2、分享嘉宾信息:姓名:戚俊 阿里云 MVP职位:浙江银杏谷投资总裁技术助理加钉钉群随时与老师在线互动。
飞天技术汇第27期 大数据产品家族新功能发布会
获奖用户信息填写地址: https://survey.aliyun.com/survey/AgDLQqOP7 点击聚能聊畅所欲言: 【阿里云新品发布】开启新一代数据智能开发之路: https://yq.aliyun.com/roundtable/325525 了解更多产品详情,欢迎点击: https://et.aliyun.com/bigdatarelease 本次阿里云有6款大数据联合发布,分别是: DataWorks 智能SQL引擎:大大提升数据开发者Coding-效率,更加自然、智能的体验享受 机器学习PAI AutoML:参数自动化调优,为算法工程师节省大量调参工作,并输出好的模型 全新的分析产品DataLake Analytics:计算存储相分离,OSS数据分析最佳拍档,极低的分析成本 MaxCompute底层存储升级: EMR 一体化云上工作平台: Elasticsearch智能运维和离线平台: 议程如下: 13:30-14:00 《新一代智能数据工场》——士诚 14:00-14:30《机器学习PAI AutoML技术解析》——傲海 14:30-15:00《实践演练:云上编程应用》——祝星 15:00-15:30《无服务器分析架构最佳实践Data Lake Analytics》—长风 15:30-16:00《大数据计算服务MaxCompute底层存储升级解析》— 圣远 16:00-16:30《EMR:一体化Hadoop云上工作平台》—— 雷飙 16:30-17:00《Elasticsearch智能运维与离线平台》——洪阳 下载阿里云APP二维码,新品发布会抢先看:
阿里云 OpenSearch 智能问答版 ➕ DeepSeek R1——打造 B站 UP 主题爆款选题器
阿里云OpenSearch智能问答版+DeepSeek R1,支持多模态数据和联网搜索。以B站up主题爆款选题器为例,打造你的个人专属AI助手,开启你的智能搜索之旅,让AI赋能你的开发! (转载自哔哩哔哩,已获得原作者@老麦的工具库 授权。原视频地址:https://www.bilibili.com/video/BV1M8QmYJEzm/)
2024FFA分论坛-数据集成1
FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。
2024FFA分论坛-数据集成2
FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。
2024FFA分论坛-生产实践3
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。
2024FFA分论坛-行业解决方案2
FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享,探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案,通过这些案例,一起解析技术挑战,分享业务成果,促进实时数据处理技术的创新与发展。
2024FFA分论坛-流式湖仓3
FFA2024流式湖仓专场由 Apache Flink 核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构,探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践,如何帮助业务获得更实时的数据来驱动业务决策,并实现数据管理的降本增效。
2024FFA分论坛-流式湖仓2
FFA2024流式湖仓专场由Apache Flink核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构,探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践,如何帮助业务获得更实时的数据来驱动业务决策,并实现数据管理的降本增效。
大数据时代,如何保证消息的顺序性?
大家好,我是你们的技术小伙伴小米!今天我们来聊聊如何在数据处理过程中保证顺序消费的问题。这个话题非常重要,尤其是在大数据处理和消息队列系统中,顺序消费是实现数据一致性和正确性的关键步骤。那么,如何才能有效地保证顺序消费呢?接下来,我将详细分享几种常见的方案和它们的优缺点。
2023阿里云ODPS新品发布第2期
阿里云ODPS新品发布会将介绍阿里云自研大数据产品MaxCompute、Hologres、DataWorks产品新能力,持续演进满足多元化数据计算需求。本期将重点介绍ꔷ Hologres推出计算组实例ꔷ Hologres支持JSON数据 ꔷ Hologres向量计算+大模型能力ꔷ Hologres数据同步新能力ꔷ Hologres数据分层存储讲师/嘉宾简介丁烨:实时数仓Hologres 产品PD骆撷冬:实时数仓Hologres 产品PD赵红梅:实时数仓Hologres 产品PD武润雪;实时数仓Hologres 产品PD
FY24阿里云暑期夏令营“学生说”第二集
听一听参与夏令营的同学们怎么说,阿里云在这里期待迎接更多优秀的同学们!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
基于 Kibana Dashboard 创建仪表板,可视化匹配航班信息
点此免费试用 ->本实验基于Kibana Dashboard将航班信息可视化和其他相关数据可视化组合在一起,例如航班延误率较高时间段的机票平均价格等等。通过本实验,您将掌握Kibana Dashboard的使用方法,帮助您在仪表板上添加各种交互和过滤器,随时随地进行数据分析和操作,从而更加轻松地实现交互式数据可视化、深入挖掘数据价值。讲师简介刘晓国 - Elastic 首席布道师
深入解读 Flink 1.17
Apache Flink 是领先的流处理标准,流批统一的数据处理概念在越来越多的公司中得到认可。Apache Flink 社区在3月份发布了1.17大版本,Flink 1.17 有172位贡献者热情参与,完成了7个 FLIP 和600多个 issue,为社区带来了许多令人兴奋的新功能和改进。相比1.16版本,Flink 1.17 侧重提升了引擎的批处理的性能和完善了流处理语义,使得用户可以实现更简化更实时的数据仓库,朝着 Streaming Warehouse 领域迈进了一大步。讲师/嘉宾简介徐榜江(雪尽) 阿里云 Flink 数据通道负责人Apache Flink PMC Member & Committer ,Flink 1.17 Release Manager
阿里云 × Elastic 中国用户峰会 2023-分论坛
阿里云与Elastic 合作已走过五年历程,Elasticsearch 在中国蓬勃发展。本次大会邀请国内外众多搜索领域的一线技术专家和行业领袖为大家分享实践经验,贡献后疫情时代企业如何使用云上搜索实现降本增效的锦囊妙计。 Search for Future,一起探讨搜索领域未来技术和产业应用的发展趋势!讲师/嘉宾简介搜索领域一线技术专家和行业领袖
Flink Forward 行业实践 “菜鸟供应链实时数仓最佳实践”
Flink Forward 行业实践 “菜鸟供应链实时数仓最佳实践”张庭阿里巴巴菜鸟网络高级数据研发工程师
Flink Forward 平台建设 “小米基于Flink的实时数仓建设实践”
Flink Forward 平台建设 “小米基于Flink的实时数仓建设实践”周超小米软件开发工程师
Flink Forward 核心技术 “基于Log的通用增量Checkpoint”
Flink Forward 核心技术 “基于Log的通用增量Checkpoint”俞航翔Apache Flink Contributor
Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”
Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”孙家宝Xtransfer基础架构团队
Flink Forward 数据集成“顺丰基于 Flink CDC + Hudi 推进实时业务落地”
Flink Forward 数据集成“顺丰基于 Flink CDC + Hudi 推进实时业务落地”唐尚文 顺丰科技大数据平台研发工程师
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”亓文凯 开源 Dinky Maintainer
Flink Forward 核心技术“Apache Flink 1.16 功能解读”
Flink Forward 核心技术“Apache Flink 1.16 功能解读”黄兴勃 阿里云高级开发工程师
Flink Forward 行业案例“运满满 实时计算实践和思考”
Flink Forward 行业案例“运满满 实时计算实践和思考”欧锐 满帮实时计算团队负责人
Flink Forward 实时湖仓“B站实时数据湖实践”
Flink Forward 实时湖仓“B站实时数据湖实践”周晖栋 bilibili大数据实时团队资深开发工程师
Flink Forward Asia 生产实践专场 “快手Flink的稳定性和功能性扩展”
Flink Forward Asia 生产实践专场 “快手Flink的稳定性和功能性扩展”刘建刚 快手技术专家
实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"
实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"徐闻春阿里巴巴技术专家
Flink Forward Asia 2022 实时湖仓 11.27 上午
实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。讲师/嘉宾简介李劲松|阿里巴巴高级技术专家,Apache Flink PMC王磊|SelectDB 资深大数据研发专家、Apache Doris C汤楚熙|美团数据系统研发工程师周跃跃|OceanBase 架构师谢寅|StarRocks 社区技术布道师
Flink Forward Asia 2022 流批一体 11.27上午
流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例,详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于 Hive SQL on Flink 构建流批一体引擎。讲师/嘉宾简介祝海峰|阿里巴巴高级技术专家孙金城|字节跳动火山引擎LAS计算方向负责人,Apache Flink PMC,Apache IoTDB PMC,Apache Shenyu PMC,ASF Member罗宇侠|阿里云 开发工程师方盛凯|阿里云 开发工程师李明昆|Shopee 高级研发工程师,Flink Remote Shuffle Contributor
Flink Forward Asia 2022 生产实践 11.27
快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介张蛟|小米高级软件工程师,Apache Flink Contributor张芒|快手大数据架构工程师刘大龙|阿里云工程师刘畅|字节跳动基础架构工程师钟旭阳|阿里云开发工程师,Apache Flink Contributor
Flink Forward Asia 2022 核心技术 11.27 下午
由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践,回归技术本质,打造全方位技术盛宴。讲师/嘉宾简介俞航翔|Apache Flink Contributor范瑞|Tech Lead of Shopee Flink Runtime Team,Apache StreamPark Committer & Flink/Hadoop/HBase/RocksDB Contributor张杨|bilibili 资深开发工程师李明|字节跳动基础架构工程师王义|字节跳动基础架构工程师王非凡|美团数据平台计算引擎工程师,Apache Flink Contributor
Flink Forward Asia 2022 核心技术
由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践,回归技术本质,打造全方位技术盛宴。讲师/嘉宾简介梅源|阿里云 Flink 存储引擎团队的负责人,Apache Flink 引擎架构师,Apache Flink PMC & Committer宋辛童|阿里云高级技术专家,Apache Flink PMC Member & Committer朱翥|阿里云高级技术专家,Apache Flink PMC & Committer曹帝胄|字节跳动基础架构工程师付典|阿里云高级技术专家,Apache Flink PMC & Committer
ApacheCon Asia 2022 阿帕奇亚洲大会流处理论坛 7/30
作为当今大数据领域的趋势,流式数据处理的潜在价值正在被不断发掘。如今,很多企业都渴望更及时地洞察自己的数据,曾经的“批处理”思维也正在迅速被流式处理所取代。越来越多的公司,无论大小,都在重新思考技术架构时把实时性作为第一考量,并开始用强大的开源引擎如 Apache Flink, Apache Spark, Apache Kafka, Apache Pulsar, Apache Storm 等构建自己的实时计算平台。 在本次 ApacheCon 上,Apache 软件基金会成员、阿里云 EMR 平台技术及 Flink 存储引擎团队负责人李钰将携手专家团带来“流处理”分论坛分享。在该分论坛中,您将了解到一线大厂把这些 Apache 项目应用到其生产环境中的实际经验,以及这些 Apache 项目生态的最新发展和流计算技术未来的发展方向。 讲师/嘉宾简介 徐榜江(雪尽)- 基于 Flink CDC 和 Hudi 高效地构建实时数据湖 盛宇帆 - 使用 Apache Pulsar 开发基于 Apache Flink 的流批一体化应用 毕岩(寻径) - 基于数据湖格式构建流式增量数仓——CDC 张雨霏 - 介绍用于 Pulsar 和 PulsarCatalog 的 Flink SQL 连接器 赵波 - 让 Flink 在 K8s 上运行的更好 付睿 - 以云原生的方式使用 Apache Pulsar 函数
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。