Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”亓文凯 开源 Dinky Maintainer
Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”
Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”耿飙 阿里云开发工程师胡俊涛 阿里云开发工程师
实时数仓workshop北京站“flink x Hologres 构建企业级一站式实时数仓”
实时数仓workshop北京站“flink x Hologres 构建企业级一站式实时数仓”刘一鸣阿里云高级产品专家
Flink Forward Asia 2022 生产实践 11.26
快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介贺小令|阿里云高级技术专家,Apache Flink Committer刘建刚|快手技术专家许雷力|阿里云计算平台 实时计算&托管生态 SRE 团队 阿里云技术专家张韦杰|阿里云开发工程师冯斐|美团数据平台计算引擎工程师李建国|字节跳动 实时数据研发工程师茅旭辉|字节跳动 实时数据研发工程师
ApacheCon Asia 2022 阿帕奇亚洲大会流处理论坛 7/30
作为当今大数据领域的趋势,流式数据处理的潜在价值正在被不断发掘。如今,很多企业都渴望更及时地洞察自己的数据,曾经的“批处理”思维也正在迅速被流式处理所取代。越来越多的公司,无论大小,都在重新思考技术架构时把实时性作为第一考量,并开始用强大的开源引擎如 Apache Flink, Apache Spark, Apache Kafka, Apache Pulsar, Apache Storm 等构建自己的实时计算平台。 在本次 ApacheCon 上,Apache 软件基金会成员、阿里云 EMR 平台技术及 Flink 存储引擎团队负责人李钰将携手专家团带来“流处理”分论坛分享。在该分论坛中,您将了解到一线大厂把这些 Apache 项目应用到其生产环境中的实际经验,以及这些 Apache 项目生态的最新发展和流计算技术未来的发展方向。 讲师/嘉宾简介 徐榜江(雪尽)- 基于 Flink CDC 和 Hudi 高效地构建实时数据湖 盛宇帆 - 使用 Apache Pulsar 开发基于 Apache Flink 的流批一体化应用 毕岩(寻径) - 基于数据湖格式构建流式增量数仓——CDC 张雨霏 - 介绍用于 Pulsar 和 PulsarCatalog 的 Flink SQL 连接器 赵波 - 让 Flink 在 K8s 上运行的更好 付睿 - 以云原生的方式使用 Apache Pulsar 函数
使用 Databricks 进行营销效果归因分析的应用实践【Databricks 数据洞察公开课】
本次课程将介绍如何试用Databricks进行广告效果归因分析,完成一站式的部署机器学习,包括数据ETL、数据校验、模型训练/评测/应用等全流程。讲师/嘉宾简介冯加亮,阿里云开源大数据平台技术工程师
深度解析数据湖存储方案Lakehouse架构【Databricks 数据洞察公开课】
从数据仓库、数据湖的优劣势,湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。讲师/嘉宾简介Databricks软件工程师 张泊产品技术咨询https://survey.aliyun.com/apps/zhiliao/VArMPrZOR加入技术交流群
Hologres系列课程(十八)监控与告警最佳实践
本次主要介绍详解Hologres监控指标含义,对接云监控最佳实践,实现企业级自助运维能力讲师简介胡求,阿里巴巴开发工程师,从事于Hologres引擎开发工作
Hologres系列课程(二)Hologres在线服务(点查)场景快速入门
本次主要介绍Hologres在在线服务场景(点查场景)的最佳实践,以及如何基于Holo Client实现高性能点查。讲师简介胡一博(上唐),阿里巴巴技术专家, 长期从事Hologres数据集成生态开发工作。
智能推荐系列公开课——智能推荐新闻行业2.0升级与最佳实践
在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答
智能推荐系列公开课——7天搭建电商个性化推荐场景和最佳实践
在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答加入社群扫码入群,了解更多资讯,获取课程资料
MaxCompute Information Schema 详解
MaxCompute为用户提供了开放的元数据服务Information Schema。通过Information Schema用户可以对MaxCompute中管理的对象使用SQL进行全局分析,可以分析用户数据访问行为等,也可以利用这些数据构建自己的内部的元数据管理系统。本次直播将为您系统讲解Information Schema简介,安装使用,使用限制,常用场景以及使用建议。讲师介绍龙舟 阿里云智能 技术专家
Apache Flink在中国农业银行的探索和实践 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍侯鑫磊,中国农业银行研发中心高级研发工程师更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
解密淘宝推荐实战,打造“比你还懂你”的个性化APP
手淘,是每天服务数亿用户的最大流量入口,是每天成交数十亿金额的最大成交渠道之一,是几十种内容和数百种场景交织的最复杂的业务形态,更是大数据+算法双驱动的最复杂的技术场景。阿里巴巴搜索推荐事业部 资深算法专家三桐老师,将深度《解密淘宝推荐实战,打造“比你还懂你”的个性化APP》。嘉宾介绍欧文武(三桐),阿里巴巴搜索推荐事业部资深算法专家<img src="https://yqfile.alicdn.com/977f76d8026d41c3105e296feb3cc16dc7fc918e.png" width="200"更多课程阿里经济体大数据平台的建设与思考解密淘宝推荐实战,打造“比你还懂你”的个性化APP阿里风控大脑关于大数据应用的探索与实践可闭环 可沉淀 可持续的企业级数据赋能体系--友盟云数据中台产品实践
待集成、连接、丰富—MaxCompute生态再出发 | 大数据生态专场
待集成、连接、丰富—MaxCompute生态再出发-李睿博_大数据生态专场嘉宾介绍李睿博
【New Developments in the Open Source Ecosystem: Apache Spark 3.0 and Koalas】
Apache Spark 3.0 and Koalas的最新进展主讲人李潇,Databricks Spark 研发总监,管理一跨国团队,专注于 Apache Spark 和 Databricks Runtime 的开发和建设。他是 Apache Spark 项目管理委员会成员。本科毕业于南京理工大学,后在佛罗里达大学(University of Florida)获计算机博士学位, 曾就职于 IBM,获发明大师称号(Master Inventor),在数据处理领域发表专利十余篇。(Github: gatorsmile)
Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理
Tablestore是阿里云自研的云原生结构化大数据存储服务,本议题会详细介绍如何基于Tablestore的CDC技术,将大表内实时数据更新对接Spark Streaming来实现数据的实时计算和处理。最新版本的Connector会随着EMR下个版本的SDK一起开源,场景环节会结合阿里内部的业务介绍用户如何结合Tablestore和Spark来实现实时数据处理。讲师介绍朱晓然 ,Tablestore存储服务技术专家
阿里巴巴大数据产品最新特性介绍—实时计算|2019大数据技术公开课第三季
介绍阿里云实时计算团队推出的基于Flink的新产品形态—Flink on Kubernetes模式。重点介绍开源Flink1.9的主要功能和实时计算产品基于Flink1.9产品化版本Ververica企业版核心优势。 <br/> 直播嘉宾:张荣 阿里云智能事业群 产品专家
DataWorks 安全中心
DataWorks的安全中心,作为云上大数据体系的安全门户,致力于向您提供面向数据安全生命周期全过程的安全能力,同时在符合安全规范要求的前提下,提供各类安全诊断的最佳实践。帮助您快速构建平台的数据内容、个人隐私等相关的安全能力,满足企业面向高风险场景的各类安全要求。
2024FFA分论坛-流批一体1
FFA2024流批一体专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、蚂蚁金服、Shopee等公司的一线技术专家聚焦于流批一体数仓的最新进展与实践,涵盖从理论探索到实际应用的全方位内容。
2024FFA分论坛-云原生
FFA2024云原生专场由Apache Flink核心贡献者与来自阿里云、网易游戏、小红书、美团、哔哩哔哩等公司的一线技术专家带来,聚焦Flink与云原生技术的结合,探讨如何在云原生环境中高效部署和深度优化Flink流批任务。通过实战经验分享,帮助开发者利用容器化、K8s、Serverless等工具,在稳定、性能、成本之间取得平衡。
2024FFA分论坛-核心技术2
FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析 Flink 技术动向与应用实践,重点探讨 Flink 的核心技术(如状态管理、容错机制、数据传输、大规模调度和核心算法等)在实际生产环境中面临的挑战,以及如何通过最佳实践来进行扩展和改进。
大数据时代,如何保证消息的顺序性?
大家好,我是你们的技术小伙伴小米!今天我们来聊聊如何在数据处理过程中保证顺序消费的问题。这个话题非常重要,尤其是在大数据处理和消息队列系统中,顺序消费是实现数据一致性和正确性的关键步骤。那么,如何才能有效地保证顺序消费呢?接下来,我将详细分享几种常见的方案和它们的优缺点。
Havenask入门课程第4节:创建表
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍: 此视频为Havenask入门课程第4节《创建表》,共讲解2部分内容。 -创建直写表 -创建全量表 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
阿里云 Elasticsearch Serverless 快速入门
Elasticsearch Serverless 服务基于云原生Serverless技术开发,致力于为用户打造更低成本、弹性灵活、开放兼容、开箱即用的Elasticsearch使用体验。相比公测版,正式版Elasticsearch Serverless服务对原生Elasticsearch的读写API及生态组件有更高兼容性,帮助用户快速构建数据检索与分析应用,可灵活使用在多种应用场景中,例如网站搜索、企业信息检索、日志分析、运维监控等。立即开通:https://elasticsearch.console.aliyun.com/serverless/cn-hangzhou/introduce
FY23阿里云暑期夏令营精彩瞬间(上)
来自全国不同高校的学生们相聚在阿里云园区,一声同学,一份关切,情意绵长,美好永在!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”王世涛货拉拉大数据实时研发平台负责人
Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”
Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”王磊 SelectDB 资深大数据研发专家
Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”
Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”李志刚 蚂蚁集团高级技术专家
Flink Forward 平台建设“阿里实时计算平台建设实践”
Flink Forward 平台建设“阿里实时计算平台建设实践”周凯波 阿里云高级技术专家
Flink Forward 行业案例“FlinkSQL在米哈游的平台建设和应用实践”
Flink Forward 行业案例“FlinkSQL在米哈游的平台建设和应用实践”张剑 米哈游实时计算团队负责人
Flink Forward 实时湖仓“美团买菜基于Flink的实时数据建设实践”
Flink Forward 实时湖仓“美团买菜基于Flink的实时数据建设实践”严书 美团买菜实时数仓技术负责人
Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”
Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”姜伟华(果贝) 阿里云Hologres负责人
Flink Forward Asia 2022 数据集成 11.26 下午
云原生为数据集成领域注入了全新生命力,本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介徐榜江|阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer阮航|阿里云高级开发工程师,Apache Flink Contributor & Flink CDC Maintainer袁奎|小红书高级开发工程师胡焕|小米计算平台高级工程师张军|科杰科技大数据架构师,Apache Flink、Iceberg、StreamPark Contributor
Flink Forward Asia 2022 流批一体 11.26 下午
流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例,详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于 Hive SQL on Flink 构建流批一体引擎。讲师/嘉宾简介张静|快手技术专家,Apache Flink/Calcite Committer马年圣|蚂蚁集团数据技术专家,实时数仓架构师王鑫|蚂蚁集团高级技术专家,Apache Storm PMC,Apache RocketMQ Committer,Apache IoTDB Committer杨涵冰|上海数禾信息科技有限公司 大数据架构师张颖|京东数据分析优化部算法开发工程师,Alink、DeepLearning on Flink Contributor
Flink Forward Asia 2022 行业案例 11.27 上午
快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介连序全|中泰证券大数据中心实时计算架构师杜威科|中原银行流计算平台负责人尹春光|翼支付高级大数据开发工程师王若梦|中信建投证券实时数仓项目负责人宋宇航|中信建投证券流计算技术专家张兴|平安证券经纪大数据基础平台负责人
Flink Forward Asia 2022 核心技术 11.27 下午
由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践,回归技术本质,打造全方位技术盛宴。讲师/嘉宾简介俞航翔|Apache Flink Contributor范瑞|Tech Lead of Shopee Flink Runtime Team,Apache StreamPark Committer & Flink/Hadoop/HBase/RocksDB Contributor张杨|bilibili 资深开发工程师李明|字节跳动基础架构工程师王义|字节跳动基础架构工程师王非凡|美团数据平台计算引擎工程师,Apache Flink Contributor
阿里云云原生一体化数仓 — 数据治理新能力解读
本场公开课会介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展,包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读,以及围绕降本增效的成本治理最佳实践。讲师/嘉宾简介唐晨 阿里云智能 产品专家
阿里云云原生一体化数仓 — 分析服务一体化新能力解读
介绍如何通过Hologres在分析和服务场景下的新功能,包括资源隔离,数据湖(Delta、Hudi)的支持、JSON优化支持等。讲师/嘉宾简介丁烨 阿里云智能 产品专家
使用DDI+Confluent进行实时数据采集入湖和分析【Databricks 数据洞察公开课】
本次课程将介绍网约车模拟数据从产生、发布到流数据服务confluent,通过Databricks Structured Streaming 进行实时数据处理,存储到LakeHouse,并使用spark和spark sql进行分析的应用实践。讲师/嘉宾简介李锦桂-阿里云开源大数据平台开发工程师
阿里云EMR StarRocks 线上发布会
2022年5月11日14:00,阿里云EMR StarRocks 产品线上发布会重磅开启,精彩不容错过!阿里云EMR-StarRocks 是 StarRocks 授权阿里云的一款新一代开源OLAP产品,致力于构建极速统一分析体验,满足企业用户的多种数据分析场景。讲师/嘉宾简介本次发布会邀请到了来自阿里云、StarRocks、众安保险的产品技术专家,详细介绍 EMR StarRocks 的功能优势、应用场景以及落地实践,揭秘 StarRocks 极速数据湖分析能力背后的技术支撑和未来规划。
Flink Forward Asia 2021 行业实践 2
行业实践专场由字节跳动、网易、蔚来、中原银行、建信金融科技、中信建投等多行业实时计算领域专家详细解读 Flink 在业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介1.《Flink 在能源建设的实践》姚远 - 中南电力设计院工程师、注册测绘师2.《Apache Flink 在蔚来汽车的应用》吴江 - 蔚来汽车大数据部门数据开发,OLAP 平台 tech lead3.《Flink 在字节跳动数据流的实践》刘石伟 - 字节跳动数据平台数据流技术负责人4.《网易游戏基于 Flink 的支付环境全关联分析实践》林佳 - 网易互娱技术中心计费实时平台与 SDK 技术负责人,Apache Flink Contributor
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。