FY23阿里云暑期夏令营总回顾(上)
学生们在为期5天的夏令营中,通过探索阿里云文化、实践云上场景,了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
FY23阿里云暑期夏令营精彩瞬间(上)
来自全国不同高校的学生们相聚在阿里云园区,一声同学,一份关切,情意绵长,美好永在!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
Streaming Lakehouse Meetup
本次 Meetup 邀请了来自阿里巴巴、字节跳动的七位技术专家,聚焦大规模 CDC 数据入湖实践、Flink 一站式湖仓一体构建、流式数据湖关键特性以及统一的 RSS 等,全方位解析 Streaming Lakehouse 最前沿的技术,最新的产业实践!Flink、Paimon、Celeborn、Flink CDC、StarRocks 多个开源项目汇聚在一起,会碰撞出怎样的火花?敬请期待! 讲师: 李劲松 阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家 徐榜江 阿里云 Flink 数据通道负责人 刘大龙 阿里云研发工程师 李国君 字节跳动基础架构工程师 周克勇 阿里云/数据湖Spark引擎负责人 曾庆栋 阿里云高级开发工程师 王洪顺 阿里云大数据开发工程师
在现场!2023世界人工智能大会
打卡2023世界人工智能大会# 除了马斯克的机器人,大模型无疑是最热的话题,本次大会将有30多款大模型亮相,我们明天下午将走进《以模型为中心的AI开发新范式 》论坛,看看模型对人工智能行业发展到底有什么意义!欢迎关注我们!
基于 Kibana Lens 进行数据可视化,灵活分析航班信息
点此免费试用 ->本实验基于Kibana Lens制作航班信息可视化,例如航班延误情况、机票平均价格等。通过本实验,您将掌握Kibana Lens的使用方法,帮助您更加直观地展现和分析数据,从而更好地发现数据中的洞见,驱动业务增长和优化。讲师简介刘晓国 - Elastic 首席布道师
云上StarRocks,极速湖仓meetup - 北京站
来自水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家,针对开源 OLAP 技术架构、 StarRocks 产品硬核技术及 EMR StarRocks 进行分享。EMR Serverless StarRocks 免费公测讲师/嘉宾简介水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家
Beyond Stream Processing —— 2022第四届实时计算Flink挑战赛决赛答辩
2022第四届实时计算Flink挑战赛决赛答辩
Flink Forward 行业实践 “Flink在新能源场站运维的应用”
Flink Forward 行业实践 “Flink在新能源场站运维的应用”姚远工程师,注册测绘师
Flink Forward 行业实践 “电商SaaS全渠道实时数据中台最佳实践”
Flink Forward 行业实践 “电商SaaS全渠道实时数据中台最佳实践”应圣楚聚水潭高级ETL工程师张成玉聚水潭大数据开发专家
Flink Forward 核心技术 “Flink state的优化与remote state的探索”
Flink Forward 核心技术 “Flink state的优化与remote state的探索”张杨bilibili 资深开发工程师
六、培训课程-AIE技术分享之遥感AI模型自学习训练实践
为加强用户对AI Earth的理解,促进双方交流,提升AI Earth在地球科学领域的服务支撑能力,达摩院多位专家带来AI Earth地球科学云平台线上系列培训,干货满满,诚邀参与!
Lakehouse Meetup“Apache Hudi 实时湖仓解决方案
Lakehouse Meetup“Apache Hudi 实时湖仓解决方案”陈玉兆阿里巴巴技术专家Apache Hudi PMCApache Calcite PMC
Lakehouse Meetup “基于数据湖格式构建数据湖仓架构”
Lakehouse Meetup “基于数据湖格式构建数据湖仓架构”毕岩 阿里巴巴技术专家
Flink Forward Asia 2022 行业案例 11.26
快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介欧锐|满帮实时计算团队负责人张剑|米哈游大数据实时计算团队负责人林志浩|蔚来自动驾驶 ado 部门资深软件开发工程师周磊|集度汽车数据部门实时方向负责人 & Apache Flink Contributor顾云|集度汽车数据开发专家张庭|阿里巴巴菜鸟网络高级数据研发工程师
Apache Flink Meetup 北京站《基于 Log 的通用增量 Checkpoint》
Apache Flink Meetup 北京站主题:基于 Log 的通用增量 Checkpoint讲师:余航翔 Apache Flink Contributer
Apache Flink Meetup 北京站《更快更稳更易用: Flink自适应批处理能力演进》
Apache Flink Meetup 北京站主题:更快更稳更易用: Flink自适应批处理能力演进讲师:朱翥 阿里巴巴高级技术专家贺小令 阿里巴巴高级技术专家
Apache Flink Meetup 北京站 《出品人发言》
Apache Flink Meetup 北京站主题:出品人发言讲师:贺小令 阿里巴巴高级技术专家
ApacheCon Asia 2022 阿帕奇亚洲大会流处理论坛 7/30
作为当今大数据领域的趋势,流式数据处理的潜在价值正在被不断发掘。如今,很多企业都渴望更及时地洞察自己的数据,曾经的“批处理”思维也正在迅速被流式处理所取代。越来越多的公司,无论大小,都在重新思考技术架构时把实时性作为第一考量,并开始用强大的开源引擎如 Apache Flink, Apache Spark, Apache Kafka, Apache Pulsar, Apache Storm 等构建自己的实时计算平台。 在本次 ApacheCon 上,Apache 软件基金会成员、阿里云 EMR 平台技术及 Flink 存储引擎团队负责人李钰将携手专家团带来“流处理”分论坛分享。在该分论坛中,您将了解到一线大厂把这些 Apache 项目应用到其生产环境中的实际经验,以及这些 Apache 项目生态的最新发展和流计算技术未来的发展方向。 讲师/嘉宾简介 徐榜江(雪尽)- 基于 Flink CDC 和 Hudi 高效地构建实时数据湖 盛宇帆 - 使用 Apache Pulsar 开发基于 Apache Flink 的流批一体化应用 毕岩(寻径) - 基于数据湖格式构建流式增量数仓——CDC 张雨霏 - 介绍用于 Pulsar 和 PulsarCatalog 的 Flink SQL 连接器 赵波 - 让 Flink 在 K8s 上运行的更好 付睿 - 以云原生的方式使用 Apache Pulsar 函数
ApacheCon Asia 2022 阿帕奇亚洲大会流处理论坛 7/29
直播介绍:(建议600字以内) 作为当今大数据领域的趋势,流式数据处理的潜在价值正在被不断发掘。如今,很多企业都渴望更及时地洞察自己的数据,曾经的“批处理”思维也正在迅速被流式处理所取代。越来越多的公司,无论大小,都在重新思考技术架构时把实时性作为第一考量,并开始用强大的开源引擎如 Apache Flink, Apache Spark, Apache Kafka, Apache Pulsar, Apache Storm 等构建自己的实时计算平台。 在本次 ApacheCon 上,Apache 软件基金会成员、阿里云 EMR 平台技术及 Flink 存储引擎团队负责人李钰将携手专家团带来“流处理”分论坛分享。在该分论坛中,您将了解到一线大厂把这些 Apache 项目应用到其生产环境中的实际经验,以及这些 Apache 项目生态的最新发展和流计算技术未来的发展方向。 讲师/嘉宾简介 康琪 - 基于 Apache Flink 的流批一体在京东物流的实践 胡焕 - 基于 FlinkSQL 的小米实时数据集成实践 邱从贤 - 大规模集群下的 Apache Flink 稳定性优化实践 张颖,闫莉刚 - 基于 Apache Flink 的实时计算数据流框架在京东零售业务的实践和落地 林立伟 - 腾讯广告 Flink 实战:特征生产、训练样本、策略计算 郑舒力 - 基于 Apache Flink 的金山云实时计算平台实践与防疫场景下的应用
阿里云索信达智能金融平台线上发布会
阿里云联合生态伙伴索信达共同推出“索信达智能金融平台”解决方案。索信达智能金融平台包括批量营销、实时营销、个性化推荐、标签管理、内容管理等多个模块,对客户提供即开即用的一站式落地部署解决方案。欢迎加入钉钉客户沟通群,了解更多解决方案信息
Flink Forward Asia 2021 平台建设 2
平台建设专场由来自字节跳动、腾讯新闻、网易、小红书、京东、滴滴、bilibili、汽车之家、移动、联通、BIGO、蚂蚁金服、翼支付的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介1.《B 站基于 Flink 的多元化探索与实践》张杨 - 哔哩哔哩基础架构部 资深研发工程师2.《汽车之家基于 Flink 的实时计算平台 3.0 建设实践》邸星星 - 汽车之家实时计算平台负责人3.《腾讯新闻基于 Flink + PipeLine 模式的应用与实践》罗强 - 腾讯新闻商业化数据工程师4.《Native Flink on K8S 在小红书的实践》何军 - 小红书数据流团队资深研发工程师
Flink Forward Asia 2021 核心技术 1
核心技术专场,由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink SQL 在快手的落地和扩展》张静 - 快手实时计算团队技术专家,Apache Flink Committer张芒 - 快手实时计算团队技术专家2.《Flink State-Backend Improvements and Evolution in 2021》李钰 - 阿里巴巴资深技术专家,ASF Member,Apache Flink & HBase PMC唐云 - 阿里巴巴技术专家,Apache Flink committer3.《Powering HTAP at ByteDance with Apache Flink》刘洋 - 字节跳动基础架构工程师,Apache Flink Contributor邹丹 - 字节跳动基础架构工程师,Apache Flink Contributor4.《深入解析 Flink 细粒度资源管理》郭旸泽 - 阿里巴巴高级开发工程师,Apache Flink Committer5.《Flink Join 算子优化》孙梦瑶 - 美团资深开发工程师
阿里云EMR系列直播 - 精讲 Databricks数据洞察(介绍及案例分析)
Databricks数据洞察是企业级全托管的Spark高性能大数据分析平台,来自Apache Spark创始公司Databricks。引擎采用Databricks Runtime,性能与社区版相比,最高可达50倍提升,高效而稳定。本次直播将重点展开介绍该产品,并针对代表性案例进行分析。讲师介绍韩宗泽(棕泽),阿里云技术专家,计算平台事业部开放平台-生态企业团队负责人
数据湖JindoFS+OSS 实操干货36讲 第三课(5/6讲)
【第5/6讲直播主题】1、访问 OSS 这类对象存储最快的方式:JindoFS SDK2、Hadoop/Spark 访问 OSS 加速【背景】为了让更多开发者了解并使用 JindoFS,由阿里云 JindoFS+OSS 团队打造的专业公开课【数据湖 JindoFS+OSS 实操干货36讲】会在每周二16:00准时开讲!从五大板块入手,玩转数据湖!【讲师】诚历 - 阿里巴巴计算平台事业部 EMR 技术专家流影 - 阿里巴巴计算平台事业部 EMR 技术专家
开放搜索教育搜题能力和实践
开放搜索(Opensearch)是一站式智能搜索业务开发平台。结合达摩院先进的NLP技术,打造定制化的全链路搜题解决方案。本次直播将分享如何通过行业搜索能力和算法工程提升在线教育搜题准确率,帮助企业技术提升核心竞争力。讲师介绍讲师:徐光伟花名:昆卡阿里云达摩院算法专家
飞天大数据产品价值解读 — SaaS模式云数据仓库 MaxCompute
分享人:曲宁 阿里云智能 产品专家本次直播将为您介绍SaaS模式云数据仓库MaxCompute核心能力及优势,并结合用户画像分析、高级分析、联邦查询、数据湖分析等多个经典场景,为您介绍MaxCompute为企业带来的业务敏捷性、TCO显著降低等关键业务价值。
半小时,将你的Spark SQL模型变为在线服务
SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大我们是如何解决这些问题 相对传统实现方式我们优势 SparkSQL实时上线demo讲师:王太泽 第四范式特征工程数据库负责人 曾在百度担任资深研发工程师 一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。
Spark on Zeppelin
Apache Zeppelin 是一个交互式的大数据开发Notebook,从一开始就是为Spark定制的。Zeppelin Notebook的开发环境与传统IDE开发环境相比有几大优势:不需要编译Jar,环境配置简单,交互式开发,数据结果可视化等等。本次直播将会介绍Spark on Zeppelin的一些基本使用方式以及应用场景。章剑锋(简锋),开源界老兵,Apache Member,曾就职于 Hortonworks,目前在阿里巴巴计算平台事业部任高级技术专家,并同时担任 Apache Tez、Livy 、Zeppelin 三个开源项目的 PMC ,以及 Apache Pig 的 Committer。
智能推荐系列公开课——智能推荐电商行业2.0发布,算法模板再升级
在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答加入社群扫码入群,了解更多资讯,获取课程资料
【Elasticsearch入门公开课 】04 | Elastic Stack家族成员及其应用场景
Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】
【Elasticsearch入门公开课 】21 | Index Template和Dynamic Template
Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】
The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍陈玉兆,Apache Calcite PMC,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍申毅杰,StreamNative资深工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍韩鹏,奇安信集团高级总监,网络安全技术专家更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
Apache Flink 在网易的实践 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍吴良波,网易JAVA技术专家更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍章剑锋Apache Member,阿里巴巴高级技术专家孙金城Apache Flink PMC,阿里巴巴高级技术专家更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
流处理基准测试 | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍金浩,英特尔软件工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍杨巍威,Cloudera 资深软件工程师杨弢,阿里巴巴技术专家更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场
实时数仓专场数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。实时数仓专场将聚焦Flink实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由一线大厂大数据专家分享实时数仓的应用实践及平台智能化的探索与思考。讲师介绍徐振中,Senior Software Engineer at Netflix更多直播信息实时数仓专场>>>美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场小米流式平台架构演进与实践 | 实时数仓专场Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场菜鸟供应链实时数据技术架构的演进 | 实时数仓专场OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍徐帅,阿里巴巴高级技术专家宋辛童,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍唐云,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍贺小令,Apache Flink Contributor,阿里巴巴技术专家更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
是时候改变你数仓的增量同步方案了
本分享会先介绍传统数据增量同步方案,之后对比新方案(完全基于Spark无需额外组件),介绍新方案如何结合最新的数据湖(delta lake)实现,同时引入spark-binlog,极大的简化了数据增量的门槛和架构。如果时间允许,我们也会简单介绍开源项目spark-binlog,delta-plus等的内部设计是如何支持我们新的数据增量方案的。讲师介绍祝威廉,资深数据架构,11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台,降低AI落地成本相关工作上。
Spark on Kubernetes & YARN
以Kubernetes为代表的云原生技术越来越流行起来,spark是如何跑在Kubernetes之上来享受云原生技术的红利?Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别?以及Kubernetes 和YARN的差异点是什么。讲师介绍何剑,阿里巴巴高级技术专家,专注于Kubernetes容器云和大数据底层调度以及基础架构,负责阿里巴巴容器平台在线服务和离线计算任务混部。此前就职于Hortonworks, 是Hadoop 社区Committer和PMC成员
【New Developments in the Open Source Ecosystem: Apache Spark 3.0 and Koalas】
Apache Spark 3.0 and Koalas的最新进展主讲人李潇,Databricks Spark 研发总监,管理一跨国团队,专注于 Apache Spark 和 Databricks Runtime 的开发和建设。他是 Apache Spark 项目管理委员会成员。本科毕业于南京理工大学,后在佛罗里达大学(University of Florida)获计算机博士学位, 曾就职于 IBM,获发明大师称号(Master Inventor),在数据处理领域发表专利十余篇。(Github: gatorsmile)
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。