Flink Forward 行业实践“中原银行OLAP架构实时化演进”
Flink Forward 行业实践“中原银行OLAP架构实时化演进”杜威科 中原银行实时计算平台负责人
Flink Forward 实时湖仓“OceanBase+Flink:构建高效的实时计算解决方案”
Flink Forward 实时湖仓“OceanBase+Flink:构建高效的实时计算解决方案”周跃跃 OceanBase架构师
Flink Forward 实时湖仓“B站实时数据湖实践”
Flink Forward 实时湖仓“B站实时数据湖实践”周晖栋 bilibili大数据实时团队资深开发工程师
Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”
Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”冯斐 美团数据平台计算引擎工程师
Flink Forward Asia 生产实践专场 “基于云原生的集群自愈系统 Flink Cluster Inspector”
Flink Forward Asia 生产实践专场 “基于云原生的集群自愈系统 Flink Cluster Inspector”张韦杰 阿里云开发工程师许雷力 阿里云技术专家
Flink Forward Asia 2022 实时湖仓 11.26
实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。讲师/嘉宾简介姜伟华|阿里云一站式实时数仓 Hologres 总负责人冯立|快手实时数据开发工程师羊艺超|快手实时数据开发工程师周晖栋|bilibili 大数据实时团队 资深开发工程师严书|美团买菜实时数仓技术负责人戢清雨|SmatNews 数据平台架构师, Apache Iceberg Contributor
年度回顾-阿里云Elasticsearch在泛日志场景的核心能力建设
随着国内传统企业的数字化转型,非结构化数据的规模和占比增长迅速,其中日志数据获取和加工能力也越来越受到关注。本次由阿里云Elasticsearch团队负责人,给大家聊一聊阿里云Elasticsearch围绕泛日志场景在产品和内核层面做了哪些努力,又为开发者社区提供了哪些回馈。讲师/嘉宾简介邓万禧 阿里巴巴资深技术专家阿里巴巴智能引擎事业部云服务,搜索与分析团队负责人
Flink Forward Asia 2021 开源解决方案 1
开源大数据生态专场,来自 Pravega、Pulsar、TiDB、Zeppelin 等社区的技术专家围绕 Flink 的生态融合,探讨当下大数据的发展趋势与未来动向,并展现相关技术在一线生产场景的最佳实践。讲师/嘉宾简介1.《HTAP 趋势下,大数据的未来》黄东旭 - PingCAP 联合创始人兼 CTO,资深基础软件工程师,架构师2.《Pravega Flink connector Table API 进阶功能揭秘》周煜敏 - 戴尔科技集团高级软件工程师,Apache Flink Contributor3.《打造批流融合:Pulsar - Flink Connector 的设计、开发和使用》盛宇帆 - StreamNative 工程师4.《大数据三剑合一:Flink + Zeppelin + Airflow》章剑锋 - 阿里巴巴高级技术专家,Apache Member,PMC of Zeppelin、Tez、Livy
Flink Forward Asia 2021 流批一体
字节跳动、美团、京东、小米的技术专家分享流批一体的生产实践,另有来自阿里巴巴的技术专家手把手教你如何构建流批一体数仓。讲师/嘉宾简介1.《Flink 流批一体在字节推荐系统的实践》胡家煊 - 字节跳动推荐架构基础服务研发工程师2.《美团基于流批一体构建增量数仓生产实践》刘迪珊 - 美团数据平台工程师3.《流批一体在京东的探索与实践》韩飞 - 京东高级技术专家,Apache Flink Contributor4.《基于 Flink Dynamic Table 构建流批一体数仓》李劲松 - 阿里巴巴技术专家,Apache Flink & Iceberg Committer5.《Flink 流批一体在小米的探索和实践》金风 - 小米软件开发工程师
Flink Forward Asia 2021 实时数仓 2
实时数仓专场邀请腾讯、快手、美团、科大讯飞、理想汽车、蚂蚁金服、SmartNews、智慧芽、十荟团等多位数仓技术专家分析实时数仓的应用实践及平台智能化的探索与思考。讲师/嘉宾简介1.《蚂蚁实时数仓体系升级实践》马年圣 - 蚂蚁金服实时数仓架构师2.《Flink 在讯飞 AI 营销业务实时数仓实践》汪李之 - 科大讯飞中级大数据工程师3.《SmartNews 基于 Flink 的实时数仓建设》袁尤军 - SmartNews 数据平台首席架构师4.《十荟团基于 Flink SQL 与 Zeppelin 构建实时数仓的实践》康琪 - 十荟团高级大数据研发工程师、实时计算团队负责人,Apache Flink Contributor5.《TiDB X Flink|HTAP 为实时数据服务插上翅膀》曲明星 - 智慧芽数据仓库架构师
SaaS模式云数据仓库 MaxCompute 应用场景实践——基于MaxCompute分布式Python能力的大规模数据科学分析
如何利用云上分布式 Python 加速数据科学。如果你熟悉 numpy、pandas 或者 sklearn 这样的数据科学技术栈,同时又受限于平台的计算性能无法处理,本次直播介绍的 MaxCompute 可以让您利用并行和分布式技术来加速数据科学。也就是说只要会用 numpy、pandas 和 scikit-learn 之一,就会用 MaxCompute 分布式 Python 的能力。讲师简介孟硕 阿里云智能 产品专家
外部工具连接SaaS模式云数仓MaxCompute—ETL工具篇
本次直播将介绍MaxCompute支持的三款开源ETL工具Kettle、Airflow、Azkaban以及连接示例。讲师简介龙青云 阿里云智能 技术支持经理
Hologres系列课程(十四)基于TPCH性能测试介绍
本次主要介绍在Hologres中如何基于TPCH数据集做性能测试,并提供官方测试结果以供参考。讲师简介丁烨(昆吾),阿里巴巴产品专家,Hologres产品经理
Intel MLlib:构建平台优化的Spark机器学习
Intel MLlib是一个为Apache Spark MLlib优化的软件包。它在保持和Spark MLlib兼容的同时,在底层利用原生算法库来实现在CPU和GPU上的最优化算法,同时使用Collective Communication来实现效率更高的节点间通信。我们的初步结果表明,该软件包在最小化应用改动的基础上,可以极大地提升MLlib算法的性能。讲师介绍吴晓昶英特尔亚太研发有限公司大数据部门的高级软件工程师,主要研究方向为并行计算,大数据系统和机器学习,CPU和GPU的性能优化。目前关注Spark和机器学习的系统性能优化。
云数据仓库+数据银行 — 持续定义SaaS模式云数据仓库MaxCompute
本次直播将介绍SaaS模式云数据仓库MaxCompute,如何助力数据银行SaaS模式云战略和一体化数据开放场景介绍。分享人:隆志强 阿里云智能 高级产品专家
EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework
EMR团队探索并开发了SparkSQL Native Codegen框架,为SparkSQL换了引擎,新引擎带来最高4倍性能提升,为EMR再次获取世界第一立下汗马功劳,本次直播将详细介绍Native Codegen框架。讲师简介:周克勇,花名一锤,阿里巴巴计算平台事业部EMR团队技术专家,大数据领域技术爱好者,对Spark有浓厚兴趣和一定的了解,目前主要专注于EMR产品中开源计算引擎的优化工作。参考文章:EMR Spark-SQL性能极致优化揭秘 Native Codegen Frameworkhttps://developer.aliyun.com/article/765156?spm=a2c6h.12873581.0.dArticle765156.5f6f47b4Mj7VpM&groupCode=aliyunemr
通过LLVM加速SparkSQL时间窗口计算
讲师介绍:王太泽第四范式特征工程数据库负责人曾在百度担任资深研发工程师一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。议题简介为什么要优化spark时间窗口未加速前面临问题为什么要使用llvm加速而不是继续优化jvm codegen实现介绍-llvm 版本sql引擎设计如何与spark集成benchmark数据 vs spark3.0
Analytics Zoo上的分布式TensorFlow训练AI玩FIFA足球游戏
近年来,由于对通用人工智能研究的潜在价值,训练AI玩游戏一直是一个火热的研究领域。FIFA实时视频游戏场景复杂,需要结合图像,强化学习等多种不同的AI技术,同时也要求agents响应有实时性,因此是一个非常好的试验场,可以用来探索不同类型的AI技术。本次分享主要介绍我们在训练AI玩FIFA视频游戏方面的一些工作。有兴趣的同学,可以提前关注此开源项目:https://github.com/intel-analytics/analytics-zoo讲师介绍:喻杉,Intel大数据分析团队机器学习工程师。她目前专注于在analytics-zoo大数据和人工智能平台上开发针对时间序列分析的自动机器学习组件。在加入intel前,她在浙江大学获得了学士和硕士学位。
用Analytics-Zoo实现基于深度学习的胸腔疾病AI诊疗辅助
讲师介绍龚奇源博士,英特尔机器学习专家。从事多年数据隐私和机器学习研究,2017年加入英特尔,目前负责Analytics-Zoo中ClusterServing、Streaming、OpenVINO和推理优化等工作。直播简介:本次分享主要介绍如何利用Analytics Zoo和NIH胸部X光影像数据集,在Apache Spark集群上实现基于深度学习的胸腔疾病分类,为医生提供端到端的胸腔疾病AI诊疗辅助。有兴趣的同学,可以提前关注此开源项目:https://github.com/intel-analytics/analytics-zoo
【Elasticsearch入门公开课 】07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro
Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】
使用Apache SuperSet和EMR Spark打造交互式的数据探索平台
本次分享主要介绍如何结合Apache SuperSet和EMR Spark,利用EMR Spark提供的JindoCube高级特性在SuperSet进行秒级响应,交互式的可视化数据探索。讲师介绍李呈祥,花名司麟,阿里云智能EMR团队高级技术专家,Apache Hive Committer, Apache Flink Committer,目前主要专注于EMR产品中开源计算引擎的优化工作。
如何有效降低大数据平台的安全风险 | 大数据企业级服务专场
如何有效降低大数据平台的安全风险-李雪峰_大数据企业级服务专场嘉宾介绍李雪峰
从 Apache ORC 到 Apache Calcite | 第三讲 海胜专访《MaxCompute 与大数据查询引擎的技术和故事》
【直播主题】海胜专访《MaxCompute 与大数据查询引擎的技术和故事》【分享嘉宾】苑海胜 阿里云智能计算平台 高级技术专家 / Apache Calcite Committer / 前 Greenplum 数据库优化器 Team Lead / CMU硕士【直播时间】6月6日 16:00-16:50 【精彩剧透】MaxCompute与MPP数据库的比较分布式系统上Join是如何实现的MaxCompute 针对 Join 和聚合引入的 Hash 和 Range Clustering 的优化从中国到日本,再到美国,工作经历和体验有何差别
2024FFA分论坛-生产实践1
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点和经验以及最佳实践, 共同探讨如何在真实环境中更高效,安全,敏捷地落地实时数据处理框架。
Hologres TPC-H/点查性能开箱测试
V2.2版本开箱测试TPC-H,性能结果提升100%写入、更新、点查场景性能测试测试流程介绍,详解建表语句设计测试环境搭建及Demo演示讲师/嘉宾简介:丁烨 阿里云 Hologres PD
Havenask入门系列第10节:Havenask Kubernetes模式
hape工具参考:https://havenask.net/# /doc/sql/petool/intro kubernetes部署参考: https://havenask.net/# /doc/v1-2-0/sql/petool/startcluster/k8smode k8s模式问题排查:https://havenask.net/# /doc/v1-2-0/sql/petool/problem# k8s%E6%A8%A1%E5%BC%8F%E9%97%AE%E9%A2%98%E6%8E%92%E6%9F%A5 Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍:此视频为Havenask入门教程系列的第9节课《问题排查》,将对Havenask使用中4块内容进行讲解。 ● Hape运维脚本 ● 集群 ● 表创建 ● 数据写入与查询 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:78c5cfa61c64a55cdeb0655ac7eb2849.png
流式湖仓专场(二)
流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题,更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。
2023阿里云ODPS新品发布第1期
阿里云ODPS新品发布会将介绍阿里云自研大数据产品MaxCompute、Hologres、DataWorks产品新能力,持续演进满足多元化数据计算需求。本期将重点介绍ꔷ 新产品-DataWorks增强分析ꔷ 新产品-DataWorks智能数据建模个人版ꔷ 新功能-DataWorks支持EMR on ACK(Spark)ꔷ 新功能-DataWorks数据集成入湖ꔷ 新功能-DataWorks数据治理中心支持EMR讲师/嘉宾简介闫建丽 阿里云 DataWorks 产品PD周硕 阿里云 DataWorks 产品PD王喆 阿里云 DataWorks 产品PD冉秋萍 阿里云 DataWorks 产品PD
深入解读 Flink 1.17
Apache Flink 是领先的流处理标准,流批统一的数据处理概念在越来越多的公司中得到认可。Apache Flink 社区在3月份发布了1.17大版本,Flink 1.17 有172位贡献者热情参与,完成了7个 FLIP 和600多个 issue,为社区带来了许多令人兴奋的新功能和改进。相比1.16版本,Flink 1.17 侧重提升了引擎的批处理的性能和完善了流处理语义,使得用户可以实现更简化更实时的数据仓库,朝着 Streaming Warehouse 领域迈进了一大步。讲师/嘉宾简介徐榜江(雪尽) 阿里云 Flink 数据通道负责人Apache Flink PMC Member & Committer ,Flink 1.17 Release Manager
Flink Forward 行业实践 “Flink在平安证券的实践”
Flink Forward 行业实践 “Flink在平安证券的实践”张兴平安证券经纪大数据基础平台负责人
Flink Forward AI特征工程 “WX安全基于Flink实时特征开发平台实践”
Flink Forward AI特征工程 “微信安全基于Flink实时特征开发平台实践”李天旺腾讯专家级工程师
Flink Forward 数据集成“Flink CDC 在京东的探索与实践”
Flink Forward 数据集成“Flink CDC 在京东的探索与实践”韩飞 京东资深技术专家
Flink Forward 平台建设“阿里实时计算Flink自动调优实践”
Flink Forward 平台建设“阿里实时计算Flink自动调优实践”钟旭阳 阿里实时计算Flink自动调休实践
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”亓文凯 开源 Dinky Maintainer
Flink Forward 核心技术“Flink Unaligned Checkpoint 在 Shopee 的优化和实践”
Flink Forward 核心技术“Flink Unaligned Checkpoint 在 Shopee 的优化和实践”范瑞 Apache StreamPark Committer
Flink Forward 行业案例“FlinkSQL在米哈游的平台建设和应用实践”
Flink Forward 行业案例“FlinkSQL在米哈游的平台建设和应用实践”张剑 米哈游实时计算团队负责人
Apache Flink Meetup 北京站《Flink Table Store 典型应用场景》
Apache Flink Meetup 北京站主题:Flink Table Store 典型应用场景讲师:李劲松 阿里巴巴高级技术专家
Flink Forward Asia 2021 实时数据湖
来自阿里巴巴、字节跳动、网易的技术专家们将解读如何构建数据湖平台、简化实时数据入湖入仓等相关问题,更有 Flink + Iceberg、Flink + Hudi 构建流式数据湖最佳实践。讲师/嘉宾简介1.《字节跳动实时数据湖构建的探索和实践》李延加 - 字节跳动数据平台研发工程师,Apache Hudi PMC Member & Committer2.《Flink CDC 如何简化实时数据入湖入仓》徐榜江 - 阿里巴巴高级开发工程师,Apache Flink Committer,Flink CDC Maintainer伍翀 - 阿里巴巴技术专家,Apache Flink PMC Member & Committer3.《Flink + Iceberg 构建网易湖仓一体》马进 - 网易数据科学中心在线数据和实时计算团队负责人4.《使用 Flink Hudi 构建流式数据湖平台》陈玉兆 - 阿里巴巴技术专家,Apache Hudi Committer刘大龙 - 阿里巴巴开发工程师5.《Apache Flink 集成 Apache Iceberg 最佳实践》胡争 - 阿里巴巴技术专家,Apache Iceberg & HBase PMC
Flink Forward Asia 2021 行业实践 3
行业实践专场由字节跳动、网易、蔚来、中原银行、建信金融科技、中信建投等多行业实时计算领域专家详细解读 Flink 在业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介1.《Apache Flink 在斗鱼的应用与实践》夏畅 - 斗鱼实时计算负责人2.《作业帮基于 Flink 的实时计算平台实践》张迎 - 作业帮实时计算负责人3.《Flink 在易车落地应用与实践》王林红 - 易车数据平台负责人4.《如何设计信息安全领域的实时安全基线引擎》覃永靖 - 奇安信集团技术委员会委员、高级技术专家、NGSOC 事业部安全引擎团队架构师5.《特来电云平台智能运维应用实践》刘桂海 - 特来电平台智能保障团队技术负责人
Flink Forward Asia 2021 核心技术 2
核心技术专场,由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink 新一代流计算和容错 - 阶段总结和展望》梅源 - 阿里巴巴开源大数据架构师,Apache Flink 引擎架构师,Apache Flink Committer2.《Improvements of Job Scheduler and Query Execution on Flink OLAP》方勇 - 字节跳动基础架构工程师3.《面向流批一体的 Flink Runtime 新进展》高赟 - 阿里巴巴技术专家,Apache Flink Committer4.《Trisk:在 Flink 上实现以 task 为中心的流处理动态 reconfiguration 的 control plane》毛言粲 - 新加坡国立大学
阿里云Elasticsearch应用性能监控分析最佳实践
本次直播介绍阿里云Elasticsearch如何基于开源Elastic APM功能提供云上应用性能监控分析能力,帮助用户快速拉起并集中托管APM Server实例,实时监控数千个应用程序的性能数据。同时通过对接阿里云Elasticsearch日志增强版集群提供高并发写入托管及低成本海量存储,结合Kibana可视化分析,提供高效的应用程序性能优化与监控能力。 扫码进入技术交流群讲师/嘉宾简介阿里云高级产品经理 钱雨欣(沐泽)
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。