与创新者同行,Doris Summit Asia 2023 线下技术峰会圆满落幕!

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 10 月 21 日,由飞轮科技主办、阿里云与腾讯云联合主办的 Apache Doris 社区首届线下技术峰会 Doris Summit Asia 2023 在一片热潮中落下帷幕。

640.gif

10 月 21 日,由飞轮科技主办、阿里云与腾讯云联合主办的 Apache Doris 社区首届线下技术峰会 Doris Summit Asia 2023 在一片热潮中落下帷幕。

本届峰会以「与创新者同行」为主题,设置主论坛和智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱 4 个平行论坛,来自 美团、银联商务、中国邮政储蓄银行、阿里云、腾讯、小米、华为、网易、平安、众安保险、无锡锡商银行、中国联通、中国电信、爱玛、雨润、奇安信、虎牙、货拉拉、趣丸科技、360、浩瀚深度、地平线、观测云、中铝视拓等行业创新引领者的数十位技术专家出席峰会并贡献了精彩的技术演讲,分享基于 Apache Doris 的行业最佳实践与多场景解决方案,共同探讨数据分析领域最前沿技术与未来趋势。

本次峰会同样吸引了广大技术爱好者的关注,近千大数据以及数据领域从业者来到现场、与技术专家们面对面交流,超过 10 万名在线上观看了峰会直播,为广大数据技术从业者提供了一场年度技术盛宴。

与创新者同行,Apache Doris in 2023

在峰会开场演讲中,Apache Doris PMC 成员、飞轮科技技术副总裁 衣国垒围绕“与创新者同行”这一主题,回顾了 Apache Doris 在过去一年的重要版本迭代以及社区发展总结,分享了应对海量数据实时分析的重新思考,并发布了 Apache Doris 在未来的演进方向与功能规划。

WechatIMG343.jpg

回顾过去几年, Apache Doris 一直在加速进化,尤其在 2023 年,Apache Doris 发布了具有里程碑意义的 2.0 版本,正式踏入 2.0 时代。在这个版本里取得了一系列显著成绩:

  • 引入自适应的并行执行模型和全新查询优化器,盲测性能提升 10 倍,多表关联提升 13 倍,单表场景提升 10 倍、高并发点查询提升 20 倍;

  • 从报表和 Ad-hoc 等典型 OLAP 场景拓展到湖仓一体、高并发数据服务以及日志检索与分析,支撑更统一多样的分析场景;

  • 支持实时数据高吞吐写入、秒级时延,对各类数据更新都有完备的支持,构建更高效易用且稳定的实时数据处理和分析链路;

WechatIMG344.jpg

在性能飞跃和场景拓宽的背后,离不开所有社区开发者们的辛勤付出。截止目前,社区的贡献者达到近 600 名、平均每月活跃贡献者超过 120 名,已经成为全球大数据和数据库领域最活跃的开源项目之一。而贡献者来源方面也更加多元化,广泛分布于国内外数十行业的 100 余家标杆企业,同时吸引了国内多家顶尖云厂商的投入共建,包括阿里云、腾讯云、百度智能云、华为云、天翼云、火山引擎等,同时相关产品几乎覆盖了国内外所有主流云平台。

同时在这一年,Apache Doris 收获到了更多行业用户的认可。在峰会上,衣国垒首次公布,Apache Doris 在全球范围内的企业用户已经超过了 4000 家,涵盖金融、互联网、能源、制造、通信、企业服务等数十个行业,在众多大型企业的核心分析业务中得到广泛应用。在如此庞大的用户规模下,Apache Doris 已成为各行各业用户在使用实时数据仓库的首选,成为开源实时数据仓库领域的事实标准!

WechatIMG345.jpg

这些重要进展,不仅展示了 Apache Doris 持续创新能力和技术实力,也证明了我们用户需求的深度理解和精准把握。衣国垒表示,未来 Apache Doris 还将继续致力于推动实时数据分析技术的创新,包括:

  • 实时分析:在大规模实时数据上实现极致的查询性能;

  • 融合统一:在一套系统中提供对多种分析负载的支持、简化复杂架构带来的运维使用成本;

  • 云原生化:面向云计算基础设施进行革新,利用云的极致弹性降低存储和计算成本;

以技术创新,驱动业务创新发展

在峰会主会场上,美团高级技术专家、查询引擎团队负责人曾林西分享了 Apache Doris 在美团统一 OLAP 引擎的实践。

作为一家科技零售公司,美团持续推动服务零售和商品零售在需求侧和供给侧的数字化升级,为消费者提供品质服务。数据是精细化运营的根基,在美团丰富的业务场景背后,面临着对海量数据高效实时的分析诉求。为了应对这一挑战,美团经历了多个 OLAP 引擎的选型和演进,并探索了统一 OLAP 引擎的建设方案。综合考虑技术栈匹配度、代码扩展性、项目落地周期以及业务迁移成本等多方面因素,最终美团选择基于 Apache Doris 构建统一 OLAP 引擎。

截止目前,美团内部已上线近 200 套集群、物理节点数近 10000 台、每日超过亿次的查询分析请求。在服务业务的同时,美团同样深度参与 Apache Doris 开源社区,在查询优化器、向量化执行引擎、Pipeline 执行框架以及回归测试框架等重要研发方向与社区深度共建,是社区最有力的贡献力量之一。

WechatIMG346.jpg

峰会主会场上,银联商务资深数据架构师杨劲雄分享了基于 Apache Doris 构建新一代实时数仓的实践经验。银联商务是国内大型的非银行支付机构,提供以银行卡收单、网络支付为基础的综合支付服务,以及多样化和专业化的商户增值和科技创新服务。累计服务商户超过2500万家,累计铺设终端超过3900万台,收单交易笔数连续十年蝉联亚太收单机构榜首。面对如此大规模的业务增长,传统的离线数仓平台已无法高效地支撑业务需求。

“Apache Doris 能够快速、准确地导入和同步数据,同时在查询分析过程中获得更快的响应时间。引入 Apache Doris 后导入性能提升 2-5 倍,ETL 场景性能提升 3-12 倍,查询分析响应速度提升 10-15 倍,显著的性能提升为我们的业务增长和决策制定提供了强有力的支持。”

通过引入 Apache Doris,银联商务实现了实时数仓的升级,解决了业务和数据的快速增长问题,满足金融行业对大规模数据处理和实时查询的需求。银联商务的成功实践为金融企业提供了借鉴和参考的价值,展示了 Apache Doris 在推动金融科技创新方面的巨大潜力。

WechatIMG347.jpg

在移动支付普及的时代,金融反欺诈成为保护企业和客户资产安全的重要手段。中国邮政储蓄银行软件研发中心(西安分中心)技术专家狄潇然在主论坛上介绍,中国邮政储蓄银行基于 Apache Doris 构建了智能风控反欺诈平台,该平台具备监控告警、即席分析、关联分析和快速定位等多项功能,满足全方位风险防控的需求。

“时间是金融反欺诈行动中的关键指标,因此快速的运营分析以及快速获取关键价值线索至关重要。反欺诈平台基于 Apache Doris 的强大功能,带来了一系列重要的性能提升和应用价值:核心报表响应速度从天级别缩短至秒级别,80% 即席分析能够达到秒级响应、告警有效率高达 95% 且告警延迟不超过 5s、存储成本降低 70%....”

中国邮政储蓄银行的智能风控反欺诈平台利用 Apache Doris 实现了高效、实时的的数据支持,使得邮储银行能够更好地应对金融欺诈行为,保护企业自身利益和客户资产安全。

WechatIMG348.jpg

向云生长,更多产业创新者的选择

随着云时代的到来,企业对于灵活、高效的云计算需求日益增长。无论是公有云、私有云还是 K8S 容器平台,越来越多的企业都希望 Apache Doris 针对云计算这种新型基础设施提供更加深度的适配,以便提供更加灵活强大的弹性能力。

飞轮科技 CEO 、Apache Doris PMC 成员马如悦介绍了基于 Apache Doris 构建的现代化实时数据仓库 SelectDB。目前 SelectDB 具备两种产品形态,立足于多云之上的云原生数仓服务 SelectDB Cloud以及满足私有化部署要求的企业版 SelectDB Enterprise,可以满足不同用户的使用需求。

其中 SelectDB Cloud 实现了完全的存算分离,提供了多计算集群负载隔离和计算弹性扩缩容等功能,这一版本后续也将会贡献至 Apache Doris 社区,帮助企业用户实现更加高效数据分析和处理、更灵活的弹性能力以及更低的使用成本。

WechatIMG349.jpg

今年 3 月,阿里云与飞轮科技正式达成战略合作协议,双方决定共同研发名为“阿里云数据库 SelectDB 版”的新一代实时数据仓库,为用户提供在阿里云上的全托管服务。这一创新性的合作旨在将现代化的实时数据仓库技术与阿里云强大的基础设施能力相结合,为用户带来更加卓越的数据分析和处理体验。

在峰会现场,阿里云与飞轮科技联合发布了阿里云数据库 SelectDB 版,该产品基于阿里云 IaaS 深度优化,可与阿里云其他产品无缝融合,给予用户更优的用云体验,真正阐释了「云上 Doris,不止于此」的理念

阿里云数据库资深技术专家彭祥表示,阿里云与飞轮科技强强联合,展示了双方推动数据库技术发展、提升用户体验方面的决心和创新能力。

WechatIMG350.jpg

Apache Doris PMC 成员、腾讯云 TCHouse-D 研发负责人李德分享到,企业级需求与开源项目之间存在显著差异。企业用户更追求稳定可用、上下游生态的兼容适配、及时的技术支持响应以及充实完善的产品资料。相对于开源用户来说,企业用户的需求更加全面和严格。

为了满足企业用户的诉求,腾讯云基于 Apache Doris 内核构建了 TCHouse-D 数据库,可为企业用户提供方便易用、灵活稳定的实时数据仓库服务。李德详细介绍了 TCHouse-D 的特点和优势,仅需几分钟即可完成搭建,并可轻松应对海量数据的实时查询分析。

同时腾讯云也将上线企业级产品后的问题与经验进行沉淀,持续回馈至社区中,后续并将持续投入社区共建。

WechatIMG351.jpg

更多行业创新者的实践应用

除了主会场之外,智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱 4 个平行论坛的数十位技术专家也在各会场为参会者带来了精彩的演讲,分享了各自领域的最新技术趋势和实践经验。

  • 在智慧金融与政企论坛上,来自平安人寿、众安保险、无锡锡商银行、金融壹账通、华为、智达信科的多位技术专家以及来自数势科技、Tapdata、飞轮科技等创新先锋企业的代表,与所有参会者分享了如何应对实时分析的挑战,深度剖析 Apache Doris 在行业场景中的最佳实践经验。与此同时,Apache Doris PMC 成员陈明雨还在本论坛揭秘了 Apache Doris 在湖仓联邦分析场景的技术实现。Apache Doris PMC 成员李昊鹏、飞轮科技熊仲健分享了Apache Doris 在 2.0.0 版本实现盲测性能 10 倍提升背后的思考与优化实践。

  • 在先进智造与电信论坛中,来自中国电信、联通西部创新研究院、浩瀚深度、天翼云、爱玛电动车、地平线、中铝视拓、小米集团及飞轮科技等行业先锋企业的技术专家,与参会者分享了 Apache Doris 在电信与制造场景下的真实生产实践案例,共同探讨海量数据实时分析的更优解决方案。飞轮科技资深架构师、Apache StreamPark PPMC 成员王华杰分享了多种数据源整库同步至 Apache Doris 的最佳实践。

  • 在互联网与文娱论坛中,来自网易游戏、趣丸科技、腾讯、虎牙、货拉拉、360及阿里云等行业先锋企业的大数据专家,与参会者分享 Apache Doris 在不同业务场景助力企业实现精确营销及业务增长。同时,来自飞轮科技资深解决方案架构师王天宜还将与大家分享基于 Apache Doris 构建用户行为分析与画像平台的实践方案。

  • 在企业服务与新经济论坛中,来自观测云、奇安信、雨润、万物云城、腾讯云、玖章算术、飞轮科技以及社区的多位技术专家分享了如何基于 Apache Doris 为不同行业客户提供服务,满足大规模、个性化的数据处理及分析需求,同时为大家分享了数据集成、日志分析等场景解决方案。

至此 Doris Summit Asia 2023 圆满落幕,感谢所有参与本次大会的演讲嘉宾、合作伙伴、线上线下所有的参会者、所有支持和认可 Apache Doris 的技术从业者以及开源技术的爱好者们。

在此我们也致敬每一位追风赶月的创新者们,也期待与更多创新者与一同前行,探索数据世界的更多可能性!

# 峰会回放 & 资料如何领取?
峰会全程回放以及演讲 PPT 我们正在紧急整理中,预计 1-2 周内陆续对外公开。请您持续关注「SelectDB」公众号以及开源技术论坛(http://forum.selectdb.com/ ),以便第一时间获取相关通知及推送。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
新零售 城市大脑 分布式计算
阿里云2019北京峰会之我见(商业篇)
整场大会听下来,我用两个字来总结那就是”共赢“。 希望大家都能赢!
4309 0
|
安全 数据挖掘 OLAP
驱动数字化转型,Doris Summit Asia 2023 智慧金融与政企论坛精彩预告!
2023 年 10 月 21 日,首届线下峰会 Doris Summit Asia 2023 将在北京丽亭华苑酒店正式举行,大会将设置主论坛和智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱 4 个平行论坛,来自金融、互联网、政企、制造、电信、文娱等行业的数十位技术专家将与上千参会者一道,分享各行业标杆用户最佳实践与多场景解决方案,共同探讨数据分析领域最前沿的技术与未来趋势。
|
Cloud Native 视频直播 开发者
就在明天!阿里云技术团队亮相 KubeCon China 2023,共赴技术盛宴
就在明天!阿里云技术团队亮相 KubeCon China 2023,共赴技术盛宴
|
NoSQL 数据库
官宣,首届阿里云NoSQL数据库峰会来袭!火速收藏
8月25日下午2点,阿里云NoSQL数据库峰会2022,无型无限,一起探索无束可能!
994 0
官宣,首届阿里云NoSQL数据库峰会来袭!火速收藏
|
Cloud Native 中间件 大数据
首届全球基础软件创新大会明天开幕!
不断变化的时局让我们再次认识到了基础软件的重要性。
首届全球基础软件创新大会明天开幕!
|
消息中间件 Cloud Native Dubbo
|
消息中间件 Dubbo Kafka
云栖大会 | 开源引力峰会线下参会指南
在各种纷乱的信号与噪声中,阿里是如何在商业成功和以开源为代表的工程师文化中平衡?我们该如何理解开源和商业的关系、云厂商和开源项目的关系?
597 0
云栖大会 | 开源引力峰会线下参会指南
|
弹性计算 人工智能 云计算
阿里云计算峰会·上海站,将于9月26日正式开幕~众多技术大咖、先锋企业、产业领袖齐聚上海,共同探讨云上增长的新赛道!
2021 阿里云计算峰会·上海专场即将于9月26日开幕,阿里云智能弹性计算产品线负责人张献涛将作为嘉宾出席大会并带来主旨演讲,并与众多数字化先锋企业、技术大咖、生态伙伴、产业领袖一起,共同探讨云上增长的新赛道。
阿里云计算峰会·上海站,将于9月26日正式开幕~众多技术大咖、先锋企业、产业领袖齐聚上海,共同探讨云上增长的新赛道!
|
Dragonfly 运维 资源调度
11.17-20 | KubeCon 北美 2020 阿里巴巴完整议题
北美时间 2020 年 11 月 17 日 - 20 日,来自领先的开源和云原生社区采用者、技术人员将再一次在线上汇聚。在本次峰会上,阿里巴巴将带来 7 场围绕容器、Kubernetes、社区发展方向的演讲和分享,无论是分享数量、嘉宾重量还是话题质量,都再一次成为吸引全球目光的中国云原生技术力量焦点。让我们先睹为快,看看在 2020 北美 KubeCon + CloudNativeCon 上阿里巴巴有哪些值得关注的话题、嘉宾和分享环节。
48527 0
11.17-20 | KubeCon 北美 2020 阿里巴巴完整议题