10 月 21 日,由飞轮科技主办、阿里云与腾讯云联合主办的 Apache Doris 社区首届线下技术峰会 Doris Summit Asia 2023 在一片热潮中落下帷幕。
本届峰会以「与创新者同行」为主题,设置主论坛和智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱 4 个平行论坛,来自 美团、银联商务、中国邮政储蓄银行、阿里云、腾讯、小米、华为、网易、平安、众安保险、无锡锡商银行、中国联通、中国电信、爱玛、雨润、奇安信、虎牙、货拉拉、趣丸科技、360、浩瀚深度、地平线、观测云、中铝视拓等行业创新引领者的数十位技术专家出席峰会并贡献了精彩的技术演讲,分享基于 Apache Doris 的行业最佳实践与多场景解决方案,共同探讨数据分析领域最前沿技术与未来趋势。
本次峰会同样吸引了广大技术爱好者的关注,近千大数据以及数据领域从业者来到现场、与技术专家们面对面交流,超过 10 万名在线上观看了峰会直播,为广大数据技术从业者提供了一场年度技术盛宴。
与创新者同行,Apache Doris in 2023
在峰会开场演讲中,Apache Doris PMC 成员、飞轮科技技术副总裁 衣国垒围绕“与创新者同行”这一主题,回顾了 Apache Doris 在过去一年的重要版本迭代以及社区发展总结,分享了应对海量数据实时分析的重新思考,并发布了 Apache Doris 在未来的演进方向与功能规划。
回顾过去几年, Apache Doris 一直在加速进化,尤其在 2023 年,Apache Doris 发布了具有里程碑意义的 2.0 版本,正式踏入 2.0 时代。在这个版本里取得了一系列显著成绩:
引入自适应的并行执行模型和全新查询优化器,盲测性能提升 10 倍,多表关联提升 13 倍,单表场景提升 10 倍、高并发点查询提升 20 倍;
从报表和 Ad-hoc 等典型 OLAP 场景拓展到湖仓一体、高并发数据服务以及日志检索与分析,支撑更统一多样的分析场景;
支持实时数据高吞吐写入、秒级时延,对各类数据更新都有完备的支持,构建更高效易用且稳定的实时数据处理和分析链路;
在性能飞跃和场景拓宽的背后,离不开所有社区开发者们的辛勤付出。截止目前,社区的贡献者达到近 600 名、平均每月活跃贡献者超过 120 名,已经成为全球大数据和数据库领域最活跃的开源项目之一。而贡献者来源方面也更加多元化,广泛分布于国内外数十行业的 100 余家标杆企业,同时吸引了国内多家顶尖云厂商的投入共建,包括阿里云、腾讯云、百度智能云、华为云、天翼云、火山引擎等,同时相关产品几乎覆盖了国内外所有主流云平台。
同时在这一年,Apache Doris 收获到了更多行业用户的认可。在峰会上,衣国垒首次公布,Apache Doris 在全球范围内的企业用户已经超过了 4000 家,涵盖金融、互联网、能源、制造、通信、企业服务等数十个行业,在众多大型企业的核心分析业务中得到广泛应用。在如此庞大的用户规模下,Apache Doris 已成为各行各业用户在使用实时数据仓库的首选,成为开源实时数据仓库领域的事实标准!
这些重要进展,不仅展示了 Apache Doris 持续创新能力和技术实力,也证明了我们用户需求的深度理解和精准把握。衣国垒表示,未来 Apache Doris 还将继续致力于推动实时数据分析技术的创新,包括:
实时分析:在大规模实时数据上实现极致的查询性能;
融合统一:在一套系统中提供对多种分析负载的支持、简化复杂架构带来的运维使用成本;
云原生化:面向云计算基础设施进行革新,利用云的极致弹性降低存储和计算成本;
以技术创新,驱动业务创新发展
在峰会主会场上,美团高级技术专家、查询引擎团队负责人曾林西分享了 Apache Doris 在美团统一 OLAP 引擎的实践。
作为一家科技零售公司,美团持续推动服务零售和商品零售在需求侧和供给侧的数字化升级,为消费者提供品质服务。数据是精细化运营的根基,在美团丰富的业务场景背后,面临着对海量数据高效实时的分析诉求。为了应对这一挑战,美团经历了多个 OLAP 引擎的选型和演进,并探索了统一 OLAP 引擎的建设方案。综合考虑技术栈匹配度、代码扩展性、项目落地周期以及业务迁移成本等多方面因素,最终美团选择基于 Apache Doris 构建统一 OLAP 引擎。
截止目前,美团内部已上线近 200 套集群、物理节点数近 10000 台、每日超过亿次的查询分析请求。在服务业务的同时,美团同样深度参与 Apache Doris 开源社区,在查询优化器、向量化执行引擎、Pipeline 执行框架以及回归测试框架等重要研发方向与社区深度共建,是社区最有力的贡献力量之一。
峰会主会场上,银联商务资深数据架构师杨劲雄分享了基于 Apache Doris 构建新一代实时数仓的实践经验。银联商务是国内大型的非银行支付机构,提供以银行卡收单、网络支付为基础的综合支付服务,以及多样化和专业化的商户增值和科技创新服务。累计服务商户超过2500万家,累计铺设终端超过3900万台,收单交易笔数连续十年蝉联亚太收单机构榜首。面对如此大规模的业务增长,传统的离线数仓平台已无法高效地支撑业务需求。
“Apache Doris 能够快速、准确地导入和同步数据,同时在查询分析过程中获得更快的响应时间。引入 Apache Doris 后导入性能提升 2-5 倍,ETL 场景性能提升 3-12 倍,查询分析响应速度提升 10-15 倍,显著的性能提升为我们的业务增长和决策制定提供了强有力的支持。”
通过引入 Apache Doris,银联商务实现了实时数仓的升级,解决了业务和数据的快速增长问题,满足金融行业对大规模数据处理和实时查询的需求。银联商务的成功实践为金融企业提供了借鉴和参考的价值,展示了 Apache Doris 在推动金融科技创新方面的巨大潜力。
在移动支付普及的时代,金融反欺诈成为保护企业和客户资产安全的重要手段。中国邮政储蓄银行软件研发中心(西安分中心)技术专家狄潇然在主论坛上介绍,中国邮政储蓄银行基于 Apache Doris 构建了智能风控反欺诈平台,该平台具备监控告警、即席分析、关联分析和快速定位等多项功能,满足全方位风险防控的需求。
“时间是金融反欺诈行动中的关键指标,因此快速的运营分析以及快速获取关键价值线索至关重要。反欺诈平台基于 Apache Doris 的强大功能,带来了一系列重要的性能提升和应用价值:核心报表响应速度从天级别缩短至秒级别,80% 即席分析能够达到秒级响应、告警有效率高达 95% 且告警延迟不超过 5s、存储成本降低 70%....”
中国邮政储蓄银行的智能风控反欺诈平台利用 Apache Doris 实现了高效、实时的的数据支持,使得邮储银行能够更好地应对金融欺诈行为,保护企业自身利益和客户资产安全。
向云生长,更多产业创新者的选择
随着云时代的到来,企业对于灵活、高效的云计算需求日益增长。无论是公有云、私有云还是 K8S 容器平台,越来越多的企业都希望 Apache Doris 针对云计算这种新型基础设施提供更加深度的适配,以便提供更加灵活强大的弹性能力。
飞轮科技 CEO 、Apache Doris PMC 成员马如悦介绍了基于 Apache Doris 构建的现代化实时数据仓库 SelectDB。目前 SelectDB 具备两种产品形态,立足于多云之上的云原生数仓服务 SelectDB Cloud以及满足私有化部署要求的企业版 SelectDB Enterprise,可以满足不同用户的使用需求。
其中 SelectDB Cloud 实现了完全的存算分离,提供了多计算集群负载隔离和计算弹性扩缩容等功能,这一版本后续也将会贡献至 Apache Doris 社区,帮助企业用户实现更加高效数据分析和处理、更灵活的弹性能力以及更低的使用成本。
今年 3 月,阿里云与飞轮科技正式达成战略合作协议,双方决定共同研发名为“阿里云数据库 SelectDB 版”的新一代实时数据仓库,为用户提供在阿里云上的全托管服务。这一创新性的合作旨在将现代化的实时数据仓库技术与阿里云强大的基础设施能力相结合,为用户带来更加卓越的数据分析和处理体验。
在峰会现场,阿里云与飞轮科技联合发布了阿里云数据库 SelectDB 版,该产品基于阿里云 IaaS 深度优化,可与阿里云其他产品无缝融合,给予用户更优的用云体验,真正阐释了「云上 Doris,不止于此」的理念。
阿里云数据库资深技术专家彭祥表示,阿里云与飞轮科技强强联合,展示了双方推动数据库技术发展、提升用户体验方面的决心和创新能力。
Apache Doris PMC 成员、腾讯云 TCHouse-D 研发负责人李德分享到,企业级需求与开源项目之间存在显著差异。企业用户更追求稳定可用、上下游生态的兼容适配、及时的技术支持响应以及充实完善的产品资料。相对于开源用户来说,企业用户的需求更加全面和严格。
为了满足企业用户的诉求,腾讯云基于 Apache Doris 内核构建了 TCHouse-D 数据库,可为企业用户提供方便易用、灵活稳定的实时数据仓库服务。李德详细介绍了 TCHouse-D 的特点和优势,仅需几分钟即可完成搭建,并可轻松应对海量数据的实时查询分析。
同时腾讯云也将上线企业级产品后的问题与经验进行沉淀,持续回馈至社区中,后续并将持续投入社区共建。
更多行业创新者的实践应用
除了主会场之外,智慧金融与政企、先进智造与电信、企业服务与新经济、互联网与文娱 4 个平行论坛的数十位技术专家也在各会场为参会者带来了精彩的演讲,分享了各自领域的最新技术趋势和实践经验。
在智慧金融与政企论坛上,来自平安人寿、众安保险、无锡锡商银行、金融壹账通、华为、智达信科的多位技术专家以及来自数势科技、Tapdata、飞轮科技等创新先锋企业的代表,与所有参会者分享了如何应对实时分析的挑战,深度剖析 Apache Doris 在行业场景中的最佳实践经验。与此同时,Apache Doris PMC 成员陈明雨还在本论坛揭秘了 Apache Doris 在湖仓联邦分析场景的技术实现。Apache Doris PMC 成员李昊鹏、飞轮科技熊仲健分享了Apache Doris 在 2.0.0 版本实现盲测性能 10 倍提升背后的思考与优化实践。
在先进智造与电信论坛中,来自中国电信、联通西部创新研究院、浩瀚深度、天翼云、爱玛电动车、地平线、中铝视拓、小米集团及飞轮科技等行业先锋企业的技术专家,与参会者分享了 Apache Doris 在电信与制造场景下的真实生产实践案例,共同探讨海量数据实时分析的更优解决方案。飞轮科技资深架构师、Apache StreamPark PPMC 成员王华杰分享了多种数据源整库同步至 Apache Doris 的最佳实践。
在互联网与文娱论坛中,来自网易游戏、趣丸科技、腾讯、虎牙、货拉拉、360及阿里云等行业先锋企业的大数据专家,与参会者分享 Apache Doris 在不同业务场景助力企业实现精确营销及业务增长。同时,来自飞轮科技资深解决方案架构师王天宜还将与大家分享基于 Apache Doris 构建用户行为分析与画像平台的实践方案。
在企业服务与新经济论坛中,来自观测云、奇安信、雨润、万物云城、腾讯云、玖章算术、飞轮科技以及社区的多位技术专家分享了如何基于 Apache Doris 为不同行业客户提供服务,满足大规模、个性化的数据处理及分析需求,同时为大家分享了数据集成、日志分析等场景解决方案。
至此 Doris Summit Asia 2023 圆满落幕,感谢所有参与本次大会的演讲嘉宾、合作伙伴、线上线下所有的参会者、所有支持和认可 Apache Doris 的技术从业者以及开源技术的爱好者们。
在此我们也致敬每一位追风赶月的创新者们,也期待与更多创新者与一同前行,探索数据世界的更多可能性!
# 峰会回放 & 资料如何领取?
峰会全程回放以及演讲 PPT 我们正在紧急整理中,预计 1-2 周内陆续对外公开。请您持续关注「SelectDB」公众号以及开源技术论坛(http://forum.selectdb.com/ ),以便第一时间获取相关通知及推送。