从多引擎到统一平台:去哪儿网的 StarRocks 实践
在去哪儿网新一代数据平台架构中,StarRocks 作为统一 OLAP 引擎,替代了原有的 Trino、Presto、Druid、Impala、Kudu、Iceberg、ClickHouse 等多个引擎。如今,去哪儿网 StarRocks 集群覆盖全司业务线,支撑 7 大数据产品,集群规模达数十台,日 PV 突破百万,外表 P95 秒级、内表 P95 毫秒级,性能表现稳定高效。
本文将带你走进这一实践过程,解读架构升级背后的思路与成效。
终于有人把数据架构讲清楚了!
本文深入浅出地解析了数据架构的核心逻辑,涵盖其定义、作用、设计方法及常见误区,助力读者构建贴合业务的数据架构。
SparkSQL 入门指南:小白也能懂的大数据 SQL 处理神器
在大数据处理的领域,SparkSQL 是一种非常强大的工具,它可以让开发人员以 SQL 的方式处理和查询大规模数据集。SparkSQL 集成了 SQL 查询引擎和 Spark 的分布式计算引擎,使得我们可以在分布式环境下执行 SQL 查询,并能利用 Spark 的强大计算能力进行数据分析。
抖音集团基于Paimon的流式数据湖应用实践
本文整理自抖音集团数据工程师在Flink Forward Asia 2024的分享,围绕流式湖仓架构的背景、实践与未来展望展开。内容涵盖实时数仓架构演进、Paimon的应用与优化,以及在长周期指标计算和大流量场景下的落地实践经验。
从数据困境到智能跃迁:我与ODPS的三年成长记
2022年深秋,我所在的电商公司因用户暴增陷入数据处理危机,传统Hive集群在双11期间彻底瘫痪。转机出现在引入阿里云ODPS后,任务效率大幅提升,团队重拾信心。随着深入使用,DataWorks的可视化编排、ODPS的高性能计算与安全能力,极大优化了数据治理效率。我也从“写代码的人”转变为“用数据说话的人”。2024年,我们基于ODPS构建优惠券模型,推动GMV提升5%。ODPS不仅是技术工具,更是智能协作伙伴,助力我从执行者成长为数据价值的定义者。