类目筛选
2025-07-18
920
淘天AB实验分析平台Fluss落地实践：更适合实时OLAP的消息队列
淘天集团数据开发团队基于Fluss构建新一代实时数仓，解决数据消费冗余、探查困难及大State运维难题。Fluss融合列存与实时更新能力，支持列裁剪、KV点查、Delta Join及湖流一体，显著降低IO与计算资源消耗，提升作业稳定性与数据探查效率。已在淘天AB实验平台落地，覆盖搜索、推荐等核心业务，通过618大促验证，实现千万级流量、秒级延迟，资源消耗降低30%，State缩减超100TB。未来将持续深化湖仓架构，拓展AI场景应用。
920
2024-05-15
140389
用软硬协同设计下的飞天盘古降低存储系统开销
历经 15 载，如今的飞天盘古系统已迭代至第三代，数千万行代码和 1,000 余项专利，从大规模、到高性能、到高效能的分布式存储系统的演进，更高效地让数据中心成为一台计算机。
140,389
2024-05-15
119089
Paimon 与 Spark 的集成（二）：查询优化
通过一系列优化，我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%，已基本和 Parquet x Spark 持平，本文对其中的关键优化点进行了详细介绍。
119,089
2024-12-24
1275
探索大型语言模型LLM推理全阶段的JSON格式输出限制方法
本篇文章详细讨论了如何确保大型语言模型（LLMs）输出结构化的JSON格式，这对于提高数据处理的自动化程度和系统的互操作性至关重要。
1,275
2024-12-13
1979
动态链接的魔法：Linux下动态链接库机制探讨
本文将深入探讨Linux系统中的动态链接库机制，这其中包括但不限于全局符号介入、延迟绑定以及地址无关代码等内容。
1,979
2025-07-01
1155
Excel数据治理新思路：引入智能体实现自动纠错【Python+Agent】
本文介绍如何利用智能体与Python代码批量处理Excel中的脏数据，解决人工录入导致的格式混乱、逻辑错误等问题。通过构建具备数据校验、异常标记及自动修正功能的系统，将数小时的人工核查任务缩短至分钟级，大幅提升数据一致性和办公效率。
1,155
2025-08-18
478
基于 EventBridge 构筑 AI 领域高效数据集成方案
本文深入探讨了AI时代数据处理的变革与挑战，分析了事件驱动架构（EventBridge）在AI数据处理中的技术优势，并结合实践案例，展示了其在多源数据接入、向量数据库优化、智能数据转换等方面的应用价值。
478