一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01
阿里云存储产品高级解决方案架构师欧阳雁（乐忱）分享了中国企业在全闪存高端存储市场的快速增长，指出AI大模型的发展推动了企业级存储市场。去年，高端企业级存储闪存占比约为25%，相较于欧美50%的比例，显示出中国在AI领域的巨大增长潜力。演讲涵盖AI业务流程，包括数据预处理、训练和推理的痛点，以及针对这些环节的存储解决方案，强调了稳定、高性能和生命周期管理的重要性。此外，还介绍了数据预处理的全球加速和弹性临时盘技术，训练阶段的高性能存储架构，推理场景的加速器和AI Agent的应用，以及应对大数据业务的存储考量，如对象存储、闪电立方和冷归档存储产品。
在今天这样以AIGC为代表的AI时代下，了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告，来看看AIGC对于存储有哪些具体的性能要求。
随着企业对云服务的广泛应用，数据安全成为重要课题。通过对云上数据进行敏感数据扫描和保护，可以有效提升企业或组织的数据安全。本文主要基于阿里云的数据安全中心数据识别功能进行深入实践探索。通过对商品购买日志的模拟，分析了如何使用阿里云的工具对日志数据进行识别、脱敏（3 种模式）处理和基于 StoreView 的查询脱敏方式，从而在保障数据安全的同时满足业务需求。通过这些实践，企业可以有效降低数据泄漏风险，提升数据治理能力和系统安全性。
从海量的日志数据中，按照各种灵活的条件进行即时查询搜索，是可观测场景下的基本需求。本文介绍了 SLS 新推出的高性能 SPL 日志查询模式，支持 Unix 风格级联管道式语法，以及各种丰富的 SQL 处理函数。同时通过计算下推、向量化计算等优化，使得 SPL 查询可以在数秒内处理亿级数据，并支持 SPL 过滤结果分布图、随机翻页等特性。
Apache Paimon 和 Apache Hudi 作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
本文整理自阿里云高级专家喻良，在 Flink Forward Asia 2023 主会场的分享。
