类目筛选
2024-05-15
252
从零构建现代深度学习框架(TinyDL-0.01)
本文主要以一个Java工程师视角，阐述如何从零(无任何二三方依赖)构建一个极简(麻雀虽小五脏俱全)现代深度学习框架（类比AI的操作系统）。
252
2024-06-03
73344
基于阿里云服务网格流量泳道的全链路流量管理（三）：无侵入式的宽松模式泳道
本文简要讨论了使用流量泳道来实现全链路流量灰度管理的场景与方案，并回顾了阿里云服务网格 ASM 提供的严格与宽松两种模式的流量泳道、以及这两种模式各自的优势与挑战。接下来介绍了一种基于 OpenTelemetry 社区提出的 baggage 透传能力实现的无侵入式的宽松模式泳道，这种类型的流量泳道同时具有对业务代码侵入性低、同时保持宽松模式的灵活特性的特点。同时，我们还介绍了新的基于权重的流量引流策略，这种策略可以基于统一的流量匹配规则，将匹配到的流量以设定好的比例分发到不同的流量泳道。
73,344
2024-05-15
94786
AIGC训练场景下的存储特征研究
在今天这样以AIGC为代表的AI时代下，了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告，来看看AIGC对于存储有哪些具体的性能要求。
94,786
2023-06-15
13259
大数据SQL数据倾斜与数据膨胀的优化与经验总结
目前市面上大数据查询分析引擎层出不穷，但在业务使用过程中，大多含有性能瓶颈的SQL，主要集中在数据倾斜与数据膨胀问题中。本文结合业界对大数据SQL的使用与优化，尝试给出相对系统性的解决方案。
13,259
2024-05-15
65076
阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse
Apache Paimon 和 Apache Hudi 作为数据湖存储格式，有着高吞吐的写入和低延迟的查询性能，是构建数据湖的常用组件。本文在阿里云EMR上，针对数据实时入湖场景，对 Paimon 和 Hudi 的性能进行比对，并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
65,076
2024-05-15
139
某海外视频网站AWS S3 搬迁至OSS解决方案
某网站主体位于AWS，经营视频直播/点播以及其他互联网衍生业务，面向广大的海外手机端客户。目前已经在使用阿里云的VOD SDK，并将主要视频数据存放于S3。现需要将业务从AWS S3迁移至阿里云OSS。
139
