官方博客-第6页-阿里云开发者社区

  • 2024-05-15
    448

    跨节点参数的缘起与今生

    Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

    448
  • 2024-08-23
    290

    MaxCompute 近实时增全量处理一体化新架构和使用场景介绍

    本文主要介绍基于 MaxCompute 的离线近实时一体化新架构如何来支持这些综合的业务场景,提供基于Delta Table的近实时增全量一体的数据存储和计算解决方案。

    290
  • 2024-09-11
    438

    二级缓存架构极致提升系统性能

    本文详细阐述了如何通过二级缓存架构设计提升高并发下的系统性能。

    438
  • OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性

    聚焦近日OpenAI的大规模K8s集群故障,介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案:包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。

  • 2025-02-21
    597

    K8S异常诊断之俺的内存呢

    本文讲述作者如何解决客户集群中出现的OOM(Out of Memory)和Pod驱逐问题。文章不仅详细记录了问题的发生背景、现象特征,还深入探讨了排查过程中的关键步骤和技术细节。

    597
  • 2025-04-28
    705

    StrmVol 存储卷:解锁 K8s 对象存储海量小文件访问性能新高度

    本文介绍了阿里云容器服务(ACK)支持的StrmVol存储卷方案,旨在解决Kubernetes环境中海量小文件访问性能瓶颈问题。通过虚拟块设备与内核态文件系统(如EROFS)结合,StrmVol显著降低了小文件访问延迟,适用于AI训练集加载、时序日志分析等场景。其核心优化包括内存预取加速、减少I/O等待、内核态直接读取避免用户态切换开销,以及轻量索引快速初始化。示例中展示了基于Argo Workflows的工作流任务,模拟分布式图像数据集加载,测试结果显示平均处理时间为21秒。StrmVol适合只读场景且OSS端数据无需频繁更新的情况,详细使用方法可参考官方文档。

  • 乐元素 X Hologres,一站式高性能游戏运营分析平台

    乐元素 X Hologres,一站式高性能游戏运营分析平台。

  • 升级JSONB列式存储,Hologres助力淘宝搜索2022双11降本增效

    升级JSONB列式存储,Hologres助力淘宝搜索2022双11降本增效。

  • 2023-08-16
    1179

    MaxCompute ODPS重装上阵:PIVOT/UNPIVOT

    MaxCompute推出新语法 - PIVOT/UNPIVOT:通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求,简化了查询语句,提高了广大大数据开发者的生产力。

    1,179
  • 1
    ...
    5
    6
    7
    ...
    10
    到第
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    6/10