官方博客-第5页-阿里云开发者社区

  • 2024-12-05
    513

    一行代码改进:Logtail的多行日志采集性能提升7倍的奥秘

    一个有趣的现象引起了作者的注意:当启用行首正则表达式处理多行日志时,采集性能出现下降。究竟是什么因素导致了这种现象?本文将探索Logtail多行日志采集性能提升的秘密。

    513
  • 2024-12-20
    943

    AI场景下的对象存储OSS数据管理实践

    本文介绍了ECS和OSS的操作流程,分为两大部分。第一部分详细讲解了ECS的登录、密码重置、安全组设置及OSSUTIL工具的安装与配置,通过实验创建并管理存储桶,上传下载文件,确保资源及时释放。第二部分则聚焦于OSSFS工具的应用,演示如何将对象存储挂载为磁盘,进行大文件加载与模型训练,强调环境搭建(如Conda环境)及依赖安装步骤,确保实验结束后正确清理AccessKey和相关资源。整个过程注重操作细节与安全性,帮助用户高效利用云资源完成实验任务。

  • 2024-05-15
    659

    Hologres RoaringBitmap在Lazada选品平台的最佳实践

    Lazada选品平台包含全网商家、商品的圈选,通过Hologres RoaringBitmap能力帮助业务突破选品池20w大小限制,6000+选品池调度完成由12h下降至1h,单个选品池调度时间由90s下降至2s。

    659
  • 2024-10-22
    789

    一文教会你如何使用 iLogtail SPL 处理日志

    iLogtail 作为日志、时序数据采集器,在 2.0 版本中,全面支持了 SPL 。本文对处理插件进行了梳理,介绍了如何编写 SPL 语句,从插件处理模式迁移到 2.0 版本的 SPL 处理模式,帮助用户实现更加灵活的端上数据处理。

    789
  • 乐元素 X Hologres,一站式高性能游戏运营分析平台

    乐元素 X Hologres,一站式高性能游戏运营分析平台。

  • 2024-05-15
    95371

    AIGC训练场景下的存储特征研究

    在今天这样以AIGC为代表的AI时代下,了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告,来看看AIGC对于存储有哪些具体的性能要求。

  • 2024-05-15
    448

    跨节点参数的缘起与今生

    Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

    448
  • 分析性能提升40%,阿里云Hologres流量场景最佳实践

    分析性能提升40%,阿里云Hologres流量场景最佳实践

  • 2024-11-29
    486

    写了BUG还想跑——闲鱼异常日志问题自动追踪-定位-分发机制

    为了高效地发现、定位和解决预发问题,闲鱼团队研发了一套异常日志问题自动追踪-定位-分发机制。这套机制通过自动化手段,实现了异常日志的定时扫描、精准定位和自动分发,显著降低了开发和测试的成本,提高了问题解决的效率。

    486
  • 1
    ...
    4
    5
    6
    ...
    13
    到第
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    5/13