2024-05-15
408

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

112

从故障演练到运维工具产品力评测的探索 | 龙蜥技术

随着AI和云原生技术的发展,业界运维工具百花齐放,该如何让优秀的工具脱颖而出?

2024-05-15
61149

云效 Pipeline as Code 来了,这些场景,用好它效率翻倍

可视化与YAML编排兼具,云效CI/CD流水线你愿意打几分?

2024-05-15
193

联合XTuner,魔搭社区全面支持数据集的长文本训练

XTuner和魔搭社区(SWIFT)合作引入了一项长序列文本训练技术,该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU,从而减少每个GPU上的显存占用。通过这种方式,训练超大规模模型时可以处理更长的序列,提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术,支持多种大模型和数据集的训练。此外,SWIFT还提供了一个用户友好的界面,方便用户进行训练和部署,并且支持评估功能。

2024-06-03
41507

iLogtail 2.0 重大升级,端上支持 SPL

日志数据格式可能是多样且复杂的,iLogtail 插件配置模式已经可以很好的支持复杂数据的处理。iLogtail2.0 又带来了 SPL 语法的重大支持,在日志处理场景下,可以通过多级管道对数据进行交互式、递进式的探索和处理,从配置交互和性能上,都有比较大的提升和优化。iLogtail2.0 已经在逐步灰度中,欢迎大家体验和使用。

41,507
2024-06-07
151

自动化搭建专属 AI 绘图服务

本文介绍了如何使用通义万相AIGC技术和阿里云的计算和存储产品来搭建自己的AI绘画服务。首先,通过创建基础云产品资源和部署AI绘画服务的步骤来开始搭建服务。然后,介绍了模板的原理和内容,以及ROS编排引擎的作用。接下来,详细介绍了AI绘画服务的一键部署过程,包括定义参数、模板的编写和ROS的使用。最后,提到了应用运行环境的搭建和自定义应用页面的方法。通过ROS的自动化部署,用户可以方便快捷地拥有自己的AI绘画服务。

2024-07-08
46688

私网环境下使用云效流水线进行 CI/CD的方法

云效流水线可以托管用户的私网环境内的机器,并将构建任务调度到这些机器上,从而确保整个构建过程,和代码库和制品库的交互在私网环境下进行。

46,688
2024-08-12
7308

使用对比!SLS 数据加工 SPL 与旧版 DSL 场景对照

本文讨论在不同的数据处理需求中,新版数据加工 SPL 与旧版数据加工 DSL 的使用对照。

7,308

升级JSONB列式存储,Hologres助力淘宝搜索2022双11降本增效

升级JSONB列式存储,Hologres助力淘宝搜索2022双11降本增效。

1
...
14
15
16
...
31
到第
15/31