2024-05-15
391

Multi-Agent实践第6期:面向智能体编程:狼人杀在AgentScope

本期文章,我们会介绍一下AgentScope的一个设计哲学(Agent-oriented programming)

2024-05-15
369

人人都是AI大师 - Prompt工程

prompt工程不需要复杂的编程知识,人人都可以使用prompt工程成为AI大师。本文只探讨prompt工程,不涉及模型训练等内容。只讨论文本生成,不涉及图像等领域。

369
2024-05-15
211

PolarDB-X用15M内存跑1G的TPCH

在数据时代,过多耗内存的大查询都有可能压垮整个集群,所以其内存管理模块在整个系统中扮演着非常重要的角色。而PolarDB-X 作为一款分布式数据库,其面对的数据可能从TB到GB字节不等,同时又要支持TP和AP Workload,要是在计算过程中内存使用不当,不仅会造成TP和AP相互影响,严重拖慢响应时间,甚至会出现内存雪崩、OOM问题,导致数据库服务不可用。CPU和MEMORY相对于网络带宽比较昂贵,所以PolarDB-X 代价模型中,一般不会将涉及到大量数据又比较耗内存的计算下推到存储DN,DN层一般不会有比较耗内存的计算。这样还有一个好处,当查询性能低的时候,无状态的CN节点做弹性扩容代价相对于DN也低。鉴于此,所以本文主要对PolarDB-X计算层的内存管理进行分析,这有助于大家有PolarDB-X有更深入的理解。

211
2023-05-29
5376

AnalyticDB(ADB)+LLM,构建AIGC时代下企业专属Chatbot

如何基于向量数据库+LLM(大语言模型),打造更懂你的企业专属Chatbot。

2024-05-15
84188

PolarDB-X最佳实践:如何设计一张订单表

本文主要内容是如何使用全局索引与CO_HASH分区算法(CO_HASH),实现高效的多维度查询。

84,188
2024-05-15
141

元象开源首个MoE大模型:4.2B激活参数,效果堪比13B模型,魔搭社区最佳实践来了

近日,元象发布其首个Moe大模型 XVERSE-MoE-A4.2B, 采用混合专家模型架构 (Mixture of Experts),激活参数4.2B,效果即可媲美13B模型。该模型全开源,无条件免费商用,支持中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用,推动低成本部署。

2024-05-15
147

跟着iLogtail学习无锁化编程

锁是解决这些问题的传统方法,而无锁化编程是一种更高级但复杂的技术,它能够在某些情况下提供更优的性能和可扩展性。正确选择和实现适合应用场景的并发策略,是高效多线程编程的关键。本文由作者带着大家一起学习无锁化编程。

147
2024-05-15
367

vLLM部署Yuan2.0:高吞吐、更便捷

vLLM是UC Berkeley开源的大语言模型高速推理框架,其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等,一方面可以提升Yuan2.0模型推理部署时的内存使用效率,另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

1
...
9
10
11
...
29
到第
10/29