在 AI 与云原生融合的趋势下,开发者面临模型协同与云端扩展的挑战。MCP(模型上下文协议)提供统一的交互规范,简化模型集成与服务开发。Function AI 支持 MCP 代码一键上云,提供绑定代码仓库、OSS 上传、本地交付物部署及镜像部署等多种构建方式,助力开发者高效部署智能服务,实现快速迭代与云端协同。
基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
提起CDN,大家想到的字眼可能是缓存、转发、调度,用来提升终端用户体验、保护源站IP、降低源站流量风险,同时可以将源站的应用功能卸载到边缘,进一步释放边缘算力满足业务需求。DCDN脱胎于CDN,面向动态元素,通过智能路由、协议优化、压缩传输等手段,将转发场景的性能提到极限,广泛应用于电商、游戏、政企等行业。在互联网蓬勃发展,传统企业寻求数字化转型机会的今天,DCDN作为流量的入口,搭配灵活易扩展的“高级条件”及“EdgeScript”,可以通过流量转发这一技术手段,实现客户上云的“安全灰度”。
LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写,由UIUC联合LMFlow团队于近期提出的一项LLM微调技术,可实现把全参训练的显存使用降低到之前的三分之一左右,而使用的技术方法却是非常简单。
本文主要介绍了阿里云OpenSearch在Text-to-SQL任务中的最新进展和技术细节。
ADB MySQL的Compaction Service功能通过将Compaction任务从存储节点解耦至独立的弹性资源池执行,解决了资源隔离性弱、并发度低等问题,实现了资源消耗降低50%,任务执行时间平均减少40%,并支持按量付费,提升了系统的稳定性和成本效益。
推理性能的提升涉及底层硬件、模型层,以及其他各个软件中间件层的相互协同,因此了解大模型技术架构的全局视角,有助于我们对推理性能的优化方案进行评估和选型。