LLM技术全景图:技术人必备的技术指南,一张图带你掌握从基础设施到AI应用的全面梳理

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: LLM技术全景图:技术人必备的技术指南,一张图带你掌握从基础设施到AI应用的全面梳理

LLM技术全景图:技术人必备的技术指南,一张图带你掌握从基础设施到AI应用的全面梳理

LLM 技术图谱(LLM Tech Map)是将 LLM 相关技术进行系统化和图形化的呈现,此图谱主要特点是“专注于技术人视角”,不求从 LLM 产业角度汇聚信息,而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。

LLM 技术图谱(LLM Tech Map)从基础设施、大模型、Agent、AI 编程、工具和平台,以及算力几个方面,为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。

核心价值:帮助技术人快速了解 LLM 的核心技术和关键方向。

1.基础设施

LLM 技术图谱(LLM Tech Map)的基础设施部分主要包括以下几个方面:

  • 向量数据库:向量数据库是专门用于存储和检索向量数据的数据库,它可以为 LLM 提供高效的存储和检索能力。
  • 数据库向量支持:传统数据库通常不支持向量数据的存储和检索,数据库向量支持可以为传统数据库添加向量数据的存储和检索能力。
  • 大模型框架、微调 (Fine Tuning):针对大模型的开发。
  • 大模型训练平台与工具

1.1向量数据库

  • Milvus
  • Pinecone
  • Weaviate
  • Chroma
  • Qdrant
  • Vespa
  • Vald
  • Faiss
  • ScaNN
  • Vearch
  • AquilaDB
  • Marqo
  • LanceDB
  • Annoy
  • NucliaDB
  • DeepLake
  • MongoDB

1.2数据库向量支持

  • pgvector
  • Redis Vector
  • Elastic
  • SingleStoreDB
  • Solr
  • OpenSearch
  • ClickHouse
  • Rockset
  • Cassandra
  • Lucene
  • Neo4j
  • Kinetica
  • Supabase
  • Timescale

1.3大模型框架、微调 (Fine Tuning)

  • OneFlow
  • LMFlow
  • LoRA
  • Alpaca-LoRA
  • PEFT
  • ChatGLM-Efficient-Tuning
  • LLaMA-Efficient-Tuning
  • P-tuning v2
  • OpenLLM
  • h2o-llmstudio
  • xTuring
  • finetuner
  • YiVal

1.4大模型训练平台与工具

  • Pytorch
  • BMtrain
  • colossalAI
  • Tensorflow
  • PaddlePaddle
  • MindSpore
  • Deepspeed
  • XGBoost
  • Transformers
  • Apache MXNet
  • Ray

2.大模型

LLM 技术图谱(LLM Tech Map)的大模型部分主要包括以下几个方面:

  • 备案上线的中国大模型:有牌照提供服务的大模型,需要注意的是大模型和相应的产品多半名称不同。
  • 知名大模型:在全球范围内,已经发布了多款知名大模型,这些大模型在各个领域都取得了突破性的进展。
  • 知名大模型应用:LLM 已经在多种应用场景中得到了应用,包括文本生成、机器翻译、问答、自然语言推理等。

2.1中国大模型

  • 文心一言
  • 云雀
  • GLM
  • 紫东太初
  • 百川
  • 日日新
  • ABAB 大模型
  • 书生通用大模型
  • 混元大模型

2.2知名大模型

  • Llama 2
  • OpenLLaMA
  • 百川
  • 通义大模型
  • 文心一言
  • StableLM
  • MOSS
  • Dolly
  • BLOOM
  • Falcon LLM
  • ChatGLM
  • PaLM 2
  • 盘古
  • GPT-4
  • Stable Diffusion
  • DALL·E 3

2.3 知名大模型应用

  • ChatGPT
  • Claude
  • Cursor
  • Mochi Diffusion
  • Midjourey
  • DragGAN
  • Bard
  • Bing

3.AI Agent(LLM Agent)

AI Agent是一种能够自主运作并完成特定任务的计算实体或程序。它能够通过传感器感知周围环境,并根据感知到的信息做出决策,然后通过执行器采取行动。LLM Agent 是指基于 LLM 技术构建的智能代理,它可以用于各种任务,比如让机器与 ChatGPT 交互,一层一层挖掘信息,自动化完成任务;比如由机器人构成的虚拟小镇。

  • 核心特点

    • 自主性:AI Agent具有独立思考和行动的能力,能够在没有人类直接指导的情况下完成任务。
    • 交互性:AI Agent能够与环境或其他Agent进行交互,这在游戏、对话系统、推荐系统等场景中尤为重要。
    • 目的性:AI Agent设计有明确的目标或意图,其行为是为了实现这些目标。
    • 适应性:AI Agent能够根据环境的变化调整自己的行为,以适应新的情境。
    • 进化性:随着技术的发展,AI Agent的功能和智能水平也在不断提升。
  • 技术特点

    • AI Agent与大模型的主要区别在于,大模型与人类之间的交互是基于prompt实现的,而AI Agent仅需给定一个目标,它就能够针对目标独立思考并做出行动。
    • AI Agent的核心驱动力是大模型,并在此基础上增加了规划(Planning)、记忆(Memory)和工具使用(Tool Use)三个关键组件。
  • 类型从工作模式来看,AI Agent可以分为以下三种类型:

    • 单Agent:侧重于执行单一任务或一系列相关任务,且不需要与其他智能体进行交互。
    • 多Agent:涉及多个智能体之间的协作和交互,以完成更复杂的任务。
    • 混合Agent(人机交互Agent):结合了人类和智能体的交互,以实现更高效的任务执行。
  • Rivet

  • JARVIS
  • MetaGPT
  • AutoGPT
  • BabyAGI
  • NexusGPT
  • Generative Agents
  • Voyager
  • GPTeam
  • GPT Researcher
  • Amazon Bedrock Agents

4.AI 编程

AI编程是指利用计算机编程语言和技术来创建、训练和优化人工智能算法的过程。它涵盖了数据的收集、清洗、转换以及算法的选择和应用。AI编程是构建未来智能系统的关键,通过模拟人类智能的能力,使计算机能够执行类似于人类的决策和任务。编程语言如Python因其强大的数据处理库和简洁的语法,成为AI编程的常用工具。

  • codeium.vim
  • Cursor
  • GitHub Copilot
  • Comate
  • StableCode
  • CodeGeeX
  • TabbyML
  • CodeArts Snap
  • Code Llama
  • CodeFuse
  • 姜子牙
  • CodeShell

5.工具和平台

LLM 技术图谱(LLM Tech Map)的工具和平台部分主要包括以下几个方面:

  • LLMOps:简单点说(大家当前在说的),就是“快速从大模型到应用”。
  • 大模型聚合平台:汇聚大模型能力,提供服务。
  • 开发工具:其它开发相关的 LLM 工具。

5.1 LLMOps

  • BentoML
  • LangChain
  • Dify.ai
  • Semantic Kernel
  • Arize-Phoenix
  • GPTCache
  • Flowise

5.2 大模型聚合平台(☆)

  • Gitee AI
  • SOTA!模型
  • 魔搭ModelScope
  • Hugging Face

5.3 开发工具

  • v0
  • txtai
  • Jina-AI
  • Deco
  • imgcook
  • Quest AI
  • CodiumAI
  • Codeium Vim
  • Project IDX
  • MakerSuite

6.算力

LLM 模型的训练和部署需要大量的算力,算力是 LLM 技术发展的关键因素。

  • 英伟达
  • 昇腾
  • AMD
  • 海光
  • 昆仑芯
  • 天数智芯
相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
5天前
|
人工智能 数据可视化 数据挖掘
LLM代理应用实战:构建Plotly数据可视化代理
构建数据可视化代理解决了LLM(大型语言模型)在理解和生成定制图表时的局限性。代理提供DataFrame信息和自定义样式工具,简化与LLM的交互。选择了Plotly而非Matplotlib,因其交互性和Web渲染能力更适合现代可视化。代理通过元数据索引了解数据集详情,并根据样式指示生成符合特定审美的图表。通过ReActAgent和Groq模型,代理能理解用户指令,生成准确的Plotly代码,从而创建定制图表,提高了数据可视化的效率和准确性。
16 1
|
1天前
|
数据采集 机器学习/深度学习 人工智能
AI在医疗诊断中的应用与挑战
【7月更文挑战第15天】随着人工智能技术的飞速发展,其在医疗领域的应用日益广泛。特别是在医疗诊断方面,AI技术展现出巨大的潜力和价值。本文将探讨AI在医疗诊断中的应用及其面临的挑战,以期为相关领域的研究和实践提供参考。
11 5
|
1天前
|
人工智能 数据处理
AI生图美学在淘宝的实践应用(1)
AI生图美学在淘宝的实践应用
|
1天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI在IT管理中的创新应用
【7月更文挑战第15天】本文探讨了人工智能(AI)如何革新传统的IT运维模式,通过智能自动化、实时分析和预测性维护,显著提高运维效率和准确性。文章将深入分析AI技术在故障检测与解决、资源优化配置以及安全监控等方面的具体应用案例,并讨论实施AI时可能遇到的挑战和解决方案。
13 2
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
智能引领未来:精准选择与高效利用AI技术的实战指南
【7月更文第14天】在当今科技飞速发展的时代,人工智能(AI)已不再局限于科幻电影的想象,而是成为了推动各行各业革新升级的核心驱动力。从自动驾驶汽车到个性化推荐系统,从医疗诊断辅助到智能制造,AI正深刻改变着我们的生活和工作方式。然而,面对琳琅满目的AI技术和工具,如何精准选择并高效利用AI,成为企业和开发者亟需解决的关键问题。本文将为您揭示这一过程中的核心策略与实践技巧,并通过一个简单的代码示例,让您直观感受AI技术的魅力。
|
3天前
|
机器学习/深度学习 人工智能 算法
未来AI技术在医疗领域的应用与挑战
随着人工智能技术的迅猛发展,其在医疗领域的应用前景广阔,但同时也面临着诸多挑战。本文探讨了AI技术在医疗中的多个关键应用,分析了其带来的潜在益处和可能的风险,以及如何在未来克服技术和伦理上的挑战。 【7月更文挑战第13天】
|
4天前
|
机器学习/深度学习 数据采集 人工智能
智能化运维:AI在系统管理中的应用与挑战
本文将深入探讨人工智能(AI)技术在运维领域的应用,分析其带来的效率提升和成本节约,同时指出实施过程中可能遇到的技术和管理挑战。文章还将提供针对这些挑战的应对策略,以期为运维专业人士提供指导和参考。
|
1天前
|
人工智能 监控 搜索推荐
智能增强:AI技术在教育领域的革新之路
【7月更文挑战第15天】随着人工智能(AI)技术的飞速发展,其在教育领域的应用已逐步深入,从个性化学习计划到智能评估系统,AI正在重塑传统的教学模式。本文将探讨AI如何通过智能教学辅助、学习数据分析和自适应学习平台等方面,为教育领域带来革命性的变化,同时也会讨论这些技术发展所面临的挑战与未来趋势。
|
8天前
|
机器学习/深度学习 人工智能 自动驾驶
「AIGC」Agent AI智能体的未来:技术、伦理与经济的交汇点
Agent AI智能体融合机器学习与深度学习,推动社会效率与创新,但也引发伦理、法律及就业挑战。技术上,它们能自我优化、积累知识,如自动驾驶汽车通过学习改善驾驶。伦理上,需建立AI准则,确保透明度和责任归属,如医疗AI遵循道德原则。经济上,AI改变就业市场结构,创造新职业,如AI顾问,同时要求教育体系更新。未来,平衡技术进步与社会影响至关重要。
34 0
|
8天前
|
存储 机器学习/深度学习 人工智能
AI Agent技术的最新进展与改变世界的典型项目巡礼
【7月更文挑战第3天】 AI Agent技术的最新进展与改变世界的典型项目巡礼
 AI Agent技术的最新进展与改变世界的典型项目巡礼

热门文章

最新文章