Web LLM 让你在浏览器中体验 GPT 大模型

Web LLM 将大型语言模型和基于 LLM 的聊天机器人引入 Web 浏览器。让一切都在浏览器内运行而无需服务器支持（使用 WebGPU 加速）。

这无疑产生了许多有趣的机会，这样做可以为每个人构建 AI 助手，还可以在享受 GPU 加速的同时实现隐私保护。项目相关信息如下：

• 开源地址：https://github.com/mlc-ai/web-llm^[1]
• 
  
• 支持模型：lmsys/vicuna-7b-delta-v0^[2]（微调 LLaMA，号称能达到 GPT-4 的 90%性能）
• 
  

这个项目 04-14 才开源，很多地方还没有很完善，如文档或者运行示例等，但是在浏览器中运行实在是吸引人，正好手头有一台 M1 的 MacOS，所以赶紧来体验一波。

在线体验

官网直接给了一个 Apple 芯片的 Mac 电脑本地使用的例子，步骤简单，如下：

• 下载 Chrome Canary^[3]，目的是为了体验最新版的 WebGPU 功能（也可以使用最新的 Chrome 113）
• 
  
• 安装好之后，命令行启动 - 记得启动前设置好代理，方便下载模型参数 - /Applications/Google\ Chrome\ Canary.app/Contents/MacOS/Google\ Chrome\ Canary --enable-dawn-features=disable_robustness
• 开始体验！

本地体验

这块官方也还没有说怎么本地启动运行，我是个人觉得因为是基于浏览器，所以本地运行应该就是启动一个网站。

测试也很方便，我就直接把相关源码 clone 下来，然后启动，发现果然可行，看过程如下：

git clone https://github.com/mlc-ai/web-llm
# switch branch
cd web-llm
git checkout -b gh-pages origin/gh-pages
cd docs
# start
docker run --restart always  --name docker-web-llm -p 8060:80 -d -v "`pwd`:/usr/share/nginx/html" nginx

启动浏览器：

/Applications/Google\ Chrome\ Canary.app/Contents/MacOS/Google\ Chrome\ Canary --enable-dawn-features=disable_robustness