Ollama-Deep-Researcher-本地Mac结合魔搭社区模型搭建网页研究助手

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: Ollama Deep Researcher 是一款完全本地化的网络研究助手,可使用Ollama托管的任何 LLM 。输入一个主题,它将生成网络搜索查询,收集网络搜索结果(默认通过Tavily),总结网络搜索结果,反思总结以检查知识差距,生成新的搜索查询以解决差距,搜索并改进总结,循环次数由用户定义。它将为用户提供最终的 markdown 摘要,其中包含所有使用的来源。

01.Ollama-Deep-Researcher

Ollama Deep Researcher 是一款完全本地化的网络研究助手,可使用Ollama托管的任何 LLM 。输入一个主题,它将生成网络搜索查询,收集网络搜索结果(默认通过Tavily),总结网络搜索结果,反思总结以检查知识差距,生成新的搜索查询以解决差距,搜索并改进总结,循环次数由用户定义。它将为用户提供最终的 markdown 摘要,其中包含所有使用的来源。

image.png

02.工作原理

Ollama Deep Researcher 的灵感来自IterDRAG。这种方法会将查询分解为子查询,检索每个子查询的文档,回答子查询,然后通过检索第二个子查询的文档来构建答案。在Ollama Deep Researcher,我们做类似的事情:

  • 给定用户提供的主题,使用本地 LLM(通过Ollama)生成网络搜索query
  • 使用搜索引擎(配置为DuckDuckGo、Tavily或Perplexity,本文推荐Tavily)查找相关来源
  • 使用 LLM 总结与用户提供的研究主题相关的网络搜索结果
  • 然后,利用LLM来反思总结,找出知识差距
  • LLM生成新的搜索查询来解决知识空白
  • 该过程不断重复,摘要会根据来自网络搜索的新信息不断更新
  • 运行可配置的迭代次数(见configuration标签)

03.本地Mac最佳实践

下载ollama并准备模型

点击ollama一键下载。下载后进行启用:

ollama serve

准备需要的模型,在魔搭社区的的模型页(https://modelscope.cn/models?name=gguf&page=1)或者ollama的模型页(https://ollama.com/search)中选择合适的的大模型

以QWQ 32B的模型为例,使用该模型:

ollama run modelscope.cn/Qwen/QwQ-32B-GGUF

下载并配置ollama-deep-researcher

下载ollama-deep-researcher代码库 :

git clone https://github.com/langchain-ai/ollama-deep-researcher.git
cd ollama-deep-researcher

创建环境变量文件.env,配置环境变量

cp .env.example .env

将下面的内容填入.env文件,其中:

OLLAMA_MODEL:使用的模型名称,可以换成你在ollama下载好的模型

SEARCH_API:查找网页使用的浏览器名称,从duckduckgo、tavily、perplexity中选一个,duckduckgo不需要API_KEY,其余两个需要前往对应网站获取API_KEY(由于网络限制,可以先在浏览器中测试是否能打开这几个网站)

OLLAMA_BASE_URL=http://localhost:11434                
OLLAMA_MODEL=qwq        
SEARCH_API=tavily
TAVILY_API_KEY=tvly-xxxxx
PERPLEXITY_API_KEY=pplx-xxxxx  
MAX_WEB_RESEARCH_LOOPS=3
FETCH_FULL_PAGE=

本文推荐的网络搜索工具为tavily:https://tavily.com/

04.使用 LangGraph 服务器开始运行

输入下面的命令开始运行:

curl -LsSf https://astral.sh/uv/install.sh | sh
uvx --refresh --from "langgraph-cli[inmem]" --with-editable . --python 3.11 langgraph dev

image.png

打开提示的本地网址127.0.0.1:2024,输入问题,开始分析吧~

05.输出

图表的输出是一个 markdown 文件,其中包含研究摘要以及所用来源的引用。

研究期间收集的所有来源都保存到图形状态中。

可以在图形状态中对它们进行可视化,可在 LangGraph Studio 中看到:

image.png

目录
打赏
0
1
1
0
253
分享
相关文章
VScode的注释和标题,标签,img的src属性(如何网页上插入图片)(Mac如何开启js控制台)(如何免费复制网页中的文字)
VScode的注释和标题,标签,img的src属性(如何网页上插入图片)(Mac如何开启js控制台)(如何免费复制网页中的文字)
|
12月前
|
苹果加入开源大战,官宣端侧小模型OpenELM!参数2.7亿到30亿一台M2 Mac可跑
【5月更文挑战第10天】苹果开源高效语言模型OpenELM,采用层级缩放策略,参数量2.7亿至30亿,可在M2 Mac上运行。相比OLMo,OpenELM在10亿参数下精度提升2.36%,只需一半预训练标记。苹果提供了完整的训练、评估框架及设备推理代码,促进开放研究,源代码和模型可在项目网站及HuggingFace找到。然而,OpenELM尚处早期阶段,性能有待验证,且苹果保留知识产权。论文链接:https://arxiv.org/abs/2404.14619
178 5
Mac 数据库模型建模工具PDMan(PowerDesigner替代品)
Mac 数据库模型建模工具PDMan(PowerDesigner替代品)
1232 1
MAC使用Charles,代理后,部分网页无法打开解决方法
关闭charles,重新打开,可正常访问日常网站。访问时,提示:您的连接不是私密连接,多半是因为,MAC系统未安装charles证书导致,解决方法如下: 1. 打开Charles,选择Help->SSL Proxy→Install Charles Root Certificate 2. 在弹出的添加证书窗口中,选择添加,可以看到在钥匙串访问窗口中,该证书已成功添加,但是此时该证书仍然不被信任 3.双击此证书,在弹出的Charles Proxy CA窗口中,点击信任按钮,使用此证书时,选择始终信任后关闭窗口,使用账号和密码授权后,即可看到此证书已经被信任了。。。
5880 0
MAC使用Charles,代理后,部分网页无法打开解决方法
哪一个权限控制模型呢?(DAC|MAC|RBAC|RuBAC|ABAC)
哪一个权限控制模型呢?(DAC|MAC|RBAC|RuBAC|ABAC) 前言 最近想给自己的小程序的GPT调用接口增加一个权限控制,比如可以是这类策略:普通用户智能免费调用10次该接口,然后用户可以购买VIP会员,然后就可以无限次调用该接口。 社区中听得最多的权限控制模型就是RBAC,比如Nest的官方文档中介绍权限控制的章节就是以该模型为例。
826 0
Mac 打开safari浏览器直接卡死解决方法,解决Safari浏览器访问网页卡死重新再打开浏览器还是卡死实例演示
Mac 打开safari浏览器直接卡死解决方法,解决Safari浏览器访问网页卡死重新再打开浏览器还是卡死实例演示
2422 0
Mac 打开safari浏览器直接卡死解决方法,解决Safari浏览器访问网页卡死重新再打开浏览器还是卡死实例演示
【权限系统设计】ACL, DAC, MAC, RBAC, ABAC模型的不同应用场景
【权限系统设计】ACL, DAC, MAC, RBAC, ABAC模型的不同应用场景
1172 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等