Ollama-Deep-Researcher-本地Mac结合魔搭社区模型搭建网页研究助手

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: Ollama Deep Researcher 是一款完全本地化的网络研究助手,可使用Ollama托管的任何 LLM 。输入一个主题,它将生成网络搜索查询,收集网络搜索结果(默认通过Tavily),总结网络搜索结果,反思总结以检查知识差距,生成新的搜索查询以解决差距,搜索并改进总结,循环次数由用户定义。它将为用户提供最终的 markdown 摘要,其中包含所有使用的来源。

1. Ollama-Deep-Researcher

Ollama Deep Researcher 是一款完全本地化的网络研究助手,可使用Ollama托管的任何 LLM 。输入一个主题,它将生成网络搜索查询,收集网络搜索结果(默认通过Tavily),总结网络搜索结果,反思总结以检查知识差距,生成新的搜索查询以解决差距,搜索并改进总结,循环次数由用户定义。它将为用户提供最终的 markdown 摘要,其中包含所有使用的来源。

image.png

2. 工作原理

Ollama Deep Researcher 的灵感来自IterDRAG。这种方法会将查询分解为子查询,检索每个子查询的文档,回答子查询,然后通过检索第二个子查询的文档来构建答案。在Ollama Deep Researcher,我们做类似的事情:

  • 给定用户提供的主题,使用本地 LLM(通过Ollama)生成网络搜索query
  • 使用搜索引擎(配置为DuckDuckGo、Tavily或Perplexity,本文推荐Tavily)查找相关来源
  • 使用 LLM 总结与用户提供的研究主题相关的网络搜索结果
  • 然后,利用LLM来反思总结,找出知识差距
  • LLM生成新的搜索查询来解决知识空白
  • 该过程不断重复,摘要会根据来自网络搜索的新信息不断更新
  • 运行可配置的迭代次数(见configuration标签)

3. 本地Mac最佳实践

3.1 下载ollama并准备模型

点击ollama一键下载。下载后进行启用:

ollama serve

准备需要的模型,在魔搭社区的的模型页或者ollama的模型页中选择合适的的大模型

以QWQ 32B的模型为例,使用该模型:

ollama run modelscope.cn/Qwen/QwQ-32B-GGUF


3.2 下载并配置ollama-deep-researcher

下载ollama-deep-researcher代码库 :

git clone https://github.com/langchain-ai/ollama-deep-researcher.git
cd ollama-deep-researcher


创建环境变量文件.env,配置环境变量

cp .env.example .env

将下面的内容填入.env文件,其中:

OLLAMA_MODEL:使用的模型名称,可以换成你在ollama下载好的模型

SEARCH_API:查找网页使用的浏览器名称,从duckduckgo、tavily、perplexity中选一个,duckduckgo不需要API_KEY,其余两个需要前往对应网站获取API_KEY(由于网络限制,可以先在浏览器中测试是否能打开这几个网站)

OLLAMA_BASE_URL=http://localhost:11434                
OLLAMA_MODEL=qwq        
SEARCH_API=tavily
TAVILY_API_KEY=tvly-xxxxx
PERPLEXITY_API_KEY=pplx-xxxxx  
MAX_WEB_RESEARCH_LOOPS=3
FETCH_FULL_PAGE=

本文推荐的网络搜索工具为tavily:链接

4. 使用 LangGraph 服务器开始运行

输入下面的命令开始运行:

curl -LsSf https://astral.sh/uv/install.sh | sh
uvx --refresh --from "langgraph-cli[inmem]" --with-editable . --python 3.11 langgraph dev

image.png

打开提示的本地网址127.0.0.1:2024,输入问题,开始分析吧~

5. 输出

图表的输出是一个 markdown 文件,其中包含研究摘要以及所用来源的引用。

研究期间收集的所有来源都保存到图形状态中。

可以在图形状态中对它们进行可视化,可在 LangGraph Studio 中看到:

image.png



目录
相关文章
|
人工智能 搜索推荐 API
AI赋能大学计划·大模型技术与应用实战学生训练营——华东师范大学站圆满结营
4月24日,由中国软件行业校园招聘与实习公共服务平台携手阿里魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行大模型应用实战学生训练营——华东师范大学站圆满结营。
622 2
|
移动开发 JavaScript 前端开发
HarmonyOS鸿蒙应用开发——探索原生与H5通信框架DSBridge
HarmonyOS版DSBridge是一个桥梁库,允许鸿蒙原生环境与JavaScript交互。它兼容Android和iOS的第三方DSBridge核心功能,支持同步和异步调用、命名空间API管理、进度回调及页面关闭监听等功能。主要特性包括适配鸿蒙NEXT版本、支持串行异步并发任务、兼容DSBridge 2.0与3.0版本JS脚本,并提供类形式集中管理API及自定义页面组件注册。源码仓库:HarmonyOS版 - DSBridge-HarmonyOS。安装命令为`ohpm install @hzw/ohos-dsbridge`。通过该库,开发者可以方便地在鸿蒙系统中实现原生与JS的高效交互。
1080 1
|
存储 弹性计算 固态存储
阿里云服务器租用价格参考,2核16G、4核32G、8核64G配置收费标准
阿里云服务器2核16G、4核32G、8核64G配置最新租用价格更新,2024年阿里云产品再一次降价,降价之后2核16G配置按量收费最低收费标准为0.596元/小时,按月租用标准收费标准为260.44元/1个月。4核32G配置的阿里云服务器按量收费标准最低为1.085元/小时,按月租用标准收费标准为520.88元/1个月。8核64G配置的阿里云服务器按量收费标准最低为2.17元/小时,按月租用标准收费标准为1041.77元/1个月。云服务器实例规格的地域和实例规格不同,收费标准不一样,下面是2024年阿里云服务器2核16G、4核32G、8核64G配置的最新租用收费标准。
阿里云服务器租用价格参考,2核16G、4核32G、8核64G配置收费标准
|
安全 API Python
我们用程序整理出了一份Python英语高频词汇表,拿走不谢!
需要指出的是,单词的中文释义我们使用了金山的翻译接口。但某些词汇在计算机和编程领域有特殊的含义,翻译接口未必能够给出,所以会存在一定的问题。
|
SQL 存储 OLAP
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式
880 0
|
前端开发 JavaScript API
前端的全栈之路Meteor篇(完):关于前后端分离及与各框架的对比,浅析分离之下的潜在耦合
本文探讨了Meteor.js这一全栈JavaScript框架的特点与优势,特别是在前后端分离架构中的应用。Meteor通过共享数据结构和简化全栈开发流程,实现了前后端的紧密协作。文章还对比了其他全栈框架,如Next.js、Nuxt.js等,分析了各自的优势与适用场景,最后讨论了通过定义文档归属者和用户专有数据集简化后端构建及端云数据同步的方法。
1321 0
|
存储 安全 Java
2024ide构建maven项目是总是卡在解析Maven依赖项目 加速方案
2024ide构建maven项目是总是卡在解析Maven依赖项目 加速方案
865 4
2024ide构建maven项目是总是卡在解析Maven依赖项目 加速方案
|
边缘计算 自动驾驶 5G
5G网络架构解析:从核心网到边缘计算
【10月更文挑战第24天】
1081 10
|
传感器 PyTorch 数据处理
流式数据处理:DataLoader 在实时数据流中的作用
【8月更文第29天】在许多现代应用中,数据不再是以静态文件的形式存在,而是以持续生成的流形式出现。例如,传感器数据、网络日志、社交媒体更新等都是典型的实时数据流。对于这些动态变化的数据,传统的批处理方式可能无法满足低延迟和高吞吐量的要求。因此,开发能够处理实时数据流的系统变得尤为重要。
1055 1
|
SQL 关系型数据库 API
SqlAlchemy 2.0 中文文档(二十一)(1)
SqlAlchemy 2.0 中文文档(二十一)
339 0

热门文章

最新文章