SearXNG与LLM强强联合:打造用户隐私保护的智能搜索解答流程,隐私无忧,搜索无忧

简介: 【8月更文挑战第9天】SearXNG与LLM强强联合:打造用户隐私保护的智能搜索解答流程,隐私无忧,搜索无忧

SearXNG与LLM强强联合:打造用户隐私保护的智能搜索解答流程,隐私无忧,搜索无忧

SearXNG 是一个免费的互联网元搜索引擎,整合了各种搜索服务的结果。用户不会被跟踪,也不会被分析。

  • 功能特性
    • 自托管,可以私有化部署
    • 没有用户跟踪/没有分析
    • 可以自定义设置脚本和 cookies
    • 安全加密的连接
    • 轻松整合了近200个搜索引擎,用户可自定义选择不同的引擎
    • 多语言支持,约 60 个,包含中文、英文等
    • 提供近 100 个维护良好的公共查询实例
  • 安全保护
    无论实例类型如何(私有、公共),SearXNG 都以多种方式保护用户的隐私。从搜索请求中删除私人数据有以下三种形式:

    • 从发送至搜索服务的请求中删除私人数据

    • 不通过搜索服务转发来自第三方服务的任何内容(例如广告)

    • 从进入结果页面的请求中删除私有数据

      删除私人数据意味着不向外部搜索引擎发送 cookie 并为每个请求生成随机浏览器配置文件。因此,公共实例还是私有实例处理请求并不重要,因为在这两种情况下它都是匿名的。IP 地址将是实例的 IP。但 SearXNG 可以配置为使用代理或 Tor, 也支持结果代理。

      与大多数搜索服务不同,SearXNG 不提供广告或跟踪内容。因此,私人数据不会被转发给可能利用其获利的第三方。除了保护用户免受搜索服务的影响之外,引用页面和搜索查询都对访问的结果页面隐藏。

1. docker镜像安装

2. 安装SearXNG

2.1 快速安装

#克隆项目
git clone https://github.com/searxng/searxng.git
cd searxng

#安装依赖
make install

#启动.
make run

可以通过浏览器访问 http://127.0.0.1:8888 来使用 SearXNG

2.2 docker cli

#新建文件夹 searxng 和 子目录
mkdir -p /www/algorithm/searxng

#进入 searxng 目录
cd /www/algorithm/searxng

#运行容器
docker run -d \
  --name searxng \
  --cap-drop ALL \
  --cap-add CHOWN \
  --cap-add SETGID \
  --cap-add SETUID \
  --log-driver json-file \
  --log-opt max-size=1m \
  --log-opt max-file=1 \
  -p 9380:8080 \
  -v $(pwd)/data:/etc/searxng:rw \
  searxng/searxng:latest

更多设置参考官网:

  • 修改 settings.yml
    当安装 SearXNG 时,默认的输出格式是 HTML 格式。您需要激活 JSON 格式。请将以下行添加到 settings.yml 文件中。如前面的示例所示,settings.yml 文件位于 ${PWD}/searxng/settings.yml
  #remove format to deny access, use lower case.
  #formats: [html, csv, json, rss]
  formats:
    - html
    - json    # <-- 添加这一行

2.3 docker compose 安装

可以用 docker-compose 安装,将下面的内容保存为 docker-compose.yml 文件,用转化工具可以很方便生成配置文件

version: '3.7'

services:
  searxng:
    image: searxng/searxng:latest
    container_name: searxng
    ports:
      - 9380:8080
    volumes:
      - ./data:/etc/searxng:rw
    cap_drop:
      - ALL
    cap_add:
      - CHOWN
      - SETGID
      - SETUID
    logging:
      driver: 'json-file'
      options:
        max-size: '1m'
        max-file: '1'

然后执行下面的命令

#新建文件夹 searxng 和 子目录
mkdir  searxng

#进入 searxng 目录
cd searxng

#将docker-compose.yml 放入当前目录

#一键启动
docker compose up -d

先进 首选项 进行设置,任何更改都需要 保存 才能生效

  • 关闭docker
docker ps
#在宿主机的终端中,运行以下命令来停止容器:
docker stop [容器名/容器id]
#如果 docker stop 命令不起作用,可以使用 docker kill 命令来强制退出容器
docker kill [容器名/容器id]
  • 修改一下端口号
version: '3.7'

services:
    searxng:
        ports:
            - 9380:9380
        volumes:
            - ${
   
   PWD}/searxng:/etc/searxng
        environment:
            - BASE_URL=http://0.0.0.0:9380/
            - INSTANCE_NAME=searxng
        image: searxng/searxng

3.结合LLM使用

  • 正常使用

效果一般,还需要再加点其他搜索引擎源,好处是没有广告了

3.1 FreeAskInternet

第一步、用户提出问题
第二步、用 SearXNG(本地运行)在多个搜索引擎上进行搜索
第三步、将搜索结果传入 LLM 生成答案

相关项目参考:

3.2 结合dify

目前用的是tavily 同理searxng也是同理

相关文章
|
3月前
|
人工智能 PyTorch 算法框架/工具
Xinference实战指南:全面解析LLM大模型部署流程,携手Dify打造高效AI应用实践案例,加速AI项目落地进程
【8月更文挑战第6天】Xinference实战指南:全面解析LLM大模型部署流程,携手Dify打造高效AI应用实践案例,加速AI项目落地进程
Xinference实战指南:全面解析LLM大模型部署流程,携手Dify打造高效AI应用实践案例,加速AI项目落地进程
|
3月前
|
Linux API 开发工具
LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
【8月更文挑战第5天】LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
|
5月前
|
弹性计算 人工智能 JSON
一键云部署:资源编排 ROS 轻松部署 LLM 流程编排服务 Flowise
Flowise 是一个开源低代码平台,用于构建定制化的 LLM 流程和 AI 代理。阿里云的 Resource Orchestration Service (ROS) 提供了一键部署 Flowise 到 ECS 实例的方案。用户只需在 ROS 控制台配置模板参数,如可用区和实例类型,即可完成部署。部署后,从资源栈输出获取 Flowise 服务地址以开始使用。ROS 模板定义了 VPC、ECS 实例等资源,并通过 ROS 自动化部署,简化了云上资源和应用的管理。
229 1
一键云部署:资源编排 ROS 轻松部署 LLM 流程编排服务 Flowise
|
30天前
|
前端开发 机器人 API
前端大模型入门(一):用 js+langchain 构建基于 LLM 的应用
本文介绍了大语言模型(LLM)的HTTP API流式调用机制及其在前端的实现方法。通过流式调用,服务器可以逐步发送生成的文本内容,前端则实时处理并展示这些数据块,从而提升用户体验和实时性。文章详细讲解了如何使用`fetch`发起流式请求、处理响应流数据、逐步更新界面、处理中断和错误,以及优化用户交互。流式调用特别适用于聊天机器人、搜索建议等应用场景,能够显著减少用户的等待时间,增强交互性。
229 2
|
24天前
|
机器学习/深度学习 人工智能 运维
企业内训|LLM大模型在服务器和IT网络运维中的应用-某日企IT运维部门
本课程是为某在华日资企业集团的IT运维部门专门定制开发的企业培训课程,本课程旨在深入探讨大型语言模型(LLM)在服务器及IT网络运维中的应用,结合当前技术趋势与行业需求,帮助学员掌握LLM如何为运维工作赋能。通过系统的理论讲解与实践操作,学员将了解LLM的基本知识、模型架构及其在实际运维场景中的应用,如日志分析、故障诊断、网络安全与性能优化等。
54 2
|
28天前
|
机器学习/深度学习 数据采集 人工智能
文档智能 & RAG 让AI大模型更懂业务 —— 阿里云LLM知识库解决方案评测
随着数字化转型的深入,企业对文档管理和知识提取的需求日益增长。阿里云推出的文档智能 & RAG(Retrieval-Augmented Generation)解决方案,通过高效的内容清洗、向量化处理、精准的问答召回和灵活的Prompt设计,帮助企业构建强大的LLM知识库,显著提升企业级文档管理的效率和准确性。
|
7天前
|
自然语言处理 开发者
多模态大模型LLM、MLLM性能评估方法
针对多模态大模型(LLM)和多语言大模型(MLLM)的性能评估,本文介绍了多种关键方法和标准,包括模态融合率(MIR)、多模态大语言模型综合评估基准(MME)、CheckList评估方法、多模态增益(MG)和多模态泄露(ML),以及LLaVA Bench。这些方法为评估模型的多模态和多语言能力提供了全面的框架,有助于研究者和开发者优化和改进模型。
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
大模型强崩溃!Meta新作:合成数据有剧毒,1%即成LLM杀手
在人工智能领域,大型语言模型(LLMs)的快速发展令人瞩目,但递归生成数据可能导致“模型崩溃”。Meta的研究揭示,模型在训练过程中会逐渐遗忘低概率事件,导致数据分布偏差。即使少量合成数据(如1%)也会显著影响模型性能,最终导致崩溃。研究强调保留原始数据的重要性,并提出社区合作和技术手段来区分合成数据和真实数据。论文地址:https://www.nature.com/articles/s41586-024-07566-y
23 2
|
11天前
|
人工智能 自然语言处理 算法
政务培训|LLM大模型在政府/公共卫生系统的应用
本课程是TsingtaoAI公司面向某卫生统计部门的政府职员设计的大模型技术应用课程,旨在系统讲解大语言模型(LLM)的前沿应用及其在政府业务中的实践落地。课程涵盖从LLM基础知识到智能化办公、数据处理、报告生成、智能问答系统构建等多个模块,全面解析大模型在卫生统计数据分析、报告撰写和决策支持等环节中的赋能价值。
34 2
|
30天前
|
人工智能 自然语言处理 运维
前端大模型应用笔记(一):两个指令反过来说大模型就理解不了啦?或许该让第三者插足啦 -通过引入中间LLM预处理用户输入以提高多任务处理能力
本文探讨了在多任务处理场景下,自然语言指令解析的困境及解决方案。通过增加一个LLM解析层,将复杂的指令拆解为多个明确的步骤,明确操作类型与对象识别,处理任务依赖关系,并将自然语言转化为具体的工具命令,从而提高指令解析的准确性和执行效率。

热门文章

最新文章