如何做到一站检索前沿主流 AIGC / GPT 文章?定时任务抓取文章!

简介: 如何做到一站检索前沿主流 AIGC / GPT 文章?定时任务抓取文章!

前言

大家好,我是 「周三不Coding」。今天给大家分享一下我最近上线的一个网站(已成功运营一坤天!)。

预览地址:www.gpt-rss.com/

备用地址:gpt-rss.vercel.app/

Github 地址:github.com/ltyzzzxxx/g…

该网站通过定时任务,抓取各大与 AIGC / GPT / LLM 相关的公众号、订阅号、技术网站的最新文章,并聚集汇合到网站中,方便进行集中的阅读与检索。

项目概览图

image.png

项目核心功能介绍

  • 支持每日定时从各大公众号中拉取文章,并写入到服务器文件中
  • 网页端支持搜索、筛选功能,检索历史文章
  • 支持 PC 端 / 移动端适配
  • 前端使用 Vue3 + Vite4 + TypeScript 进行改写,均为最新版本

项目技术栈

前端

前端
Vue 3
Vite4 快速构建
Vant UI 组件库
TypeScript 类型控制
Eslint 代码规范控制
Prettier 美化代码
dayjs 时间处理

后端

后端
Node.js
simple-git 操作 Git
later 定时任务
async 执行异步抓取文章任务
fs-extra 执行读取与写入文件操作


项目核心功能介绍

  • 支持每日定时从各大公众号中拉取文章,并写入到服务器文件中
  • 网页端支持搜索、筛选功能,检索历史文章
  • 支持 PC 端 / 移动端适配
  • 前端使用 Vue3 + Vite4 + TypeScript 进行改写,均为最新版本

项目技术栈

前端

前端
Vue 3
Vite4 快速构建
Vant UI 组件库
TypeScript 类型控制
Eslint 代码规范控制
Prettier 美化代码
dayjs 时间处理

后端

后端
Node.js
simple-git 操作 Git
later 定时任务
async 执行异步抓取文章任务
fs-extra 执行读取与写入文件操作

项目核心流程

如下即为后端定时任务核心流程:

image.png

  1. 启动定时任务
  2. 定时任务触发,根据已定义好的 RSS 源,执行抓取文章操作
  3. 将抓取文章标题、链接、作者、日期等信息写入本地文件中
  4. 根据 README 等模板,更新 README 等文件,并提交到代码仓库
  • README:记录文章更新条数、时间等
  • TAGS:根据标签信息记录文章信息
  • CATEGORIES:根据文章来源记录文章信息

项目部署

  • 前端:Vercel 网站托管服务,一键部署免运维
  • 后端:部署到云服务器,并通过 pm2 运行定时任务,可支持查询日志、监控性能

总结

这就是项目的大概情况啦,大家有兴趣的可以点击去看看。

此外,如果你有高质量的 GPT 相关的公众号、订阅号推荐,请提出 Issue,我会及时进行更新,感谢分享!

相关文章
|
6月前
|
人工智能 自然语言处理 Linux
|
4月前
|
数据采集 自然语言处理 算法
AIGC使用问题之GPT-3的数据集是如何构建的
AIGC使用问题之GPT-3的数据集是如何构建的
|
4月前
|
自然语言处理
AIGC使用问题之GPT-1如何优化目标函数,如何做模型微调
AIGC使用问题之GPT-1如何优化目标函数,如何做模型微调
|
4月前
|
机器学习/深度学习 人工智能 算法
AIGC使用问题之GPT-4相比ChatGPT有哪些升级
AIGC使用问题之GPT-4相比ChatGPT有哪些升级
|
5月前
|
人工智能 自然语言处理 算法
【AIGC】GPT-4o技术分析-浅谈
【AIGC】GPT-4o技术分析-浅谈
131 6
|
6月前
|
数据采集 存储 人工智能
【Python+微信】【企业微信开发入坑指北】4. 企业微信接入GPT,只需一个URL,自动获取文章总结
【Python+微信】【企业微信开发入坑指北】4. 企业微信接入GPT,只需一个URL,自动获取文章总结
146 0
|
6月前
|
人工智能 数据处理 区块链
AIGC抓取网络数据进行模型训练是否合法?
AIGC抓取网络数据进行模型训练是否合法?
222 1
AIGC抓取网络数据进行模型训练是否合法?
|
6月前
|
人工智能 算法
GPT商店上线,AIGC创业还有哪些机会?
【1月更文挑战第16天】GPT商店上线,AIGC创业还有哪些机会?
83 4
GPT商店上线,AIGC创业还有哪些机会?
|
6月前
|
自然语言处理 安全 网络安全
22LLMSecEval数据集及其在评估大模型代码安全中的应用:GPT3和Codex根据LLMSecEval的提示生成代码和代码补全,CodeQL进行安全评估【网安AIGC专题11.22】
22LLMSecEval数据集及其在评估大模型代码安全中的应用:GPT3和Codex根据LLMSecEval的提示生成代码和代码补全,CodeQL进行安全评估【网安AIGC专题11.22】
200 0
|
数据采集 人工智能 监控
【网安AIGC专题11.1】论文13:理解和解释代码,GPT-3大型语言模型&学生创建的代码解释比较+错误代码的解释(是否可以发现并改正)
【网安AIGC专题11.1】论文13:理解和解释代码,GPT-3大型语言模型&学生创建的代码解释比较+错误代码的解释(是否可以发现并改正)
145 0