如何做到一站检索前沿主流 AIGC / GPT 文章?定时任务抓取文章!

简介: 如何做到一站检索前沿主流 AIGC / GPT 文章?定时任务抓取文章!

前言

大家好,我是 「周三不Coding」。今天给大家分享一下我最近上线的一个网站(已成功运营一坤天!)。

预览地址:www.gpt-rss.com/

备用地址:gpt-rss.vercel.app/

Github 地址:github.com/ltyzzzxxx/g…

该网站通过定时任务,抓取各大与 AIGC / GPT / LLM 相关的公众号、订阅号、技术网站的最新文章,并聚集汇合到网站中,方便进行集中的阅读与检索。

项目概览图

image.png

项目核心功能介绍

  • 支持每日定时从各大公众号中拉取文章,并写入到服务器文件中
  • 网页端支持搜索、筛选功能,检索历史文章
  • 支持 PC 端 / 移动端适配
  • 前端使用 Vue3 + Vite4 + TypeScript 进行改写,均为最新版本

项目技术栈

前端

前端
Vue 3
Vite4 快速构建
Vant UI 组件库
TypeScript 类型控制
Eslint 代码规范控制
Prettier 美化代码
dayjs 时间处理

后端

后端
Node.js
simple-git 操作 Git
later 定时任务
async 执行异步抓取文章任务
fs-extra 执行读取与写入文件操作


项目核心功能介绍

  • 支持每日定时从各大公众号中拉取文章,并写入到服务器文件中
  • 网页端支持搜索、筛选功能,检索历史文章
  • 支持 PC 端 / 移动端适配
  • 前端使用 Vue3 + Vite4 + TypeScript 进行改写,均为最新版本

项目技术栈

前端

前端
Vue 3
Vite4 快速构建
Vant UI 组件库
TypeScript 类型控制
Eslint 代码规范控制
Prettier 美化代码
dayjs 时间处理

后端

后端
Node.js
simple-git 操作 Git
later 定时任务
async 执行异步抓取文章任务
fs-extra 执行读取与写入文件操作

项目核心流程

如下即为后端定时任务核心流程:

image.png

  1. 启动定时任务
  2. 定时任务触发,根据已定义好的 RSS 源,执行抓取文章操作
  3. 将抓取文章标题、链接、作者、日期等信息写入本地文件中
  4. 根据 README 等模板,更新 README 等文件,并提交到代码仓库
  • README:记录文章更新条数、时间等
  • TAGS:根据标签信息记录文章信息
  • CATEGORIES:根据文章来源记录文章信息

项目部署

  • 前端:Vercel 网站托管服务,一键部署免运维
  • 后端:部署到云服务器,并通过 pm2 运行定时任务,可支持查询日志、监控性能

总结

这就是项目的大概情况啦,大家有兴趣的可以点击去看看。

此外,如果你有高质量的 GPT 相关的公众号、订阅号推荐,请提出 Issue,我会及时进行更新,感谢分享!

相关文章
|
1月前
|
人工智能 自然语言处理 Linux
|
3月前
|
人工智能 数据处理 区块链
AIGC抓取网络数据进行模型训练是否合法?
AIGC抓取网络数据进行模型训练是否合法?
148 1
AIGC抓取网络数据进行模型训练是否合法?
|
6月前
|
数据采集 人工智能 监控
【网安AIGC专题11.1】论文13:理解和解释代码,GPT-3大型语言模型&学生创建的代码解释比较+错误代码的解释(是否可以发现并改正)
【网安AIGC专题11.1】论文13:理解和解释代码,GPT-3大型语言模型&学生创建的代码解释比较+错误代码的解释(是否可以发现并改正)
90 0
|
6月前
|
机器学习/深度学习 自然语言处理 安全
【网安AIGC专题10.11】论文1:生成式模型GPT\CodeX填充式模型CodeT5\INCODER+大模型自动程序修复(生成整个修复函数、修复代码填充、单行代码生产、生成的修复代码排序和过滤)
【网安AIGC专题10.11】论文1:生成式模型GPT\CodeX填充式模型CodeT5\INCODER+大模型自动程序修复(生成整个修复函数、修复代码填充、单行代码生产、生成的修复代码排序和过滤)
100 0
|
11月前
|
弹性计算 JSON 自然语言处理
【玩转AIGC系列】使用Megatron-Deepspeed训练GPT-2并生成文本
本文介绍如何使用GPU云服务器,使用Megatron-Deepspeed框架训练GPT-2模型并生成文本。
【玩转AIGC系列】使用Megatron-Deepspeed训练GPT-2并生成文本
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(LLM、AGI和AIGC都是什么)(一)
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(LLM、AGI和AIGC都是什么)
52 0
|
1天前
|
机器学习/深度学习 人工智能 自然语言处理
【活动】AIGC 技术的发展现状与未来趋势
AIGC技术现正快速发展,涉及文本、图像、音频和视频生成。GPT-3等模型已能生成连贯文本,GANs创造高质量图像,WaveNet合成逼真音频。尽管面临质量控制、原创性、可解释性和安全性的挑战,未来趋势将聚焦更高生成质量、多模态内容、个性化定制、增强可解释性和透明度,以及关注安全性和伦理问题。AIGC将在多领域创造更多可能性。
17 3
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
【AIGC】文档智能助手技术解决方案报告
【4月更文挑战第14天】智能文档处理助手技术解决方案报告整理输出
|
3天前
|
人工智能 搜索推荐 UED
如何评价AIGC技术的社会需求和市场环境?
【4月更文挑战第30天】如何评价AIGC技术的社会需求和市场环境?
8 0
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
AIGC技术是什么?
【4月更文挑战第30天】AIGC技术是什么?
11 0