功能速览(先看这三块)
http://127.0.0.1:8788/#/survey
一、星体档案:把「访问安装地址」一次拿齐。输入任意 owner/repo,一张卡片返回 29 类访问地址(主页 / HTTPS / SSH / gh CLI / SVN / 短格式 git / ZIP / TAR.GZ / Raw 前缀 / README 原文 / API / Releases / Release 订阅 / Wiki / Issues / Good first issue / Pulls / Discussions / Actions / 安全通告 / 依赖图 / 贡献者 / 网络成员 / 提交活跃度 / Star 列表 / 分叉列表 / 社区健康文件 / 子模块文件 / Pages 与主页候选),外加安装与运行路径、公共包索引版本、语言构成、目录结构信号、时间线与科研可用性评分。
二、实时脉冲:两路实时数据。监视表对最多 12 个仓库定时轮询星标/分叉/Issue 并画星标轨迹;事件流用服务端推送(SSE)持续输出符合条件的最新活跃仓库,流不可用时自动降级为轮询,功能等价。
三、深空采集器:绕开 GitHub 单条件 1000 条上限。按天/周/月自动切时间窗,逐窗分页采集、本地去重、可中断可续采,结集后导出 CSV / JSONL / JSON,并在「领域快照」里做纯本机聚合(语言、许可证、星标分层、新鲜度、创建年份、活跃组织、高频 topic 与关键词),一键复制成 Markdown 表格。二、我的作品是什么
一句话说清:《开源星图观测台》是一台给学习与科研用户的「GitHub 公开仓库观测台」——打开就能检索,点开就能拿到一个仓库的全部访问与安装地址,并且能持续盯着它的变化。
它不是 GitHub 官方界面的复制,也不是又一个 awesome-list。它把科研选型需要的信息抽成可比较的字段,形成一个有节奏的工作流:巡天检索 → 点入星体档案 → 加入实时监视 → 采集器分窗拉数据 → 领域快照出统计。
六个视图各自负责一件事:
• 01 巡天检索:把 15 个表单条件编译成 GitHub 官方检索语法,24 个科研方向预设一键起跑,结果表可直接入数据集或导出。
• 02 星体档案:单仓库详细捕获,分「快速(3 项接口)」与「完整(10 项接口)」两档,完整档额外读目录树、依赖清单、README 代码块、语言构成、贡献者、Releases 等。
• 03 实时脉冲:仓库级轮询(15s/30s/60s/5min,服务端 20 秒缓存)与服务端事件流(8s/12s/20s 推送)。
• 04 深空采集器:分页采集 + 自动分窗队列,本地数据集上限 8000 条,带去重、续采与三种导出。
• 05 领域快照:仅基于本机数据集的九维聚合,不重复消耗 GitHub 配额。
• 06 使用说明:把数据口径、配额真相与字段字典写在站内,不对外夸大能力。
数据全部来自 GitHub 公开 REST API,只读元数据,不下载仓库源码、不抓 Issue 正文、不存任何用户隐私;访问令牌如果配置,只存本机且只发给 api.github.com。
二、自我介绍:
我是来自重庆人文科技学院的人工智能专业本科生。
三、为什么做
做科研选型时,一个仓库的信息是碎的:克隆地址在首页,安装命令在 README,依赖在 pyproject.toml,许可证在另一个标签页,活跃度在 graphs 页,文档站在主页字段里。要比较 20 个候选仓库,就得重复点 20 次。
更坑的是「实时」:上周看到的星标与活跃度,本周重选时已经变了,但没有任何地方能一次性把变化拉回来。而 GitHub 官方检索接口又有一个硬限制:单个条件最多返回前 1000 条——很多人以为「能拉全部」,其实拉不到。
所以我把这三件事抽成一个工具:把访问与安装地址一次拿齐、把实时变化盯住、把 1000 条上限用时间窗绕开。自己定的三条原则:不吹能力(全量采集的真相写在站内)、不假数据(每个字段都能追到 GitHub 原始接口)、不偷隐私(令牌只走浏览器直连,只存本机)。
四、怎么用(4 步)
打开页面,左侧点一个科研方向预设(例如「大模型 / LLM」对应 topic:llm stars:>=500 archived:false),或在表单里填关键词、语言、topic、组织、许可证、星标/分叉/Issue 阈值、仓库体积上限、创建与推送时间窗。多词语言会自动加引号,language:"Jupyter Notebook" 与 language:Jupyter Notebook 在 GitHub 上是两个完全不同的查询,前者才是对的。
在结果表里点任意一行的「档案」,自动跳到 02 星体档案并捕获详细信息。想比较多个仓库时先选「快速(3 项接口)」,确定要用了再切「完整(10 项接口)」。卡片底部一键完成:复制安装片段、加入监视、存入数据集、导出档案 JSON、复制 BibTeX。
在 03 实时脉冲点「开始」就开始盯盘,点「连接」就开启事件流。事件流异常时会自动降级为定时轮询并在提示里写明原因,不会默默掉线。
需要一批数据时去 04 采集器:先定条件,再选窗口维度(created / pushed)、起始日期与步长(天 / 周 / 月),点「生成窗口队列」,然后「连续跑完队列」。队列可中断可续采,完成后到 05 领域快照直接拿统计与 Markdown 表格。
想玩得更深:检索条件会写进地址栏,#/survey?topic=llm&stars_min=500 这种链接可以直接发给同学;键盘 / 聚焦检索框,g 后按数字跳视图;设置面板里可以切换数据通道(自动 / 仅服务端 / 仅浏览器直连)、填入自己的 GitHub 令牌提升配额、调整默认每页条数与动效开关。
数据通道为什么是双轨
公开站点的服务端调用用的是匿名配额(核心 60 次/小时,检索 10 次/分钟),人多就很快耗尽。所以本站把通道做成两层:优先走本站服务端(带 LRU 缓存、单飞合并、配额预检、多仓库批量 repo: 合并),服务端不可用时自动降级为浏览器直连 GitHub,用访问者自己的配额。两条通道的检索语法编译器逐字对齐,同一个表单在两边编译出的 GitHub 查询串完全一致,避免“同一个条件两种结果”。
五、最终结果
现在这套体验在本机已经完整跑通:六个视图、双轨数据通道、29 类访问地址、两路实时数据、分窗采集队列、九维本机聚合与三种导出格式全部可用。浏览器实测的真实数据包括:topic:llm stars:>=500 命中 2,129 条;huggingface/transformers 完整返回访问地址族、pip install transformers 与 git clone 安装片段、PyPI 最新版本 5.22.2(要求 Python >=3.11.0)、语言构成、目录信号(CITATION.cff / 测试目录 / Notebook / 论文相关目录)与 A+(88 分)科研可用性评分;实时脉冲拿到 169k 星标与增量;事件流 11 秒内推送 20 条新活跃仓库;采集器生成 6 个周窗口并全部跑完,新入库 10 条、去重后数据集 40 条;领域快照输出星标中位数 95k、均值 105k、Python 占比 57.5%、MIT 占比 37.5%、30 天内活跃 72.5%。
验收结果:离线自检 11/11 通过(路由、参数校验、越界路径、方法限制、注入隔离、检索语法编译、分页上限、区间限定符);联机自检 25/25 通过(真实拉档、缓存命中、批量解析、缺失仓库 404、事件流输出);浏览器控制台零报错零警告。
公开发布尚未完成,原因很具体:本站需要一个服务端数据通道(Edge Function)做缓存与配额代理,而当前订阅计划只开放静态网站部署,因此准备阶段就被服务限制拦下。这一条不影响功能完整性,只影响能不能拿到一个公开网址。升级后只需重跑准备与发布两步,代码一行不用改。