自建邮件收集服务的设计与实现:多账号统一收件、去重与 Web 展示
一、需求从哪里来
注册的服务多了,邮箱也跟着多:每个邮箱都可能收到验证码、账单、安全提醒和到期通知。逐个登录查看既费时间,又容易漏掉重要邮件——尤其是验证码,晚几分钟就过期了。于是我给自己做了一个小服务:把多个邮箱的邮件自动汇集到一个地方,统一搜索、统一展示,验证码类邮件一眼就能找到。本文分享整体设计和几个关键实现点,技术栈以 Python + SQLite + 一个轻量 Web 前端为例,部署在一台小规格云服务器上即可。
二、整体架构
服务拆成三个互相独立的部分:1)采集器:定时通过 IMAP 拉取各账号的新邮件,解析后写入数据库;2)存储层:SQLite 单文件数据库,保存邮件元信息、正文和附件索引;3)展示层:提供列表、搜索和详情页,只读访问数据库。采集和展示解耦的好处很实际:采集器挂了,历史邮件照样能看;前端改版,也不用动采集逻辑。两者只通过数据库表结构约定接口。
三、增量拉取:只取新邮件
IMAP 提供 UID 机制:每封邮件在文件夹内有一个单调递增的唯一编号。采集器为每个账号保存 last_uid,每次只拉取 UID 大于它的邮件。核心代码:用 imaplib.IMAP4_SSL(host, 993) 登录,conn.select("INBOX", readonly=True) 只读打开收件箱,conn.uid("search", None, f"UID {last_uid + 1}:*") 搜索新邮件,再逐封 conn.uid("fetch", uid, "(RFC822)") 取原文。两个细节:只读模式避免把邮件误标已读;last_uid 必须在整批邮件全部成功入库之后才更新,中途失败下次重拉即可,靠去重保证不重复。
四、去重:Message-ID 是主键的好朋友
邮件头里的 Message-ID 是发件方生成的全局唯一标识,适合做去重键。建表时给 message_id 加 UNIQUE 约束,同时给 (account, uid) 加联合唯一约束,写入用 INSERT OR IGNORE,重复邮件会被静默跳过。表结构包含 id、account、uid、message_id、subject、sender、received_at、body_text、body_html 等字段。少数没有 Message-ID 的老邮件,用 (account, uid) 约束兜底,两个约束叠加基本杜绝重复。
五、邮件解析的注意点
用标准库 email 解析时最容易踩编码问题:主题和发件人名称经常是 RFC 2047 编码,需要用 email.header.decode_header 解码,bytes 按 charset 解码、缺失时用 utf-8 并 errors="replace";正文按 Content-Type 声明的 charset 转码,声明缺失时依次尝试 UTF-8 和 GB18030。展示上还有一个小优化:详情页把正文中疑似验证码的 4–8 位数字高亮,找码不用逐行读完整封邮件。
六、安全设计
凭据不落明文配置:账号密码或应用专用密码放在权限 600 的独立配置文件或环境变量里,不进代码仓库。Web 层必须有登录:加口令、会话过期,连错多次短暂锁定。只收不发:采集器只有 IMAP 读取权限,服务不提供发信能力,最小权限把影响面压到最小。附件只存索引:大附件落盘到独立目录,库里只记路径和校验值,数据库保持小巧好备份。
七、定时运行与失败处理
采集器用 cron 每 5 分钟跑一次。失败处理两个原则:单个账号失败不阻塞其他账号,每个账号独立 try 并记录错误;连续失败要能被发现——把每个账号的最近成功时间写进状态表,巡检发现某账号超过 1 小时没成功就发提醒。无人值守的服务,"坏了能知道"比"尽量不坏"更重要。
八、小结
这个服务的核心只有三件事:用 UID 做增量、用 Message-ID 做去重、采集与展示解耦。把这三点做对,剩下的都是锦上添花。代码量不大,但每天省下的是十几次重复登录和翻找验证码的时间。