采集架构的三次升级:脚本、Docker 与 Kubernetes
本文通过一个网站商品列表页采集任务,展示了爬虫架构从Python脚本到Docker化,再到Kubernetes Job化的三次演进。Kubernetes在处理大规模、高成本、高稳定性需求的爬虫任务时变得必要,帮助自动管理任务生命周期和资源,避免系统失控。
ConvertX:一站式自托管在线文件转换平台,支持上千种格式
ConvertX是一款功能强大的自托管文件转换工具,支持超千种格式互转,涵盖文档、图像、视频、电子书等。基于Docker一键部署,集成FFmpeg、LibreOffice等开源引擎,保障隐私安全。开源免费,支持批量处理与多用户管理,是替代在线转换网站的理想选择。
把采集系统装进容器之后,我们到底引入了什么风险
本文探讨了容器化对采集系统稳定性的影响。通过实验发现,容器化本身不会使系统更脆弱,问题在于容器与代理的耦合方式。建议代理使用到请求级,解耦代理池与容器生命周期,确保失败局部化。正确实施容器化可提高系统稳定性和吞吐能力。
Huobao Drama 开源短剧生成平台:从剧本到视频
Huobao Drama 是一个基于 Go + Vue3 的开源 AI 短剧自动化生成平台,支持剧本解析、角色与分镜生成、图生视频及剪辑合成,覆盖短剧生产全链路。内置角色管理、分镜设计、视频合成、任务追踪等功能,支持本地部署与多模型接入(如 OpenAI、Ollama、火山等),搭配 FFmpeg 实现高效视频处理,适用于短剧工作流验证与自建 AI 创作后台。