从 Prompt 到 Parser：一次知乎采集的曲折经历
本文探讨了使用大模型和Playwright技术在知乎进行数据采集时遇到的挑战及其优化策略。初始方案因页面异步加载、DOM结构变化和限制策略而失败。为了提高数据采集的稳定性和可靠性，提出了增强渲染层、适配器层和回退监控机制的改进方案。通过这些改进，可以有效应对页面异步加载和DOM变化带来的问题，同时规避限制策略的影响，从而实现更高效、稳定的数据采集。
代码静态扫描工具集成与实践
代码静态扫描工具（Static Application Security Testing, SAST）是在不运行代码的情况下，通过分析源代码或二进制代码来发现潜在安全漏洞、代码缺陷和质量问题的工具