Laravel-有效地将大型外部API消耗到数据库中
我正在尝试使用Paypal API交易端点。
我想获取给定帐户的所有交易。此数字可能是百万笔交易的十分之一。对于这些事务中的每一个，我都需要将其存储在数据库中以由排队的作业进行处理。我一直在尝试找出用Laravel拉动这么多记录的最佳方法。贝宝的最大请求项限制为每页20个。
我最初以创建作业的想法开始，当用户向我提供其API凭证时，该凭证将获取前20个项目并进行处理，然后从包含要使用的起始索引的第一个作业中调度一个作业。这将永远循环直到出现错误。这样做似乎不太可行，因为它会导致网关在保存这些API凭据时超时，并且对API的请求最终会超时（在获取所有事务之前）。我还应该提及的是交易的总数是未知的，因此链接似乎不是答案，因为无法知道要分派多少个工作...
有什么想法吗？获取API数据最适合工作吗？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
处理大量API请求和数据导入时，确实需要一个高效且可靠的方法来避免超时和性能问题。在Laravel框架下，你可以采用以下策略来优化这个过程：
-
分页循环请求：虽然PayPal每页限制为20条记录，但你可以利用其分页机制（如果提供）来逐步获取所有交易。首先，设置一个循环，每次迭代时增加
page或start_index参数以获取下一页数据，直到没有更多记录为止。这可以通过递归函数或者while循环实现，确保每次调用后检查是否有“下一页”的指示。 -
异步处理与队列：为了避免长时间运行的HTTP请求导致用户界面或API网关超时，可以使用Laravel的任务队列系统。将每个分页请求作为一个任务放入队列中，由后台worker异步处理。这样，即使处理时间较长，也不会影响到前端响应速度。你可以使用Redis、数据库或SQS等作为队列驱动器。
-
批处理与批量插入：对于每批次获取到的交易记录，不要立即逐条存储至数据库，而是累积到一定数量后再进行批量插入。Laravel的Eloquent ORM支持批量插入，这比单条插入效率高得多。例如，可以收集到一定数量（如500条）的交易数据后，一次性执行插入操作。
-
错误处理与重试机制：在处理大量数据时，网络波动或API限制可能会导致请求失败。确保你的队列任务包含适当的错误处理逻辑，并使用Laravel的内置重试机制来自动处理暂时性故障。
-
资源管理与限流：考虑到API调用频率可能有限制，可以在代码中加入延时或节流逻辑，比如每秒不超过N次请求，以避免因请求过快而触发PayPal的API限制。
-
监控与日志：实施过程中，确保有充分的日志记录和监控机制，以便于跟踪任务进度、识别潜在问题并衡量性能。
综上所述，结合异步处理、批量操作、智能分页和良好的错误处理策略，可以有效地应对大规模数据导入挑战，同时保持系统的稳定性和响应性。
