一次性能优化引发的线上xgboost事故
线上风控模型服务因活动流量增加出现超时，初步通过增加节点缓解，但仍有超时问题。分析发现，服务使用Python Flask和XGBoost，原启动方式（flask manager的run方法）不适合生产环境，应改用uwsgi。集成uwsgi后，线上出现概率值异常，所有用户得分相同。回滚线上环境，问题依旧存在，怀疑是uwsgi的多线程问题。通过日志追踪，发现在转换为xgboost矩阵时，特征值变为0，导致相同概率。
python数据分析中遇到的问题
在Python数据分析项目中，面对数十GB的日志数据，遇到性能瓶颈和内存溢出问题。通过使用`pandas`的`read_csv(chunksize=)`分块读取、`joblib`实现并行处理、优化数据类型及利用`engine='c'`和`memory_map=True`减少内存占用，成功提升处理速度和效率。这次经历强调了预防性思考、持续学习、性能监控、代码优化和利用社区资源的重要性，促进了技术与思维方式的升级。