算法平台的预测任务特别慢怎么查-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

算法平台的预测任务特别慢怎么查

2015-11-09 14:09:42 6397 2
有时候预测任务跑很慢,日志里一直在刷
predict: 2015-11-09 01:02:03 Predict_job:xxx/0/xxx[0%]  
类似格式的日志,可以这样排查:
先检查任务能否跑起来。先弄一两条数据跑一下预测,看有没有报错,任务能不能跑好。如果一条数据都跑不起来,可以判断是集群的负载过高。有报错针对报错处理。
如果一条数据能跑起来,那可能是预测工作量太大导致任务一直在跑但是没跑好。比较常见的是一个多树算法,比如随机森林。可以检查:
      1. 在满足需求的前提尽量减少任务的输入的数据条数(毕竟测过数据就一两条的时候能跑的)
      2. 减少模型的复杂度:
            2.1 比如减少训练的时候的树的深度。
            2.2 也见到一些用户使用double类型当成离散的feature来对待。这样会把出现的每个值作为一个分支,最后模型会非常大。预测的时候也要走到每个分支,导致预测非常慢。曾经见过十几万个节点的一棵树,那预测起来就超慢了。
      3. 减少模型里DappendColNames里所涉及的列的个数。如果设置了 DappendColNames, 这些列的数据是要从源表copy到预测结果表的,如果源表很大比如有上亿行,那么这个开销是非常大的。appendColNames不是feature,是说在结果表中附加哪些列,便于方便对比。


取消 提交回答
全部回答(2)
  • hello_today
    2015-11-30 19:55:45
    很好的经验总结。
    0 0
  • 秋涵
    2015-11-09 14:16:27
    赞!大家奔走相告,互相分享哦~~
    0 0
添加回答
相关问答

1

回答

算法工程师的研究方向

2018-07-17 15:01:12 1471浏览量 回答数 1

1

回答

#React 什么是差异算法?

2020-05-08 11:42:11 209浏览量 回答数 1

1

回答

什么是 Spring Messaging?

2021-11-10 22:27:40 666浏览量 回答数 1

1

回答

什么是区间预测啊?

2022-04-01 15:22:37 193浏览量 回答数 1

1

回答

RainDrop算法的优点是什么?

2022-05-10 12:26:48 98浏览量 回答数 1

1

回答

RainDrop算法的优点是什么?

2022-05-10 14:00:19 169浏览量 回答数 1

1

回答

RainDrop算法的优点是什么?

2022-05-12 15:36:45 79浏览量 回答数 1

1

回答

KNN算法的K值太大会怎么样呢?

2022-07-27 15:21:50 118浏览量 回答数 1

1

回答

基于文本的图像搜索的算法是怎么样的啊?

2022-08-07 14:21:28 88浏览量 回答数 1

1

回答

什么是Swap?

2022-10-11 17:35:02 36浏览量 回答数 1
+关注
传学
传学,专注于大数据领域的解决方案
文章
问答
问答排行榜
最热
最新
相关电子书
更多
大数据时代数据安全防 护通用最佳实践
立即下载
微服务引擎 MSE 治理中心重磅发布
立即下载
SPARK+FLASHBLADE
立即下载