阿学
阿学_个人页
阿学
文章
0
问答
4
视频
0
个人介绍
暂无个人介绍
擅长的技术
暂无更多信息
2020年03月
-
03.29 22:31:52
回答了问题
2020-03-29 22:31:52
spark消费kafka 从kafka拉取数据部分Task特变慢
赞0 踩0 评论0 -
03.29 22:18:02回答了问题
2020-03-29 22:18:02
Flink 运行一段时间后报错
赞0 踩0 评论0 -
03.29 22:10:23回答了问题
2020-03-29 22:10:23
大数据如何应用在航空领域？
赞0 踩0 评论0 -
03.29 22:01:04回答了问题
2020-03-29 22:01:04
flink sql 支持checkpoints吗？
赞0 踩0 评论0
暂无更多信息
-
回答了问题
2020-03-29
spark消费kafka 从kafka拉取数据部分Task特变慢
是不是使用$SPARK_HOME/sbin/start-all.sh启动spark集群，慢的那个worker节点是否按照slaves中配置的主机名启动（验证一下是不是按照ip启动，在默认8080端口可以看到），因为一方是主机名集合一方是ip地址集合结果造成字符串比较时找不到，本地化全部变成ANY，也就是随机获取计算节点那就意味着可能要将数据发送到计算节点上，会造成计算不均匀，不是本地化计算，基本上都没有在本机上节点运行，所以会产生大量IO，就会很慢
赞0 踩0 评论0 -
回答了问题
2020-03-29
Flink 运行一段时间后报错
可能是 FGC，导致心跳超时，具体要看下日志里面是不是有连续的FGC，以及对应的时间。
赞0 踩0 评论0 -
回答了问题
2020-03-29
大数据如何应用在航空领域？
可以面向用户的角度思考，乘客及乘客家属，机场工作人员，机组人员，始发地/目的地的社会资源（交通、旅游、餐饮住宿等）；再从思考用户关心的问题，打开1～2个深度场景。关键是数据的共享范围有多大，决定了应用发展的深度和前景。
赞0 踩0 评论0 -
回答了问题
2020-03-29
flink sql 支持checkpoints吗？
支持的，要二次开发
赞0 踩0 评论0
滑动查看更多
暂无更多信息