AI 助理
备案控制台
开发者社区 问答 正文

当Spark涉及到数据库的操作时，如何减少Spark运行中的数据库连接数？

当Spark涉及到数据库的操作时，如何减少Spark运行中的数据库连接数？

展开
收起
芯在这 2021-12-08 22:37:28 564 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 真的很搞笑

    使用foreachPartition代替foreach，在foreachPartition内获取数据库的连接。

    2021-12-08 22:37:41
    赞同 展开评论
问答分类：
分布式计算 数据库 Spark
问答标签：
数据库运行 apache spark运行 数据库操作 apache spark操作 spark数据库
问答地址：
开发者社区 > 大数据 > 问答
相关问答
大数据计算MaxCompute Spark节点，是不是不可以跨数据库读写？
100
1
0
polardb回收表空间，怎么样不会影响数据库业务运行，还有耗时问题？
85
1
0
在OceanBase数据库中，ob 数据库连接提示ora-12154 是啥情况？
158
2
0
在OceanBase数据库中，每天合并的时候，性能影响比较大，经常会数据库连接不上，怎么优化合并啊？
104
2
0
DataWorks为啥我的脚本 运行不起来，mc 那边说不支持调用 其它rds 数据库？
97
1
0
DataWorks最近有新增spark SQL相关支持，是需要重新初始化吗？有相关的操作文档吗？
85
1
0
OceanBase数据库运行环境发现一个问题，运行一段时间后，数据库变的很卡这是什么原因呢？
61
0
0
云盾·数据库审计运行状态显示"备库重搭"，这个有影响吗？
56
0
0
Hologres的数据库表结构sql运行报错
76
1
0
DataWorks中Spark节点，是不是不可以跨数据库读写？
61
0
0