DataWorks和各位大哥请教一下, 自定义redis数据源,定时扫描key,然后供下游使用, ?

DataWorks和各位大哥请教一下, 自定义redis数据源,定时扫描key,然后供下游使用, 请问下多并行度意义不大吧 ?

展开
收起
真的很搞笑 2023-05-21 17:53:20 143 分享 版权
2 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    对于自定义Redis数据源,多并行度的意义相对较小。

    因为Redis的操作通常是单线程的,多并行度可能会导致竞争条件,进而影响性能。此外,Redis的响应时间通常也非常快,因此多并行度的提升可能也相对较小。

    不过,如果你的Redis数据源包含了一些耗时的操作(如复杂的Lua脚本),并且需要处理大量的key,那么多并行度可能会对提升性能有一定的帮助。

    总的来说,是否采用多并行度还要具体看Redis数据源的特点和下游使用场景的实际情况,具体如何选择需要根据情况具体分析。

    2023-05-21 21:58:50
    赞同 展开评论
  • 离线同步任务 读redis吗 提高并发一般可以提速和增加可用内存,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-21 18:00:50
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理