开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks和各位大哥请教一下, 自定义redis数据源,定时扫描key,然后供下游使用, ?

DataWorks和各位大哥请教一下, 自定义redis数据源,定时扫描key,然后供下游使用, 请问下多并行度意义不大吧 ?

展开
收起
cuicuicuic 2023-05-21 17:53:20 99 0
2 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    对于自定义Redis数据源,多并行度的意义相对较小。

    因为Redis的操作通常是单线程的,多并行度可能会导致竞争条件,进而影响性能。此外,Redis的响应时间通常也非常快,因此多并行度的提升可能也相对较小。

    不过,如果你的Redis数据源包含了一些耗时的操作(如复杂的Lua脚本),并且需要处理大量的key,那么多并行度可能会对提升性能有一定的帮助。

    总的来说,是否采用多并行度还要具体看Redis数据源的特点和下游使用场景的实际情况,具体如何选择需要根据情况具体分析。

    2023-05-21 21:58:50
    赞同 展开评论 打赏
  • 离线同步任务 读redis吗 提高并发一般可以提速和增加可用内存,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-21 18:00:50
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Redis在唯品会的应用实践——架构演进与功能定制 立即下载
    微博的Redis定制之路 立即下载
    云数据库Redis版的开源之路 立即下载