开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks购买指引场景三:每天保障并发运行特定数量实例,并支持多线程并发传输数据?

DataWorks购买指引场景三:每天保障并发运行特定数量实例,并支持多线程并发传输数据?

展开
收起
真的很搞笑 2023-09-06 14:14:08 65 0
1 条回答
写回答
取消 提交回答
  • 场景说明 业务需要每天早上9点准时查看报表,主要内容为访问CDN日志和客户端设备类型分布。原始数据在运维人员的云上RDS业务数据库中,每天数据增量约30G,需要进行数据同步。场景分析 在场景二的基础上,增加了大量同步任务的时效性要求。因此,同步任务在被准时调度运行的基础上,还需要部署固定的计算资源、网络资源,来支撑多并发传输,避免同步任务无法启动多线程并发传输。购买方案必选商品:DataWorks按量付费、DataWorks独享调度资源(包年包月)和独享数据集成资源。image.png
    假设每天有1500个计算任务、600个数据集成任务,且对不同类型任务有不同的运行时间段要求,则计算逻辑如下: 计算类任务所需保障业务量:1500个实例。往常运行时长:30分钟/实例。期望运行时间段:3:00~8:00,共5小时。计费 需要同时运行的实例数:(150030)/(560)=150(个)。 所需独享调度资源数量:58C16G(根据独享调度资源计费标准计算所得)。 年费用:59,100元(目录价)/年。数据集成类任务所需保障业务量:600个实例、2个并发线程/实例,共1200个线程。往常运行时长:30分钟/实例。期望运行时间段:00:30~3:00,共2.5小时。计费 需要同时运行的实例数:(60030)/(2.560)=120(个)。 所需独享调度资源数量:48C16G(根据独享调度资源计费标准计算所得)。 同时运行的线程数:(120030)/(2.560)=240(个)。 所需独享数据集成资源数量:4*32C64G(根据独享数据集成资源计费标准计算所得)。 因此,年总费用为47,280+189,120=236,400元/目录价。说明 上述结果是严格按照任务总量、期望完成时间来计算得出,建议您在实际计算时,根据实际业务量调整购买数量。可选商品:DataWorks增值版本(包年包月),您可以根据自身需求,选择标准版、专业版、企业版或旗舰版进行购买。
    https://help.aliyun.com/document_detail/125776.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-06 15:11:17
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    被窝里的运维——DataWorks移动版公测-2020飞天大数据平台实战应用第一季 立即下载
    多IO线程优化版 立即下载

    相关实验场景

    更多