开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如下开发流程的最佳实践,问下需要几个空间,模式怎么选择,发布主流程是怎么样的?

DataWorks如下开发流程的最佳实践,我们有测试、UAT、生产 三个环境, 都需要跑周期任务,问下需要几个空间,模式怎么选择,发布主流程是怎么样的?

展开
收起
真的很搞笑 2023-10-29 19:04:53 72 0
3 条回答
写回答
取消 提交回答
  • 在DataWorks中,您可以根据周期任务和手动任务的不同需求,选择不同的业务流程。对于周期性调度任务,如测试、UAT和生产三个环境都需要执行的任务,推荐使用DataWorks的数据开发(DataStudio)模块。该模块不仅支持智能代码开发、多引擎混编工作流、规范化任务发布等能力,还面向MaxCompute、Hologres、EMR等各大数据计算引擎提供可视化开发主界面,帮助您轻松构建离线数仓、实时数仓与即席分析系统,保证数据生产的高效稳定。

    至于模式的选择,您可以考虑如下:

    • 对于测试环境,可以选择“开发”模式,方便快速迭代和调试;
    • 对于UAT环境,建议选择“验证”模式,有助于确保任务的准确性和稳定性;
    • 对于生产环境,应选择“发布”模式,确保任务的可靠性和安全性。

    关于发布主流程,首先在DataWorks的数据开发(DataStudio)中开发对应的周期调度任务,然后提交到运维中心。运维中心会将这些任务配置到相应的环境中,如测试、UAT和生产环境,实现在生产环境运行。在整个过程中,可以根据需求阶段、设计阶段的要求,结合来源数据的探查来明确整个测试流程的目标、方案、风险与难点,以确保流程的顺利进行。

    2023-10-30 14:48:13
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中,推荐以下最佳实践:

    1. 创建三个环境:在 DataWorks 中创建三个环境,分别是“测试”、“UAT”、“生产”。
    2. 分别创建空间:在每个环境下分别创建一个空间,例如:“测试空间”、“UAT空间”、“生产空间”。
    3. 创建任务:在每个空间中创建相同的任务,分别对应测试、UAT、生产环境的需求。
    4. 开发模式:在开发过程中,可以将代码提交到测试空间中进行测试,然后通过代码审核等方式推广至 UAT 空间,最后再推广至生产空间。
    5. 发布流程:采用流水线式的发布流程,将代码从测试空间推广到 UAT 空间、再到生产空间。这样可以避免频繁的操作重复,提高效率。
    2023-10-30 11:38:40
    赞同 展开评论 打赏
  • DataWorks 的开发流程是指在 DataWorks 平台上进行数据开发、测试、发布、运维等全生命周期的管理的一种流程。DataWorks 的开发流程可以分为以下几个步骤:

    • 创建项目空间:项目空间是 DataWorks 的基本单元,用于管理数据源、数据表、数据任务等资源。可以根据您的业务需求和数据安全等级,选择合适的项目空间类型和模式。
    • 创建数据源:数据源是 DataWorks 的数据输入和输出的载体,用于连接不同类型的数据库或存储系统。您可以根据您的数据来源和目标,选择合适的数据源类型和配置。
    • 创建数据表:数据表是 DataWorks 的数据处理和分析的对象,用于存储不同结构和格式的数据。可以根据数据特点和需求,选择合适的数据表类型和属性。
    • 创建数据任务:数据任务是 DataWorks 的数据逻辑和业务的实现,用于编写不同语言和算法的代码。可以根据数据场景和目标,选择合适的任务类型和参数。
    • 测试调试:测试调试是 DataWorks 的数据质量和效果的保障,用于检查代码是否正确,运行是否正常,结果是否符合预期。可以根据测试需求和标准,选择合适的测试方式和工具。
    • 发布上线:发布上线是 DataWorks 的数据应用和价值的体现,用于将测试通过的代码提交到生产环境,定时或触发执行。可以根据发布策略和规范,选择合适的发布方式和流程。
    • 监控运维:监控运维是 DataWorks 的数据稳定和安全的维护,用于查看任务的执行状态,分析任务的性能指标,处理任务的异常情况。可以根据运维需求和方法,选择合适的监控工具和平台。

    针对你提出的三个环境(测试、UAT、生产),推荐以下几个建议:

    • 可以创建三个项目空间,分别对应三个环境,每个项目空间都有独立的数据源、数据表、数据任务等资源。
    • 可以选择基于调度资源组模式(DEV/PROD)或基于计算引擎模式(Basic/Standard)来管理不同环境下的代码版本和发布流程。
    • 可以使用 DataWorks 提供的跨项目空间发布功能,将测试环境下开发完成并测试通过的代码一键发布到 UAT 或生产环境下进行验证或执行。
    2023-10-30 10:13:47
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多