DataWorks

首页 标签 DataWorks
# DataWorks #
关注
18449内容
转载《Data Lake Analytics: 使用DataWorks来调度任务》
DataWorks作为阿里云上广受欢迎的大数据开发调度服务,最近加入了对于Data Lake Analytics的支持,意味着所有Data Lake Analytics的客户可以获得任务开发、任务依赖关系管理、任务调度、任务运维等等全方位强大的能力,今天就给大家介绍一下如何使用DataWorks来调度DLA的脚本任务。
如何在DataWorks V2.0 的 ODPS SQL任务中使用调度参数
DataWorks提供了系统调度参数,调度系统会根据调度参数的配置,结合当前的业务日期,将调度参数转换为具体的时间。
离线计算中的幂等和DataWorks中的相关事项
概念 幂等这个词在软件研发中经常被提到。比如消息发送时不应该同时给同个用户推送多次相同的消息,针对同一笔交易的付款也不应该在重试过程中扣多次钱。曾见过一个案例,有个对于一个单据的确认模块没有考虑到幂等性,导致对应的单据有两条确认记录。
MaxCompute与DataWorks权限介绍和示例
该篇文章的主要内容是MaxCompute与DataWork权限的经典知识点汇总,MaxCompute常使用的权限分类以及经典使用语句,以及MaxCompute基于policy策略的生产环境和开发环境为用户做权限管理的示例。
大家都是成年人了,表白请直接点!
MaxCompute作为离线大数据的存储引擎,承载了阿里集团海量数据的存储服务。但由于其架构原因,读数据的速度较慢,不满足业务场景的ad-hoc查询。目前常用的加速方案是使用其他数据库来将MaxCompute数据加速查询。
采购季限时!DataWorks标准版原价2500元现仅需99元,3分钟入门6大场景!
DataWorks作为飞天大数据平台操作系统,对接各种大数据计算引擎,以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台,高效率完成数据全链路研发流程,建设企业数据治理体系。
阿里云PAI-EAS共享GPU,一卡部署多个模型(EasyRec/TorchEasyRec Processor)
本文介绍在阿里云PAI-EAS平台单GPU卡(如A10/gu30/L20)上部署多个模型实例的实践方案:需购买GPU专有资源组,通过显存划分(如24G卡分3×7G)、配置`gpu_memory`参数实现共享,禁用`gpu_core_percentage`防RT毛刺,并合理设置BatchCount提升吞吐。
阿里云MaxCompute云原生大数据计算服务全方位对接使用指南
本文系统性地介绍了阿里云MaxCompute的多种对接与使用方式。从服务开通、项目创建等基础准备入手,详细讲解了命令行客户端odpscmd、DataWorks数据集成、Java SDK、PyODPS Python SDK、JDBC以及开放存储Storage API等核心对接路径。针对每种方式均提供了完整的配置步骤与代码示例,涵盖批量数据上传、流式数据写入、跨源数据同步、第三方引擎集成等典型场景。文章还深入探讨了Endpoint选择、权限管理、开放存储架构等关键技术要点,并结合最佳实践给出了成本优化与性能调优建议,旨在帮助数据工程师快速掌握MaxCompute的接入方法并高效运用于生产环境。
阿里云DataWorks对接使用全攻略:从环境搭建到数据集成与API服务
本文全面解析阿里云DataWorks的对接与使用流程。从工作空间创建、计算资源绑定等环境准备开始,详细讲解数据源配置的两种模式与网络打通方案。深入剖析数据集成模块的向导模式与脚本模式配置,附带完整的JSON脚本示例和Python SDK调用代码。系统梳理任务调度配置中的周期设置、依赖关系与调度参数应用,以及数据服务API的生成与调用方式。最后介绍数据质量监控、数据治理等高级功能,并总结常见问题与解决方案,帮助读者快速掌握DataWorks的核心对接能力。
免费试用