阿里云-DataWorks-数据分析开发到上线运维

简介: 本文主要讲解 阿里云-DataWorks- 数据分析开发到上线运维 的思路。因本文为IT人员以技术视角阐述 日常我们做数据分析的实际开发过程所转化,适合数据分析相关人员阅读。

DataWorks数据开发-解决方案

工作空间>解决方案>业务流程
DataWorks对数据开发模式进行全面升级,按照业务种类组织相关的不同类型的节点以更好地以
业务为单元、连接多个业务流程进行开发。
DataWorks通过工作空间 > 解决方案 > 业务流程三级结构,全新定义开发流程,提升开发体验:
工作空间:
权限组织的基本单位,用来控制您的开发、运维等权限。工作空间内成员的所有代码均可以协同开发管理。
解决方案:
可以自定义组合业务流程为一个解决方案。
它的优势如下:
1、包括多个业务流程。
2、解决方案之间可以复用相同的业务流程。
3、自定义组合而成的解决方案,可以让您进行沉浸式开发。
业务流程:
业务的抽象实体,让您能够以业务的视角来组织数据代码开发。业务流程可以被多个解决方案复用。
它的优势如下:
1、帮助我们从业务视角组织代码,更清晰,并且提供基于任务类型的代码组织方式。每个节点类型下均支持
创建多级子目录,右键单击相应的节点类型,选择新建文件夹即可(建议不超过4级)。
2、让我们可以从业务视角查看整体的业务流程,并进行优化。
3、提供业务流程看板,开发更高效。
4、让我们可以按照业务流程组织进行发布和运维。

IT技术人员数据开发

1、创建ODPS SQL节点。
ODPS SQL采用类似SQL的语法,适用于海量数据(TB级)但实时性要求不高的分布式处理场景。
2、编写含有业务逻辑的SQL。
3、调度参数配置、
必须是key=value的格式,且(=)前后不支持空格,示例如下。
time={yyyymmdd hh:mm:ss} //错误。
a =b //错误。
如果设置bizdate、date等关键字作为调度参数变量,格式必须是yyyymmdd。如果需要其它格式,请
使用其它变量名称,避免冲突,示例如下。
bizdate=201908 //错误,不支持。

4、配置上下游节点依赖关系,用于任务上线自动运行,默认可以挂在空间根节点上。
5、提交ODPS SQL节点 到运维中心上线。

补充任务配置的操作步骤:

  1. 新建数据源。
  2. 新建数据同步节点。
  3. 选择数据来源。
  4. 选择数据去向。
  5. 配置字段的映射关系。
  6. 配置作业速率上限、脏数据检查规则等信息。
  7. 配置调度属性。

运维中心

运维中心是日常运维的主要工具,可以对已提交的业务流程及其节点任务进行管理与维护。
运维中心包括运维大屏、任务列表、任务运维和智能监控4个模块。
运维大屏:主要对平台的全局任务进行查看与管理,包括实例执行概览、任务运行情况、任务节点执行时
长排行、调度任务数量趋势、近一个月出错排行以及当前工作空间的任务类型分布。
任务列表:任务列表包括周期任务和手动任务。
任务运维:任务运维包括周期实例、手动实例、测试实例和补数据实例。您可以通过列表视图和DAG图2
种方式进行管理。
列表视图以列表形式为您展示任务的运行状态,可以进行批量添加报警、修改责任人、添加到基线等操
作。
DAG图可以对节点的运行状态及上下游依赖关系等进行维护与管理,也可以对单个节点进行补数据、重
跑等操作。
智能监控:主要包括基线实例、基线管理、事件管理、规则管理和报警信息。

注意

因本文为IT人员以技术视角阐述 日常我们做数据分析的实际开发过程所转化,适合数据分析相关人员阅读。

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
11月前
|
机器学习/深度学习 人工智能 运维
智能运维加速交付:应用上线别再慢吞吞
智能运维加速交付:应用上线别再慢吞吞
285 2
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
存储 运维 监控
云服务运维智能时代:阿里云操作系统控制台
阿里云操作系统控制台是一款创新的云服务器运维工具,采用智能化和可视化方式简化运维工作。通过AI技术实时监控服务器状态,自动分析性能瓶颈和故障原因,生成详细的诊断报告与优化建议。用户无需复杂命令行操作,仅需通过图形化界面即可高效处理问题,降低技术门槛并提升故障处理效率。尤其在服务器宕机等紧急情况下,智能诊断工具能快速定位问题根源,确保业务稳定运行。此外,控制台还提供内存、存储、网络等专项诊断功能,帮助用户全面了解系统资源使用情况,进一步优化服务器性能。这种智能化运维方式不仅提升了工作效率,也让个人开发者和企业用户能够更专注于核心业务的发展。
|
运维 监控 算法
阿里云 OS 控制台:让基础设施运维不再难
涵盖智能异常检测、智能根因分析、智能修复建议的全链路运维解决方案
|
人工智能 运维 监控
阿里云携手神州灵云打造云内网络性能监测标杆 斩获中国信通院高质量数字化转型十大案例——金保信“云内网络可观测”方案树立云原生运维新范式
2025年,金保信社保卡有限公司联合阿里云与神州灵云申报的《云内网络性能可观测解决方案》入选高质量数字化转型典型案例。该方案基于阿里云飞天企业版,融合云原生引流技术和流量“染色”专利,解决云内运维难题,实现主动预警和精准观测,将故障排查时间从数小时缩短至15分钟,助力企业降本增效,形成可跨行业复制的数字化转型方法论。
820 6
|
缓存 运维 监控
Anolis OS深度集成运维利器 阿里云操作系统控制台上线
阿里云在百万服务器运维领域的丰富经验打造。
Anolis OS深度集成运维利器 阿里云操作系统控制台上线
|
存储 人工智能 运维
阿里云操作系统控制台评测:国产AI+运维 一站式运维管理平台
本文详细评测了阿里云操作系统控制台,作为一款集运维管理、智能助手和系统诊断于一体的工具,它为企业提供了高效管理云资源的解决方案。文章涵盖登录与服务开通、系统管理与实例纳管、组件管理与扩展功能、系统诊断与问题排查以及实时热点分析与性能优化等内容。通过实际操作展示,该平台显著提升了运维效率,并借助AI智能助手简化了复杂操作。建议进一步完善组件库并增强第三方兼容性,以满足更多高级运维需求。
981 3
|
存储 运维 监控
阿里云飞天洛神云网络子系统“齐天”:超大规模云网络智能运维的“定海神针”
阿里云飞天洛神云网络子系统“齐天”:超大规模云网络智能运维的“定海神针”
776 3
|
DataWorks 监控 数据建模
DataWorks产品体验评测
DataWorks产品体验评测