Apsara Clouder认证之旅 数据仓库系统的运维优化

认证名称及链接

Apsara Clouder大数据技能认证：数据仓库系统的运维优化

课时列表

• 课时1：数据仓库系统运维介绍
• 课时2：数据仓库系统运维技术方案
• 课时3：阿里云数据仓库运维开发平台DataWorks介绍
• 课时4：阿里云相关产品基本操作演示
• 课时5：利用阿里云DataWorks产品实现数据仓库系统运维
• 课时6：【在线实验】数据仓库系统的运维优化

证书

笔记

• 仓库系统的运维

  1. 确保系统正常运转
  2. 出现问题能够及时解决

• 运维管理的主要目标

  1. 合规性
  2. 可用性
  3. 可靠性
  4. 经济性
  5. 服务性

• 运维发展

  1. 被动手工无系统
  2. 半手工半自动运维
  3. 自动化运维
  4. 智能运维

• 运维主要流程

  1. 数据采集
  2. 分析处理
  3. 结果应用

• 数据仓库运维模式

  1. 垂直模式
  2. 横向模式
  3. 均衡模式

• 数据仓库系统的运维框架

  1. 人员
  2. 流程
  3. 工具
  4. 外服
  5. 数据&业务

• 数仓系统运维数据流优化策略

  1. 依据业务逻辑
  2. 依据处理效率
  3. 依据处理时间
  4. 依据重要程度
  5. 依据数据量
  6. 依据源系统

• 数仓运维自动化技术方案

  1. 关键：流程+工具
  2. 目标：标准化、流程化、原子化

• 自动化运维

  1. 资源管理
  2. 安装配置
  3. 发布部署
  4. 自动巡检
  5. 变更管理
  6. 安全审计

• 运维智能化技术

  1. 异常检查
  2. 智能告警
  3. 关联分析
  4. 故障定位
  5. 自愈预测
• 数仓运维利器：高效调度系统
• 数仓数据运维的根本：元数据

• DataWorks（原名：Data IDE）

  1. 数据开发
  2. 数据管理
  3. 作业调度

• DataWorks 系统角色

  1. 组织管理员
  2. 项目管理员
  3. 开发
  4. 运维
  5. 部署
  6. 访客

• DataWorks 基本概念

  1. 组织
  2. 项目空间
  3. 作业
  4. 工作流
  5. 节点
  6. 依赖关系
  7. 实例
  8. 资源
  9. 自定义函数
• MaxCompute、RDS、DataWorks
• SQL

备注

工匠精神，精益求精，踏实学习，再接再厉O(∩_∩)O
欢迎各位同学一起来交流学习心得！