日志数据投递到MaxCompute最佳实践

背景

日志服务采集到日志后，有时需要将日志投递至MaxCompute的表中进行存储与分析。本文主要向用户介绍将数据投递到MaxCompute完整流程，方便用户快速实现数据投递至MaxCompute。

投递流程

温馨提示：本文描述不做特殊说明，默认都是使用RAM账户登陆控制台。更多创建或获取RAM用户信息操作，请参见准备RAM用户。

一、创建角色

温馨提示：如果使用默认角色，可以跳过这一步。

1.登录RAM控制台。

2.在左侧导航栏，选择身份管理 > 角色。

3.在角色页面，单击创建角色。

4.在创建角色面板，选择可信实体类型为阿里云服务，然后单击下一步。

5.在配置角色配置向导中，配置如下内容，然后单击完成。

二、授予角色日志服务读权限

温馨提示：

1.如果使用默认角色AliyunLogDefaultRole，可以跳过这一步。

2.如果使用自定义创建RAM角色，该RAM角色此时无任何权限。您需要为该RAM角色授予系统策略或自定义策略，参考如下。

1.在角色页面，单击目标RAM角色操作列的添加权限。

2.在添加权限页面，选中目标权限（如AliyunLogFullAccess）。

• 选择授权应用范围。

• 整个云账号：权限在当前阿里云账号内生效（推荐）。
• 指定资源组：权限在指定的资源组内生效。

• 输入授权主体。授权主体即需要授权的RAM角色名称，系统会自动填入当前的RAM角色。
• 选择AliyunLogFullAccess权限策略（AliyunLogFullAccess为管理日志服务的权限）。

3.确认授权结果，单击完成。

三、修改角色信任策略

说明：信任策略是来告知MaxCompute服务和sls服务可以信任该目标角色。

1.单击目标角色名称。

2.单击信任策略管理并修改其内容，添加"dataworks.aliyuncs.com"为授信服务如下。

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "log.aliyuncs.com",
          "dataworks.aliyuncs.com"
        ]
      }
    }
  ],
  "Version": "1"
}

四、通过Dataworks控制台创建工作空间并绑定MaxCompute引擎

前提条件：

• 阿里云账号或RAM用户已开通DataWorks服务和MaxCompute服务，且位于同一地域。
• RAM用户通过DataWorks平台管理MaxCompute项目，请确认已获取RAM账户并已为RAM账户授予AliyunDataWorksFullAccess权限。更多创建或获取RAM用户信息操作，请参见准备RAM用户。

1.使用RAM账户登录DataWorks控制台。

2.创建工作空间，创建工作空间完成后也会一并创建好MaxCompute项目。

• 在左侧导航栏，单击工作空间列表，并切换至相应的地域后，单击创建工作空间。

• 在创建工作空间对话框，配置选项参数，单击提交。更多信息请参见创建工作空间。

• 绑定计算引擎，注意：需要为工作空间绑定计算引擎，才可进行数据开发工作。更多绑定方式请参考为工作空间绑定引擎。

• 进入绑定MaxCompute页面，配置各项参数后，单击完成绑定。

• 配置完成后，单击左侧导航栏MaxCompute即可跳转至Maxcompute控制台项目管理页面看到所创建的Maxcompute项目。

五、通过Dataworks控制台创建MaxCompute表

温馨提示：如果已有MaxCompute表，可以跳过这一步。

1.进入DataWorks控制台的工作空间列表页面，鼠标悬停至目标工作空间对应操作列的快速进入，单击数据开发。

2.单击左侧数据开发> 鼠标悬停至+新建图标，单击新建业务流程，弹窗内输入业务名称，然后单击新建。

3.鼠标悬停至+新建图标，单击新建节点 > MaxCompute > ODPS SQL，弹窗内输入对应的节点类型、路径、名称。

4.新建完节点后，即会跳出sql页面，输入sql语句单击运行即可进行表的创建。

5.单击左侧表管理->其它，双击已创建的目标表即可进入表管理页面。

6.表管理页面中基本属性的中文名行输入自定义别名，然后单击提交到生产环境。

六、通过MaxCompute控制台添加用户

1.进入DataWorks控制台的工作空间列表页面，单击目标工作空间对应的管理，进入工作空间管理中心。

2.在左侧导航栏，单击 后在请选择工作空间中选择标准模式名称，点击计算引擎信息 > MaxCompute > 进入MaxCompute管理控制台。

3.跳转至MaxCompute项目管理页面 > 角色权限，若出现如下图错误提示，解决方法请参考下方第4步。更多信息请参见MaxCompute项目管理（新版）。

4.在阿里云主账号下将当前登录的RAM账号添加至MaxCompute项目，在角色名称为admin的操作列，单击成员管理后，在左侧搜索账号处勾选当前登录账号（注意必须是当前登录账号），单击 >，将其移动至右侧待添加账号中并点击确定。

七、授予角色MaxCompute写权限

方式一、一键式授权（推荐）请直接跳至第八步创建MaxCompute投递任务并在投递配置页面完成该授权。

方式二、通过MaxCompute控制台授予角色查看、修改、更新目标MaxCompute表的权限。

1. 在角色名称为role_project_admin的操作列，单击成员管理，在左侧搜索账号处勾选当前登录账号、目标RAM角色账号，单击>，将其移动至右侧待添加账号中后点击确定。

1. 在角色名称为role_project_admin的操作列，单击编辑角色，在角色授权弹窗框中，单击Table -> 输入框内选择已创建的MaxCompute表 -> 选择Describe、Alter、Update -> 确定。

八、创建MaxCompute投递任务

前提条件：

1. 已创建Project和Logstore。具体操作，请请参见创建Project和Logstore。
2. 已采集日志。具体操作，请参见数据采集。
3. 已在MaxCompute中创建表。具体操作，请参见上述第五步创建MaxCompute项目表。

1.登录日志服务控制台。

2.在Project列表区域，单击目标Project。

3.开始创建投递任务。

• 在日志存储 > 日志库页签中，单击目标Logstore左侧的>，选择数据处理 > 导出> MaxCompute（原ODPS）。
• 将鼠标悬浮在MaxCompute（原ODPS）上，单击+。

• 在MaxCompute投递功能面板中，配置如下参数，然后单击确定。

选择投递版本为新版（推荐），重要参数配置说明如下所示。

• 单击MaxCompute任务页面即可查看数据写入状态，如下参考图。

九、通过管理页面排查错误

1. 登录日志服务控制台。
2. 在Project列表区域，单击目标Project。
3. 在日志存储 > 日志库页签中，单击目标Logstore左侧的>，选择数据处理 > 导出> MaxCompute（原ODPS）。
4. 单击目标任务进入任务管理页面，如果页面没有显示内容，请通过步骤10开通投递日志。

5.通过管理页面运行异常表可及时排查错误，如下图点击信息列展开字样即可看到详细错误信息。

十、开通运行日志

说明：

开通作业运行日志后，您可以在指定Project下的internal-diagnostic_log Logstore中查看MaxCompute投递作业的运行日志与错误日志，其日志主题（__topic__）为etl_metrics。您也可以通过投递作业名称查询目标投递作业的运行日志与错误日志，对应的查询语句为job_name:作业名称，例如job_name:job-1646****946。

1. 登录日志服务控制台。
2. 在Project列表区域，单击目标Project。该Project为MaxCompute投递作业所在的Project。
3. 在页面左上方，单击 图标。

4. 进入开通作业运行日志页面。

• 如果您开未通过该Project的详细日志，则在服务日志页签中，单击开通服务日志。
• 如果您已开通过该Project的详细日志，则在服务日志页签中，单击 图标。

5.设置参数如下，然后单击确定。

投递限制与常见问题

1.投递限制相关，具体请参见稳定性说明与使用限制。

2.投递过程中常见问题，具体请参见MaxCompute投递作业（新版）常见报错与问题。