dataworks 离线同步elastic 到odps，如何同步 _id 字段？

https://help.aliyun.com/zh/dataworks/user-guide/elasticsearch-data-source?spm=a2c4g.11186623.0.i15#task-2312953，此回答整理自钉群“DataWorks交流群(答疑@机器人)”

在DataWorks中，从Elasticsearch同步数据到ODPS时，默认情况下是无法同步_id字段的。因为在ODPS中，每张表都有自己的主键字段，而在Elasticsearch中，_id字段表示的是文档的唯一标识，这两者并不对应。

如果您需要将Elasticsearch中的_id字段同步到ODPS中，可以考虑以下两种处理方式：

1. 在ODPS中创建新的列来存储_id字段：您可以在ODPS中创建一个新的列，来存储从Elasticsearch同步过来的_id字段。在同步数据时，将_id字段映射到该新列即可。需要注意的是，这种方法会增加数据存储的空间，且需要额外的计算资源来处理。

2. 使用DataWorks的脚本转换功能：DataWorks提供了脚本转换功能，可以在数据同步过程中进行数据转换和处理。您可以通过脚本转换功能，将_id字段映射到ODPS中的其他列中，或者将其转换为其他格式来存储。具体实现方式可以根据业务需求和数据结构进行调整。

在DataWorks中，离线同步Elasticsearch到ODPS时，可以通过以下步骤来同步_id字段：

1. 创建源表和目标表的映射关系。在数据开发页面中，选择“数据同步”模块，然后单击“新建任务”。
2. 配置源端和目标端的连接信息。在“源库及目标库”页面中，分别填写源端和目标端的连接信息。对于源端，选择Elasticsearch作为数据源；对于目标端，选择ODPS作为数据存储。
3. 配置同步规则。在“同步规则”页面中，选择需要同步的表和字段。对于需要同步的字段，可以手动添加或通过搜索自动匹配。如果需要同步_id字段，可以在搜索框中输入“_id”，然后将其添加到需要同步的字段列表中。
4. 配置任务参数。在“任务参数”页面中，可以设置一些高级选项，例如并发数、重试次数等。根据实际需求进行配置即可。
5. 启动任务并监控运行状态。完成以上步骤后，单击“提交”按钮即可启动数据同步任务。在任务运行过程中，可以通过“任务管理”页面查看任务的运行状态和日志信息。

在DataWorks中，可以从Elasticsearch中同步数据到ODPS。但是，需要注意以下几点：

1. Elasticsearch中的_id字段不是字符串类型，而是字符串数组类型。如果要同步_id字段，请将其转换为字符串类型。
2. ODPS支持的最大行大小有限制，所以要注意_id字段的长度，以防止超过限制。
3. ODPS的表结构需要提前定义，包括_id字段的名称、类型等。

下面是具体的步骤：

1. 在DataWorks中，新建一个同步任务，从Elasticsearch同步数据到ODPS。
2. 将_id字段映射到ODPS中的某个字段。
3. 在ODPS中定义该字段的类型为字符串类型，并适当限制长度。
4. 运行同步任务，以同步Elasticsearch中的数据。

离线同步 Elastic 到 ODPS 并同步 _id 字段的具体步骤如下所示：

1. 创建ODPS表并定义字段

需要在 ODPS 控制台上创建一个新的表，并定义字段。其中 _id 字段应该是一个字符串类型，并且需要指定为主键。

CREATE TABLE my_table (
    id STRING,
    other_fields ...
) PARTITIONED BY (dt STRING);

1. 启动 ElasticSinkJob

可以在 DataWorks 中启动 ElasticSinkJob 来将 Elastic 数据同步到 ODPS。在这个过程中，您需要指定 Elastic 源和 ODPS 目标之间的映射关系。其中 _id 字段应该是与 ODPS 中对应的 id 字段进行匹配。

source:
  type: elastic_search
  服务器地址...
  index: my_index
target:
  type: odps
  endpoint: https://service.odps.aliyun.com/api/
  accessId: ACCESS_ID
  accessKey: ACCESS_KEY
  project: my_project
  table: my_table
map:
- from: _id
  to: id
- from: ... 其他字段映射...
- from: ...

1. 开始同步

可以启动 ElasticSinkJob 来开始同步 Elastic 数据到 ODPS。在这个过程中，_id 字段会被同步到 ODPS 中对应的 id 字段上。

column用来配置文档的多个字段Filed信息，具体每个字段项可以配置name（名称）、type（类型）等基础配置，以及Analyzer、Format和Array等扩展配置。

Elasticsearch所支持的字段类型如下所示。

• id //type id对应Elasticsearch中的_id，可以理解为唯一主键。写入时，相同id的数据会被覆盖，且不会被索引。
  https://help.aliyun.com/zh/dataworks/user-guide/elasticsearch-data-source?spm=a2c4g.11186623.0.i93

离线同步Elasticsearch到ODPS时，DataWorks提供了内置的支持，可以从Elasticsearch中直接导出数据并加载至ODPS。在导入过程中，_id字段也会被自动同步过去。以下是详细的步骤：

1. 在DataWorks的ODPS控制台中，选择相应的项目和数据库。
2. 在左侧菜单中，选择“数据交换”，然后点击“创建同步作业”按钮。
3. 在同步作业创建向导中，选择“Elasticsearch”作为源数据源，输入相应的连接信息（如主机地址、端口号等），并在“索引名”中输入要同步的Elasticsearch索引名。
4. 选择ODPS作为目标数据源，输入相应的连接信息（如项目名称、数据库名称等），并在“表名”中输入要同步的目标表名。
5. 在“映射关系”中，选择“全量同步”，并勾选“启用元数据更新”。
6. 在“字段映射”中，系统会自动显示Elasticsearch索引中的所有字段，包括_id字段。你可以根据需求调整字段映射关系。
7. 点击“确定”按钮，完成同步作业的创建。在完成后，你可以在“历史任务”中查看同步任务的状态。

注意：如果你的ODPS表中已经存在与Elasticsearch索引相同的字段（包括_id字段），则在同步时会自动忽略掉已存在的字段，不会覆盖已有数据。如果你希望同步时覆盖已有的_id字段，可以先删除ODPS表中的_id字段，然后再重新进行同步。