DataWorks中mongodb list类型怎么集成到odps啊？

DataWorks中mongodb list类型怎么集成到odps啊，用了目标源用array，来源type用arrays，写入一条数据都写不了？

展开

收起

真的很搞笑 2023-10-29 19:03:57 64 0

4 条回答

写回答

取消提交回答

Zzzz
在DataWorks中，将MongoDB的List类型集成到ODPS时，需要使用MongoDB Connector插件。具体步骤如下：
1. 首先，您需要在DataWorks中安装MongoDB Connector插件。可以在DataWorks控制台的"插件管理"页面中进行安装。
2. 安装完成后，您可以在数据集成任务中使用MongoDB Connector插件来读取MongoDB中的数据。在任务配置页面中，选择MongoDB作为源端数据源，并配置好相应的连接信息和查询语句。
3. 对于List类型的字段，您需要在目标端ODPS中创建一个数组类型的字段来存储这些数据。例如，如果您的源端数据中有一个叫"tags"的List类型字段，您可以在ODPS中创建一个名为"tags_array"的数组类型字段。
4. 在数据同步任务的配置过程中，您需要将源端的List类型字段映射到目标端的数组类型字段。具体来说，您需要在任务配置页面中的"字段映射"选项卡中，将源端的"tags"字段映射到目标端的"tags_array"字段。
5. 完成上述配置后，您可以启动数据同步任务。在任务执行过程中，DataWorks会根据您设置的字段映射关系将源端的List类型数据转换为数组类型数据，并将其写入到目标端的ODPS表中。
需要注意的是，由于MongoDB Connector插件的限制，目前仅支持将List类型的数据转换为数组类型数据。如果您需要将其他类型的List数据（如Set或Map）转换为ODPS中的对应类型，可能需要使用其他方法来实现。
2023-10-30 22:15:51

赞同展开评论打赏
sunrr
在DataWorks中，如果你想将MongoDB的List类型集成到Odps，你需要使用特殊的数据映射方式。以下是一种可能的解决方案：
1. 在MongoDB中，List类型的数据实际上是一个数组。因此，你需要在DataWorks中将MongoDB的List类型映射为一个数组。
2. 在Odps中，你需要将这个数组展开为一行或多行数据。这可以通过在DataWorks中使用"展开"功能来实现。
以下是一个基本的示例：

假设你在MongoDB中有这样一个文档：
```
{
  "_id": ObjectId("5a93f09b08a7b4001679a59e"),
  "list": ["a", "b", "c"]
}
```
你想将这个文档同步到Odps的一个表中，表的结构是这样的：
```
+-----------+------+
| field_name | type |
+-----------+------+
| id         | string|
| list       | array|
+-----------+------+
```
你可以这样配置DataWorks的任务：
- 在MongoDB的"数据预览"页面上，你可以将"list"字段映射为一个数组。
- 在Odps的"数据预览"页面上，你可以将这个数组展开为一行或多行数据。你可以通过在"展开"部分添加一个表达式来实现这一点。例如，你可以写"explode(list)"来将数组展开为多行数据。
2023-10-30 14:48:14

赞同展开评论打赏
小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
在 DataWorks 中 MongoDB 的 List 类型与 ODPS 的 Array 类型之间集成，可以通过以下步骤实现：
1. 将 MongoDB 中 List 类型的数据转化为 String 类型。
2. 在 DataWorks 中建立映射关系时，设置 ODPS 目标表的字段类型为 STRING 类型。
3. 在写入 ODPS 表时，对 MongoDB 数据进行转化。
4. 再次读取 ODPS 表时，将 String 类型的数据解析为 Array 类型。
2023-10-30 11:38:36

赞同展开评论打赏
芯在这

Q1：MongoDB Reader数据类型：arrays、array、combine，写入ODPS预期结果 A1：MongoDB源端数据如下： "type": "arrays",写入odps预期结果： "type": "array", "splitter": " ,"写入odps预期结果： "type": "combine",写入odps预期结果： {"_id":"60588dfe1cde2c1149776095","array_data": [{"iid":"11111","nname":"zzzzsan"},{"iid":"222","nname":"wwwww"}]} ---

，此回答整理自钉群“DataWorks交流群(答疑@机器人)”

2023-10-29 23:31:42

赞同展开评论打赏