DataWorks中MongoDB Reader类型转换列表?
String类型转换为ObjectId类型
Number类型转换为Double类型
Boolean类型转换为Integer类型
Date类型转换为ISODate类型
Array类型转换为Array类型
Object类型转换为Object类型
Undefined类型转换为2023-02-27 14:19:17类型
阿里云DataWorks中的MongoDB Reader类型转换列表如下:
这些类型转换列表可以帮助您将MongoDB Reader数据转换为DataWorks支持的数据类型。
在DataWorks中,MongoDB Reader是用于读取MongoDB数据库的数据源插件。该插件支持将MongoDB的原始数据类型转换为DataWorks中的标准数据类型。
以下是MongoDB Reader类型转换列表:
MongoDB数据类型 | DataWorks数据类型 |
---|---|
Double | DOUBLE |
String | STRING |
Object | RECORD |
Array | ARRAY |
Boolean | BOOLEAN |
Date | DATETIME |
Null | NULL |
Int | LONG |
Long | LONG |
Decimal | DECIMAL |
Binary | BINARY |
ObjectId | STRING |
Timestamp | TIMESTAMP |
Regex | STRING |
JavaScript | STRING |
Symbol | STRING |
JavaScriptWithScope | STRING |
请注意,上述映射列表只适用于常见的MongoDB数据类型和对应的DataWorks数据类型。如果您使用了其他特殊的MongoDB数据类型,可能需要进行自定义的转换或处理。
MongoDB Reader支持大部分MongoDB类型,但也存在部分没有支持的情况,请注意检查您的数据类型。MongoDB Reader针对MongoDB类型的转换列表,如下所示。类型分类 MongoDB数据类型
LONG INT、LONG、document.INT和document.LONG
DOUBLE DOUBLE和document.DOUBLE
STRING STRING、ARRAY、document.STRING、document.ARRAY和COMBINE
DATE DATE和document.DATE
BOOLEAN BOOL和document.BOOL
BYTES BYTES和document.BYTES说明 document类型为嵌入文档类型,即OBJECT类型。COMBINE类型的使用如下:使用MongoDB Reader插件读出数据时,支持将MongoDB document中的多个字段合并成一个JSON串。例如,导入MongoDB中的字段至MaxCompute,有字段如下(下文均省略了value使用key来代替整个字段)的三个document,其中a、b是所有document均有的公共字段,x_n是不固定字段。doc1: a b x_1 x_2
doc2: a b x_2 x_3 x_4
doc3: a b x_5配置文件中要明确指出需要一一对应的字段,需要合并的字段则需另取名称(不可以与document中已存在字段同名),并指定类型为COMBINE,如下所示。"column": [{"name": "a","type": "string",},{"name": "b","type": "string",},{"name": "doc","type": "combine",}]最终导出的MaxCompute结果如下所示。odps_column1 odps_column2 odps_column3
a b {x_1,x_2}
a b {x_2,x_3,x_4}
a b {x_5}说明使用COMBINE类型合并MongoDB Document中的多个字段后,输出结果映射至MaxCompute时会自动删除公共字段,仅保留Document的特有字段。例如,a、b为所有Document均有的公共字段,Document文件doc1: a
https://help.aliyun.com/document_detail/137723.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks中,MongoDB Reader类型转换列表如下:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。