开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks在建模型时, 绑定了字段标准, 这个字段标准是用在哪里了?

DataWorks在建模型时, 绑定了字段标准, 这个字段标准是用在哪里了? 我看发布后表的DDL那些也没有跟字段标准相关的内容?只是在这个地方填充了下,代码模式里也没看到字段标准的限制,比如长度的限制。 然后在数据地图里也没有体现了

展开
收起
真的很搞笑 2023-10-16 22:08:47 73 0
5 条回答
写回答
取消 提交回答
  • 月移花影,暗香浮动

    在DataWorks的数据建模过程中,字段标准主要用于规范和约束数据处理的一致性。这些标准是在建模前规划制定的,或者根据业务需求在建模过程中逐步形成的。它们包括规范约束标准代码、度量单位、字段标准和命名词典等元素。例如,当注册表和登录表这两类表都存储了会员ID这个字段时,可以针对这个字段创建统一的数据标准,如指定数据处理的标准代码、字段的属性要求(如数据类型、长度、默认值等),以及数据的度量单位。

    然而,虽然字段标准在建模阶段起到了关键的作用,但在建模型后发布的DDL语句中并没有直接包含字段标准相关的信息。这是因为在数据地图中并未体现这部分内容,而且代码模式里也未看到字段标准的具体限制,比如长度的限制。此外,一旦某个字段被设定为标准代码,其取值范围必须在标准代码以内,否则需要进行数据质量治理。

    总的来说,尽管字段标准在模型创建阶段对于保障后续数据处理的一致性具有重要意义,但其直接的影响主要体现在后期数据分析和应用过程中。

    2023-10-17 16:00:53
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks在建模型时绑定的字段标准,主要是用于约束模型中的数据类型、长度等属性,确保模型的正确性和一致性。字段标准中的内容并不会直接体现在表的DDL语句或代码模式中,也不会在数据地图中体现。但是,这些约束会在模型的验证和运行时被自动检查和应用,以保证模型的正确性和一致性

    2023-10-17 13:58:48
    赞同 展开评论 打赏
  • 在DataWorks中,字段标准用于定义数据的标准格式和规范,以确保数据的一致性和准确性。字段标准通常包括以下内容:

    1. 字段名称:字段标准定义了字段的名称,以确保数据的一致性。
    2. 字段类型:字段标准定义了字段的数据类型,以确保数据的准确性。
    3. 字段长度:字段标准定义了字段的最大长度和最小长度,以确保数据的完整性。
    4. 字段值:字段标准定义了字段的值的范围和取值,以确保数据的准确性。

    在DataWorks中,字段标准通常用于数据开发、数据质量等模块中。在数据开发模块中,您可以使用字段标准来定义和管理数据的标准格式和规范,以确保数据的一致性和准确性。在数据质量模块中,您可以使用字段标准来检查和纠正数据中的错误和不一致,以确保数据的一致性和准确性。

    在DataWorks中,字段标准通常不会直接体现在表的DDL中,也不会直接体现在代码模式中。这是因为字段标准是用于定义数据的标准格式和规范,而不是用于定义表的结构和代码的模式。在DataWorks中,字段标准通常用于数据开发、数据质量等模块中,以确保数据的一致性和准确性。

    2023-10-17 11:29:23
    赞同 展开评论 打赏
  • 建模型的时候 关联字段标准 会自动填充字段名等信息 image.png
    您可以看下发布引擎生成物理表后的dqc规则 部分限制是由dqc实现 字段标准部分内容可能确实还没有强制约束,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-17 07:33:53
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在DataWorks中建模型时可以绑定字段标准,这样有助于规范表结构和字段定义,提高数据质量。字段标准是一组字段定义的规范和约定,通常包含字段名、数据类型、长度、精度、是否为空等属性。使用字段标准可以确保不同的表和字段具有一致的定义和约束,方便数据管理和交换。

    在建模型时,绑定字段标准可以通过以下步骤操作:

    1. 在数据开发-数据建模页面中选择要添加字段标准的数据表或数据源。
    2. 在属性配置栏中选择“字段标准绑定”,点击“编辑”按钮。
    3. 在标准库中选择或创建一个字段标准,然后将标准中的字段映射到当前数据表或数据源的字段上。

    字段标准绑定完成后,可以在代码模式中看到生成的表DDL语句中会包含字段定义和约束的信息。例如:

    CREATE TABLE `test_table` (
      `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
      `name` varchar(20) NOT NULL COMMENT '姓名',
      `age` int(11) DEFAULT NULL COMMENT '年龄',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='测试表';
    

    在上述代码中,可以看到每个字段都有对应的数据类型和注释。这些信息就是从字段标准中获取的,可以帮助开发人员更清晰地了解每个字段的含义和约束条件。

    需要注意的是,字段标准在建模时主要起到规范字段定义和约束的作用,不会直接影响数据处理和代码编写。如果需要对数据进行长度、格式等方面的验证,可以在SQL脚本中添加相应的逻辑实现。

    在数据地图中,可以通过搜索功能查找到与字段标准相关的数据表和字段信息。如果数据表或字段没有绑定字段标准,则可能无法在数据地图和数据资产目录中得到很好的展示。建议在数据管理中尽量规范使用字段标准,并按照标准创建和处理数据表和字段,以便更好地利用DataWorks提供的数据管理和交换功能。

    2023-10-17 08:09:40
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多