填报 - 分片问题分析

简介:

举例:多源普通填报表
1

描述:
2~6 行的数据来源于 rq_report_address_main 数据库表 字段指定对象名为 address_main,
8 行的数据来源于 rq_report_address_detail 数据库表 字段指定对象名为 details1
如果原始数据表 rq_report_address_detail 中,记录数小于 2,那么再预览查看表结构的时候会发现系统解析后将上下俩部分 分为了一片 如下图:
2

出现此现象的原因是:
目前分片规则是把界面中所有的单值划分到一组,只有存在多个值得字段才划分成新的组;
比如 我现在 D2 D3 C8 D8 等都是单值 如果解析的时候发现 C8 扩展出了多个值 那就把它及相关数值格单独划分为一个分片,而后要根据分析出来的分组情况编写不同的去向 dfx 程序。
补充:
除上述情况外,如精确指定字段名称所属对象的话,按照指定字段名称行列进行分片;
如不指定字段名称所属对象,第一步先自动确定字段名,第二步才自动分片 规则如下:
每片形成一个序表(序表可以理解为一个数据表)。通常行列上连续的一片数值格(连同对应的维度格)会被当做一片;
连续的多行(两行以上)中,只有数值格,没有维度格和非空普通格会被当做自由增删行的行式分片;除了这些分片以外的单值数据(维度格、数值格)将被拼到一个一行记录的序表中。

目录
相关文章
|
3月前
|
SQL 分布式计算 DataWorks
Dataphin常见问题之补数据任务卡着不动如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
SQL 分布式计算 DataWorks
实时数仓 Hologres产品使用合集之在主键重复写入时无法保证保留最后一条记录如何解决
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
SQL 数据建模 数据处理
Dataphin常见问题之指标粒度统计到维度表的某个字段如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
SQL 算法 Java
分库分表如何管理不同实例中几万张分片表?
分库分表如何管理不同实例中几万张分片表?
189 2
|
10月前
37MyCat - 分片规则(按单月小时拆分)
37MyCat - 分片规则(按单月小时拆分)
38 0
|
机器学习/深度学习 存储 BI
|
SQL 测试技术 开发者
|
存储 SQL 运维
高并发扛不住、复杂查询慢、数据存不下…别慌,痛点“全扫王” PolarDB-X来了!
2020年6月9日,“全速重构”2020阿里云·线上峰会即将隆重召开。
1189 0
高并发扛不住、复杂查询慢、数据存不下…别慌,痛点“全扫王” PolarDB-X来了!
|
存储 弹性计算 容灾
实战宝典 | 如何让备份数据秒级可用,随时查询历史数据?
盘活二级数据的方案,从解决方案的角度是成立的,但实施起来面临着许多技术困难。CDM是备份技术领域近几年备受关注的技术方向。业界对于CDM的定义各有一些不同,在数据库领域,我们认为CDM是多项技术组合而成的解决方案,目的是帮助用户更快速、低成本的保存和使用数据库备份数据。阿里云数据库备份产品DBS,运用了业界领先的CDM(Copy Data Management)技术,提供了完全克服以上技术困难的整体解决方案——DBS沙箱,帮助用户全面激活从备份数据到二级数据库业务生态。
2416 0
实战宝典 | 如何让备份数据秒级可用,随时查询历史数据?
|
DataWorks Shell