填报 - 分片问题分析

简介:

举例:多源普通填报表
1

描述:
2~6 行的数据来源于 rq_report_address_main 数据库表 字段指定对象名为 address_main,
8 行的数据来源于 rq_report_address_detail 数据库表 字段指定对象名为 details1
如果原始数据表 rq_report_address_detail 中,记录数小于 2,那么再预览查看表结构的时候会发现系统解析后将上下俩部分 分为了一片 如下图:
2

出现此现象的原因是:
目前分片规则是把界面中所有的单值划分到一组,只有存在多个值得字段才划分成新的组;
比如 我现在 D2 D3 C8 D8 等都是单值 如果解析的时候发现 C8 扩展出了多个值 那就把它及相关数值格单独划分为一个分片,而后要根据分析出来的分组情况编写不同的去向 dfx 程序。
补充:
除上述情况外,如精确指定字段名称所属对象的话,按照指定字段名称行列进行分片;
如不指定字段名称所属对象,第一步先自动确定字段名,第二步才自动分片 规则如下:
每片形成一个序表(序表可以理解为一个数据表)。通常行列上连续的一片数值格(连同对应的维度格)会被当做一片;
连续的多行(两行以上)中,只有数值格,没有维度格和非空普通格会被当做自由增删行的行式分片;除了这些分片以外的单值数据(维度格、数值格)将被拼到一个一行记录的序表中。

目录
打赏
0
0
0
0
2
分享
相关文章
【YashanDB知识库】kettle同步大表提示java内存溢出
在数据导入导出场景中,使用Kettle进行大表数据同步时出现“ERROR:could not create the java virtual machine!”问题,原因为Java内存溢出。解决方法包括:1) 编辑Spoon.bat增大JVM堆内存至2GB;2) 优化Kettle转换流程,如调整批量大小、精简步骤;3) 合理设置并行线程数(PARALLELISM参数)。此问题影响所有版本,需根据实际需求调整相关参数以避免内存不足。
分库分表如何管理不同实例中几万张分片表?
分库分表如何管理不同实例中几万张分片表?
228 2
hbase Normalizer解决预分区错误,在不动数据的情况下完美解决热点问题
hbase Normalizer解决预分区错误,在不动数据的情况下完美解决热点问题
216 0
hbase Normalizer解决预分区错误,在不动数据的情况下完美解决热点问题
[MySQL优化案例]系列 — 索引、提交频率对InnoDB表写入速度的影响
[MySQL优化案例]系列 — 索引、提交频率对InnoDB表写入速度的影响
151 0
[MySQL优化案例]系列 — 索引、提交频率对InnoDB表写入速度的影响
mysql优化大批量数据时的分页操作
mysql大数据量下的优化分页的方式,仅供参考。
mysql优化大批量数据时的分页操作
简单的EXCEL导入实战(错误数据记录原因,正确数据入库)
简单的EXCEL导入实战(错误数据记录原因,正确数据入库)
1634 0
简单的EXCEL导入实战(错误数据记录原因,正确数据入库)
脚本中如何做填报数据校验
在很多填报表项目的开发过程中,为了保证数据规范且有效,常会在报表中设置各种校验以达到目的,比如:工资金额最多只允许包含两位小数、邮政编码必须是全数字组成的 6 位数且首位数字不能是 0 ,等等。这些要求,我们都可以利用报表工具提供的数据类型校验、单元格校验等手段来实现,但是总有“意外”情况出现,比如:小计校验要求分组内的各值相加等于分组小计,这种类型的校验有什么难点?怎么实现?下面我们举例实际看一下。
860 0