填报 - 分片问题分析

简介:

举例:多源普通填报表
1

描述:
2~6 行的数据来源于 rq_report_address_main 数据库表 字段指定对象名为 address_main,
8 行的数据来源于 rq_report_address_detail 数据库表 字段指定对象名为 details1
如果原始数据表 rq_report_address_detail 中,记录数小于 2,那么再预览查看表结构的时候会发现系统解析后将上下俩部分 分为了一片 如下图:
2

出现此现象的原因是:
目前分片规则是把界面中所有的单值划分到一组,只有存在多个值得字段才划分成新的组;
比如 我现在 D2 D3 C8 D8 等都是单值 如果解析的时候发现 C8 扩展出了多个值 那就把它及相关数值格单独划分为一个分片,而后要根据分析出来的分组情况编写不同的去向 dfx 程序。
补充:
除上述情况外,如精确指定字段名称所属对象的话,按照指定字段名称行列进行分片;
如不指定字段名称所属对象,第一步先自动确定字段名,第二步才自动分片 规则如下:
每片形成一个序表(序表可以理解为一个数据表)。通常行列上连续的一片数值格(连同对应的维度格)会被当做一片;
连续的多行(两行以上)中,只有数值格,没有维度格和非空普通格会被当做自由增删行的行式分片;除了这些分片以外的单值数据(维度格、数值格)将被拼到一个一行记录的序表中。

目录
相关文章
|
存储 缓存 NoSQL
关于数据库分片我们需要知道的
本文探讨了数据库分片的解决方案,强调了数据库分片在数据存储规模增长时的实用性。分片是将数据分布到多台机器上的技术,通过横向扩展和纵向扩展实现。文章还详细介绍了数据库分片的四种主要实现方式:什么都不做、垂直扩展、复制和专用数据库。每种方式都有其优点和限制,例如,垂直扩展可能需要更多的硬件资源,而复制可以提高读取性能,但可能需要更多的存储空间。最终,选择数据库分片方案应根据问题的复杂性和资源可用性来决定。
203 1
关于数据库分片我们需要知道的
|
8月前
|
分布式计算 关系型数据库 MySQL
DataWork数据处理问题之调整并发数量如何解决
DataWork数据处理是指使用DataWorks平台进行数据开发、数据处理和数据治理的活动;本合集将涵盖DataWork数据处理的工作流程、工具使用和问题排查,帮助用户提高数据处理的效率和质量。
|
7月前
|
存储 消息中间件 负载均衡
技术心得记录:架构设计之数据分片
技术心得记录:架构设计之数据分片
|
8月前
|
SQL 算法 Java
分库分表如何管理不同实例中几万张分片表?
分库分表如何管理不同实例中几万张分片表?
213 2
|
存储 缓存 NoSQL
如何解决数据热点问题
如何解决数据热点问题
|
SQL BI 索引
【SQL开发实战技巧】系列(二十八):数仓报表场景☞人员分布问题以及不同组(分区)同时聚集如何实现
【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作,毕竟SQL开发在数据分析场景非常重要且基础,面试也会经常问SQL开发和调优经验,相信当我写完这一系列文章,也能再有所收获,未来面对SQL面试也能游刃有余~。
【SQL开发实战技巧】系列(二十八):数仓报表场景☞人员分布问题以及不同组(分区)同时聚集如何实现
|
机器学习/深度学习 存储 BI
|
SQL 算法 Java
百万级别数据Excel导出优化
这篇文章不是标题党,下文会通过一个仿真例子分析如何优化百万级别数据Excel导出。
962 0
百万级别数据Excel导出优化
|
SQL 测试技术 开发者
|
SQL 存储 缓存
10w行级别数据的Excel导入优化记录,优秀
10w行级别数据的Excel导入优化记录,优秀
499 0
10w行级别数据的Excel导入优化记录,优秀