关于大规模录入的数据流转

简介:

因为要双次录入,双次一致才入正式库。经过试点区数据录入的教训,决定改进一下数据在库中的流转,A与B在 Table_T 录完后,若对比相同,选其中一条数据进入 Table_M ,同时将 A与B 的数据从Table_T 中移出,原样转入 Back_TableT,复核员在 Table_M 中进行复核,如数据没问题时,再转移进 Table_F 。  这样就有了4种同构表。  临时表、中间表、备份表、正式表。

      试点区数据时,因为程序的不完善,丢失了约2%的数据,还错位了一些数据,这次把所有的录入都原样保管,应该在程序出了问题时,仍能补救。如果在二个月后发现某项数据一直是错误的,会造成重大损失;
    还有,这样转移的考虑是,我们对于大数据的处理十分缺乏经验,这样把集中操作分散开来,同时的一种操作也不过在一张几万行记录的表里,应该不会随时间对实时录入速度产生越来越严重的影响。
   哪位朋友进行过大数据量或普查性质的表单实时录入软件,和俺联系了:)
本文转自   wenyan  51CTO博客,原文链接:http://blog.51cto.com/wenyan/10129
相关文章
|
存储 SQL 分布式计算
存储与计算分离:OSS构建表 + 计算引擎对接
看到标题,可能有用户要问:OSS不是用来存图片、视频、及文件的吗,还可以在上面建表、数仓?计算效率和经济性表现怎么样? 本文先给出基本结论: OSS是什么? 对象存储(Object Storage Service,简称OSS)是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务,是一种面向互联网的大规模、通用存储,提供RESTful API,具备容量和处理的弹性扩展能力。
16741 0
|
Apache 项目管理 流计算
祝贺!两位 Apache Flink PMC 喜提 Apache Member
目前,国内(华人)近 30 位 Apache Member 中,有 3 位是 Apache Flink 的核心贡献者。他们热爱开源也为开源贡献,不仅积极参与社区与其他 PMC 成员共同规划、主导 Apache Flink 的发展,更活跃在多个开源项目,持续为开源社区做贡献。
|
存储 弹性计算 运维
线下 + 线上多种迁移方式,为115 提供最佳迁移方案
线下 + 线上多种迁移方式,为115 提供最佳迁移方案
2436 0
 线下 + 线上多种迁移方式,为115 提供最佳迁移方案
|
域名解析 Web App开发 缓存
一文搞懂常用的网络概念:域名、静态IP和动态IP、域名解析DNS、动态域名解析DDNS
在此之前,我对于网络通讯上的一些基础概念总是含糊其辞,感觉自己知道都又道不出个所以然,总之就是不成体系难以有个整体的把握。因此有了本文,目的是对一些平时颇为关注的网络概念进行总结,描绘出它们的关系,借此也希望能去扫清你的一些障碍,给小伙伴们分享一波。
5012 0
一文搞懂常用的网络概念:域名、静态IP和动态IP、域名解析DNS、动态域名解析DDNS
|
人工智能 Cloud Native 算法
社区的力量 | SegmentFault 思否十周年,伙伴们说
社区的力量 | SegmentFault 思否十周年,伙伴们说
770 0
|
SQL JavaScript NoSQL
让Eclipse起飞——这些插件不可不知
让Eclipse起飞——这些插件不可不知
470 0
让Eclipse起飞——这些插件不可不知
|
缓存 负载均衡 网络协议
windows之DNS7种资源记录和flushdns命令清除DNS缓存以及nslookup解析域名和ipconfig/all命令查看网络配置使用总结
windows之DNS7种资源记录和flushdns命令清除DNS缓存以及nslookup解析域名和ipconfig/all命令查看网络配置使用总结
1032 0
windows之DNS7种资源记录和flushdns命令清除DNS缓存以及nslookup解析域名和ipconfig/all命令查看网络配置使用总结
|
存储 SQL API
【对话科技】Flink技术介绍和新功能展望
2017年6月22号,由“京城学堂”和阿里巴巴集团技术发展部主办的“对话科技”系列讲座邀请到了Apache Flink项目的PMC成员,来自德国DataArtisans公司的Till Rohrmann,在北京阿里中心为关注实时计算技术的阿里同学做了一场关于Apache Flink技术发展的精彩分享。
|
负载均衡 前端开发 应用服务中间件
nginx负载均衡的轮询机制
个人理解的Nginx中负载均衡的几种处理方式,以及它们的优缺点
4351 0