处理数据

实时计算的产生即来源于对于上述数据加工时效性的需求。数据的业务价值随着时间的流失而迅速降低，因此在数据发生后必须尽快对其进行计算和处理。而传统的大数据处理模式对于数据加工均遵循传统日清日毕模式，即以小时甚至以天为计算周期对当前数据进行累计并处理，显然这类处理方式无法满足数据实时计算的需求。在诸如实时大数据分析、风控预警、实时预测、金融交易等诸多业务场景领域，批量(或者说离线)处理对于上述对于数据处理时延要求苛刻的应用领域而言是完全无法胜任其业务需求的。而实时计算作为一类针对流数据的实时计算模型，可有效地缩短全链路数据流时延、实时化计算逻辑、平摊计算成本，最终有效满足实时处理大数据的业务需求。

离线计算使用hadoop，实时计算使用storm。两者区别如下：数据来源：Hadoop是HDFS上某个文件夹下的数据，数据量可能以TB来计；而Storm则是实时新增的某一笔数据。处理过程：Hadoop是Map阶段到Reduce阶段的；Storm是由用户定义处理流程，流程中可以包含多个步骤，每个步骤可以是数据源(SPOUT)，也可以是处理逻辑(BOLT)。是否结束：Hadoop最后必须要结束；而Storm没有结束状态，到最后一步时，就停在那，直到有新数据进入时再重新开始。处理速度：Hadoop以处理HDFS上大量数据为目的，速度慢；Storm只要处理新增的某一笔数据即可，故此它的速度很快。适用场景：Hadoop主要是处理一批数据，对时效性要求不高，需要处理就提交一个JOB；而Storm主要是处理某一新增数据的，故此时效性要求高。

Hadoop是一个开源框架，用于以分布式方式存储和处理大数据。Hadoop的核心组件是 - HDFS（Hadoop分布式文件系统） - HDFS是Hadoop的基本存储系统。在商用硬件集群上运行的大型数据文件存储在HDFS中。即使硬件出现故障，它也能以可靠的方式存储数据。 Hadoop的核心组件 Hadoop MapReduce - MapReduce是负责数据处理的Hadoop层。它编写了一个应用程序来处理存储在HDFS中的非结构化和结构化数据。它负责通过将数据划分为独立任务来并行处理大量数据。处理分两个阶段完成Map和Reduce。Map是指定复杂逻辑代码的第一个处理阶段，Reduce是指定轻量级操作的第二阶段处理。 YARN - Hadoop中的处理框架是YARN。它用于资源管理并提供多种数据处理引擎，即数据科学，实时流和批处理。

批量计算目前绝大部分传统数据计算和数据分析服务均是基于批量数据处理模型: 使用ETL系统或者OLTP系统进行构造数据存储，在线的数据服务(包括Ad-Hoc查询、DashBoard等服务)通过构造SQL语言访问上述数据存储并取得分析结果。这套数据处理的方法论伴随着关系型数据库在工业界的演进而被广泛采用。但在大数据时代下，伴随着越来越多的人类活动被信息化、进而数据化，越来越多的数据处理要求实时化、流式化，当前这类处理模型开始面临实时化的巨大挑战。传统的批量数据处理模型传统的批量数据处理通常基于如下处理模型： 使用ETL系统或者OLTP系统构造原始的数据存储，以提供给后续的数据服务进行数据分析和数据计算。即下图，用户装载数据，系统将根据自己的存储和计算情况，对于装载的数据进行索引构建等一系列查询优化工作。因此，对于批量计算，数据一定需要预先加载到计算系统，后续计算系统才在数据加载完成后方能进行计算。 系统主动发起一个计算作业(例如MaxCompute的SQL作业，或者Hive的SQL作业)并向上述数据系统进行请求。此时计算系统开始调度(启动)计算节点进行大量数据计算，该过程的计算量可能巨大，耗时长达数分钟乃至于数小时。同时，由于数据累计的不可及时性，上述计算过程的数据一定是历史数据，无法保证数据的”新鲜”。您可以根据自己需要随时调整计算SQL，甚至于使用AdHoc查询，可以做到即时修改即时查询。 计算结果返回，计算作业完成后将数据以结果集形式返回给您，或者可能由于计算结果数据量巨大保存着数据计算系统中，您进行再次数据集成到其他系统。一旦数据结果巨大，整体的数据集成过程漫长，耗时可能长达数分钟乃至于数小时。 批量示意图 批量计算是一种批量、高时延、主动发起的计算。 您使用的批量计算的顺序是: 预先加载数据。 提交计算作业，并且可以根据业务需要修改计算作业，再次提交作业。 计算结果返回。 实时计算不同于批量计算模型，实时计算更加强调计算数据流和低时延，实时计算数据处理模型如下： 使用实时数据集成工具，将数据实时变化传输到流式数据存储(即消息队列，如DataHub)；此时数据的传输变成实时化，将长时间累积大量的数据平摊到每个时间点不停地小批量实时传输，因此数据集成的时延得以保证。 此时数据将源源不断写入流数据存储，不需要预先加载的过程。同时流计算对于流式数据不提供存储服务，数据是持续流动，在计算完成后就立刻丢弃。 数据计算环节在流式和批量处理模型差距更大，由于数据集成从累积变为实时，不同于批量计算等待数据集成全部就绪后才启动计算作业，流式计算作业是一种常驻计算服务，一旦启动将一直处于等待事件触发的状态，一旦有小批量数据进入流式数据存储，流计算立刻计算并迅速得到结果。同时，阿里云流计算还使用了增量计算模型，将大批量数据分批进行增量计算，进一步减少单次运算规模并有效降低整体运算时延。 从用户角度，对于流式作业，必须预先定义计算逻辑，并提交到流式计算系统中。在整个运行期间，流计算作业逻辑不可更改！用户通过停止当前作业运行后再次提交作业，此时之前已经计算完成的数据是无法重新再次计算。 不同于批量计算结果数据需等待数据计算结果完成后，批量将数据传输到在线系统；流式计算作业在每次小批量数据计算后可以立刻将数据写入在线/批量系统，无需等待整体数据的计算结果，可以立刻将数据结果投递到在线系统，进一步做到实时计算结果的实时化展现。 实时示意图 实时计算是一种持续、低时延、事件触发的计算作业。您使用实时计算的顺序是: 提交实时计算作业。 等待流式数据触发实时计算作业。 计算结果持续不断对外写出。 模型对比下表给出了实时计算与批量计算两类计算模型的差别： 对比指标 批量计算 实时计算数据集成方式 预先加载数据 实时加载数据实时计算使用方式 业务逻辑可以修改，数据可重新计算 业务逻辑一旦修改，之前的数据不可重新计算(流数据易逝性)。数据范围 对数据集中的所有或大部分数据进行查询或处理。 对滚动时间窗口内的数据或仅对最近的数据记录进行查询或处理。数据大小 大批量数据。 单条记录或包含几条记录的微批量数据。性能 几分钟至几小时的延迟。 只需大约几秒或几毫秒的延迟。分析 复杂分析。 简单的响应函数、聚合和滚动指标。在大部分大数据处理场景下，受限于当前实时计算的整个计算模型较为简单，实时计算是批量计算的有效增强，特别在于对于事件流处理时效性上，实时计算对于大数据计算是一个不可或缺的增值服务。

简单点的思路是把接收数据和处理数据的逻辑分开。接收数据的部分只负责接收数据，接收完记录到一个处理队列。然后处理数据部分不断地从任务队列取任务处理。这样就不会因为处理不过来而无法接收任务了。不过如果是机器的处理能力不足，任务队列必然会堆积，这也是要解决的问题，可以考虑用分布式的方式来处理任务，大家共享任务队列。

登录算一条业务，你不能这样去理解service层，Service层一般用来处理业务逻辑，其实说处理业务逻辑因为在在这一层里面提对事务进入操作的，你对业务数据进行操作，你要对数据库进行增删改查吧？其中增删改就是对事务进行处理了，当你对数据库里面多个表进行操作，多条数进行操作，如果ABCD四条数据 ，如果AB进行插入操作成功 了，如果C插入失败呢，那么你是不应该要对事务进行rollback(回滚)，如果你在Service层进行处理你不用担心万一有一条数据插入失败其他要进行回退的事情怎么去处理，Spring的Service层封装对事务进行处理，保持一致性。通常会在service层加上@Transactional来进行事务控制，你写代码的时候就不用担心要对数据进行rollback操作，spring帮你去处理。查询的东西你可以在controller层里面进行操作，看公司的规范吧，但是对事务处理就一定要在service层，要保持数据的一致性，你记住当你对数据进行增删改都要在service层去进行操作就可以了，是为了保持数据的一致性。希望对你有帮助

数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据存储与处理能力分析已有的数据。 DataWorks提供数据集成服务，可以支持多种数据源类型，根据预设的调度周期同步业务系统的数据至MaxCompute。数据分析与处理：完成数据的同步后，可以对MaxCompute中的数据进行加工（MaxCompute SQL、MaxCompute MR）、分析与挖掘（数据分析、数据挖掘）等处理，从而发现其价值。数据提取：分析与处理后的结果数据，需要同步导出至业务系统，以供业务人员使用其分析的价值。数据展现与分享：数据提取成功后，可以通过报表、地理信息系统等多种展现方式，展示与分享大数据分析、处理后的成果。

基于阿里云存储的文档、图片、视频等多媒体数据，典型的应用场景有图片应用、网盘应用等，针对目前的架构进行如下场景分析。 场景分析1：图片应用 对于图片应用来说，它首先上传图片、视频到对象存储中；随着业务的不断发展和法规政策的监管需求，会增加鉴黄检测、标签检测、人脸检测、OCR 识别等 AI 分析功能，如下图所示。 图片社区 通常，图片应用会选择采用业务服务器安装不同厂家的 AI 分析能力，通过这些功能得到关键的元数据信息，然后保存到数据库中，从而更好的支撑元数据检索，支撑业务和监管的需求。 场景痛点 采用此方案，会存在如下的痛点： 接口不统一。因为有多厂家的选型，需要考虑不同厂家接口的兼容性。 资源浪费。同一张图片会被多次读取，甚至是传输到外部网络，浪费网络带宽。 无存量数据的低成本批量处理方案。采用厂商的同步处理价格高昂，需要提供存量数据的低成本批量处理方案，接受异步接口返回检测结果（比如针对存量的 OSS Bucket 里面的所有图片，进行打标处理）。 场景分析2：网盘 对于网盘应用来说，通常需要用户登录、目录服务、数据直传 OSS、AI 智能处理等功能。通过后端使用服务器和数据库，其架构如下图所示。 网盘 为了支撑网盘的数据管理，通常需要提供各类元数据管理，特别是在 AI 智能处理场景下，需要定义相关的存储格式，处理数据库的异常，这带来了较大的开发难度。 场景痛点 采用此方案，会存在如下的难点： 元数据表设计难度大。针对不同的元数据，需要分类设计各类表结构存储，有相当的技术门槛。 多维度元数据管理有挑战。需要组合多种元数据，进行关联查询处理，存在设计挑战。 维护元数据的的一致性难题。解决这些元数据在异常场景下的恢复处理，是系统级难题。 智能媒体管理产品优势 针对上述场景痛点的分析，智能媒体管理服务围绕 6 个关键点（海量数据、端云拉通、标准统一、智能分析、场景结合、一键处理）进行设计，从而提供基于场景的 AI 智能处理方案，如下图所示。 痛点 通过针对性的架构设计，使用智能媒体管理存在如下优势： 存储数据无缝贴合。与 OSS 云存储产品直接关联，自动处理云上数据。 丰富数据处理。结合业界优秀的识别、处理能力，为您的应用处理提供丰富的功能支持。 简化运维。提供 Serverless 化服务，无需关心业务运维。 场景化一站式解决方案。面向场景的构建快捷的元数据管理，快速实现应用。

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。 　　大数据有四个基本特征：一、数据体量巨大（Vomule），二、数据类型多样（Variety），三、处理速度快（Velocity），四、价值密度低（Value）。 　　在大数据的领域现在已经出现了非常多的新技术，这些新技术将会是大数据收集、存储、处理和呈现最强有力的工具。大数据处理一般有以下几种关键性技术：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。 　　大数据处理之一：采集。大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。 　　在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。 　　大数据处理之二：导入和预处理。虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。 　　导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。 　　大数据处理之三：统计和分析。统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。 　　统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。 　　大数据处理之四：挖掘。与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。 　　整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。 　　大数据的处理方式大致分为数据流处理方式和批量数据处理方式两种。数据流处理的方式适合用于对实时性要求比较高的场合中。并不需要等待所有的数据都有了之后再进行处理，而是有一点数据就处理一点，更多地要求机器的处理器有较快速的性能以及拥有比较大的主存储器容量，对辅助存储器的要求反而不高。批量数据处理方式是对整个要处理的数据进行切割划分成小的数据块，之后对其进行处理。重点在于把大化小——把划分的小块数据形成小任务，分别单独进行处理，并且形成小任务的过程中不是进行数据传输之后计算，而是将计算方法（通常是计算函数——映射并简化）作用到这些数据块最终得到结果。 　　当前，对大数据的处理分析正成为新一代信息技术融合应用的节点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据也是信息产业持续高速增长的新引擎。面对大数据市场的新技术、新产品、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动”转变为“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测，跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。 　　目前大数据在医疗卫生领域有广为所知的应用，公共卫生部门可以通过覆盖全国的患者电子病历数据库进行全面疫情监测。5千万条美国人最频繁检索的词条被用来对冬季流感进行更及时准确的预测。学术界整合出2003年H5N1禽流感感染风险地图，研究发行此次H7N9人类病例区域。社交网络为许多慢性病患者提供了临床症状交流和诊治经验分享平台，医生借此可获得院外临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。 　　在医药研发方面，大数据的战略意义在于对各方面医疗卫生数据进行专业化处理，对患者甚至大众的行为和情绪的细节化测量成为可能，挖掘其症状特点、行为习惯和喜好等，找到更符合其特点或症状的药品和服务，并针对性的调整和优化。在医药研究开发部门或公司的新药研发阶段，能够通过大数据技术分析来自互联网上的公众疾病药品需求趋势，确定更为有效率的投入产品比，合理配置有限研发资源。除研发成本外，医药公司能够优化物流信息平台及管理，更快地获取回报，一般新药从研发到推向市场的时间大约为13年，使用数据分析预测则能帮助医药研发部门或企业提早将新药推向市场。 　　在疾病诊治方面，可通过健康云平台对每个居民进行智能采集健康数据，居民可以随时查阅，了解自身健康程度。同时，提供专业的在线专家咨询系统，由专家对居民健康程度做出诊断，提醒可能发生的健康问题，避免高危病人转为慢性病患者，避免慢性病患者病情恶化，减轻个人和医保负担，实现疾病科学管理。对于医疗卫生机构，通过对远程监控系统产生数据的分析，医院可以减少病人住院时间，减少急诊量，实现提高家庭护理比例和门诊医生预约量的目标。武汉协和医院目前也已经与市区八家社区卫生服务中心建立远程遥控联系，并将在未来提供“从医院到家”的服务。在医疗卫生机构，通过实时处理管理系统产生的数据，连同历史数据，利用大数据技术分析就诊资源的使用情况，实现机构科学管理，提高医疗卫生服务水平和效率，引导医疗卫生资源科学规划和配置。大数据还能提升医疗价值，形成个性化医疗，比如基于基因科学的医疗模式。 　　在公共卫生管理方面，大数据可以连续整合和分析公共卫生数据，提高疾病预报和预警能力，防止疫情爆发。公共卫生部门则可以通过覆盖区域的卫生综合管理信息平台和居民信息数据库，快速监测传染病，进行全面疫情监测，并通过集成疾病监测和响应程序，进行快速响应，这些都将减少医疗索赔支出、降低传染病感染率。通过提供准确和及时的公众健康咨询，将会大幅提高公众健康风险意识，同时也将降低传染病感染风险。 　　在居民健康管理方面，居民电子健康档案是大数据在居民健康管理方面的重要数据基础，大数据技术可以促进个体化健康事务管理服务，改变现代营养学和信息化管理技术的模式，更全面深入地从社会、心理、环境、营养、运动的角度来对每个人进行全面的健康保障服务，帮助、指导人们成功有效地维护自身健康。另外，大数据可以对患者健康信息集成整合，在线远程为诊断和治疗提供更好的数据证据，通过挖掘数据对居民健康进行智能化监测，通过移动设备定位数据对居民健康影响因素进行分析等等，进一步提升居民健康管理水平。 　　在健康危险因素分析方面，互联网、物联网、医疗卫生信息系统及相关信息系统等普遍使用，可以系统全面地收集健康危险因素数据，包括环境因素（利用GIS系统采集大气、土壤、水文等数据），生物因素（包括致病性微生物、细菌、病毒、真菌等的监测数据），经济社会因素（分析经济收入、营养条件、人口迁徙、城镇化、教育就业等因素数据），个人行为和心理因素，医疗卫生服务因素，以及人类生物遗传因素等，利用大数据技术对健康危险因素进行比对关联分析，针对不同区域、人群进行评估和遴选健康相关危险因素及制作健康监测评估图谱和知识库也成为可能，提出居民健康干预的有限领域和有针对性的干预计划，促进居民健康水平的提高。 答案来源于网络

阿里云OSS为在云上的数据打通了一个处理与使用的快速通道。通过简单的 RESTful 接口，可以在任何时间、任何地点、任何互联网设备上对存储在OSS中的数据进行分析处理。 数据处理包含以下两种： 阿里云OSS原生处理服务 阿里云OSS原生处理服务包括图片处理和视频截帧，其中图片处理包括图片的缩略、剪裁、参数调节等。 OSS原生处理服务无需开通，默认集成在OSS中，创建完Bucket后即可使用。产生的数据处理费用直接在OSS上结算。 智能媒体管理服务 阿里云OSS与智能媒体管理（IMM）深度结合，支持文档预览、文档格式转换、人脸识别、图片分析、二维码识别等丰富的数据分析处理操作。

写过类似的东西,像这种需要多次更新同一账号数据的时候,我们的做法是处理完数据后不立即存入mysql,而是放在了redis中,后面的数据更新都在redis修改,在redis积累了数千条数据后在异步的写一次数据到mysql,效果不错卤煮的场景多进程处理建议只负责数据处理,处理完的放redis,在单独用一个脚本定时检测redis达到条件的时候(一定条数或时间)存一次数据到mysql

Hadoop支持大数据的存储和处理。它是处理大数据挑战的最佳解决方案。Hadoop的一些重要功能是 - 开源 - Hadoop是一个开源框架，这意味着它是免费提供的。此外，允许用户根据他们的要求更改源代码。 分布式处理 - Hadoop支持数据的分布式处理，即更快的处理。Hadoop HDFS中的数据以分布式方式存储，MapReduce负责数据的并行处理。 容错力 - Hadoop具有高度容错能力。默认情况下，它为不同节点的每个块创建三个副本。这个数字可以根据要求改变。因此，如果一个节点发生故障，我们可以从另一个节点恢复数据。节点故障的检测和数据的恢复是自动完成的。 可靠性 - Hadoop以独立于计算机的可靠方式在群集上存储数据。因此，存储在Hadoop环境中的数据不受机器故障的影响。 可伸缩性 - Hadoop的另一个重要特性是可伸缩性。它与其他硬件兼容，我们可以轻松地将新硬件分配给节点。 高可用性 -即使在硬件故障后，也可以访问存储在Hadoop中的数据。如果硬件发生故障，可以从另一个路径访问数据。

数据质量的管理，分为三部分：“监管控”，1、监：建立全链路数据流监察系统，对数据的采集、处理、呈现、使用、等重要的数据质量节点，通过系统化的手段进行数据监察，建立数据质量规则，实时数据告警；2、管：数据的管理机制，数据指标的统一管理机制、数据服务的统一管理机制、数据问题发现与处理的统一管理机制。3、控：对数据问题建立控制机制与校验机制，实时校验与修正数据问题，或者有规范的流程，处理数据问题。 在没有准确值对比的情况下，建立准确性评估规则，准确值范围评估规则、专家经验评估，如果数据重要等级高，设定一段时间为校验期，然后才允许数据进入下一环节。

web数据集成技术可以从web上自动获取数据，但是获取的信息存在着大量的脏数据，比如滥用缩写词，惯用语，数据输入错误，重复记录，丢失值，拼写变化，不同的计量单位。这些数据是没有意义的，根本就不可能为以后的数据挖掘决策分析提供任何支持。数据清洗主要是提高数据的可用性，目前，数据清洗主要应用于三个领域： 1 数据仓库（DW） 2数据库中的知识发现（KDD） 3数据质量管理（TDQM) 我在公司里的第一个项目就是数据质量管理，在这里在说下数据质量管理： 通过制定、实施数据质量检核，暴露各系统数据质量问题。持续监控各系统数据质量波动情况及数据质量规则占比分析，定期生成各系统关键数据质量报告，掌握系统数据质量状况。结合系统提供的清洗组件以及数据质量问题处理流程为各系统数据质量提升提供有效支撑。数据质量（DataQuality）管理是贯穿数据生命周期的全过程，覆盖质量评估，数据去噪，数据监控，数据探查，数据清洗，数据诊断等方面。数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。数据质量管理准则包括测量、提高组织数据的质量和整合性的方法。数据质量处理包括数据标准化、匹配、生存和质量监测。数据必须具备适当的质量，以解决业务要求问题。 结合大数据的参考框架及数据处理实际需求情况，数据质量管理系统主要功能定位为：数据发现、质量管理、元数据、主数据管理和信息政策管理。在数据生命周期中，数据的获取和使用周期包括系列活动：评估，分析，调整，丢弃数据，目前数据清洗的模型： 基于粗糙集理论数据清洗 基于聚式模式数据清洗 基于模糊匹配数据清洗模型 基于遗传神经网络数据清洗 基于专家系统体系结构等数据校验及转换 数据校验的目的是确保抽取数据本身的正确性和完整性， 数据转换的目的是保证数据的一致性数据清洗流程1数据预处理： 包括数据元素化，保准化 2确定清洗方法： 3校验清洗方法：先验证所用的清洗方法是否合适，抽取小样本进行验证，判断其召回率和准确率 4执行清洗工具： 5数据归档：将新旧数据源进行归档处理，方便以后的清洗一般情况下，模式中反应的元数据对应判断一个数据源的质量远远不够，因此通过具体实例来获得有关数据熟悉和不寻常模式的元数据很重要。这些元数据可以帮助发现数据质量问题，也有助于发现属性间的依赖关系，

其实这个不是加锁的问题，而是数据分发的问题。加锁是为了防止高并发下产生脏数据，而你其实是希望处理过或者已被其他线程先拿到的数据不要再处理了，对吧？如何进行数据分发，提高集群（或多线程）处理效率，这个要结合你们的数据模型来考虑。比如处理的数据ID中有数字标识，当前你有10台机器或者10个线程，那么可以让这10台机器各自读取1/10的数据，这可以通过取余(%10)做到。比如第1台机器读取i%10==1的ID的数据，第2台读取i%10==2的，以此类推。