数据处理管理可以做什么

我觉得有三个维度，第一是说人工智能AI的技术来智能化的管控平台。我们现在数据库实例非常多，系统处理也变得越来越复杂。像NoSQL、OLTP、OLAP，要处理结构化数据，同时也要处理非结构化数据等等。在阿里，管理云上超过了几十万的实例数，集团内也有几十万的实例数，如何去高效和管理这么多的数据库实例？异常发现、异常检测、Slow SQL、MySQL、内存管理等这些都是依赖人工智能技术的。比如说在阿里巴巴集团内部用机器学习和人工智能技术实时去采集所有实例运行的状态，把它的IO/CPO的使用率和它的Workload的特点，去在线建模做8份大小的调整，每一个数据库的实例它是4G、8G、16G。为什么要做这件事？因为随着它一天Workload的变化，它实际上不需要在一天内的任何时候都需要一个非常大的Buffer，可能高峰Buffer要扩，等到峰值过去后Buffer可以缩下来，这样的话就可以把内存资源做一个动态调度。 第二是在内核里面。比如说做内存管理和做查询优化，现在业界也在开始使用一些机器学习的方法。传统使用一些简单的统计方法来做一些内存管理、做查询优化、Buffer Management，比如说LRU 或者 MRU这种非常简单的方式。现在可以看到有一些人工智能和机器学习的方法来做更复杂但是更智能化的、高效的智能化管理，以及CBO这是查询优化里很重要的一块。 第三个维度是说在数据库的应用层，需要对非结构化的数据进行处理，除了结构化的数据。比如说在ADB里面就把非结构化数据先做一个转换，把它从非结构化数据转化到高纬的向量，比如说用 embeddng把这种文档或者是图像甚至像视频都可以把他们映射到一个高维的空间里面，这样的话做一个向量处理引擎，就能把这种非结构化数据变成高维向量，再通过这些高维向量处理引擎把这些非结构化数据和结构化数据在一个数据库引擎里进行联合的查询和分析。这就是用数据库系统来支持AI机器学习和数据处理和 Workload。 总结来讲有两个维度AI或DB，就是机器学习和人工智能技术使得数据库系统更高效、更可靠、更好用。另外一个是DB或AI，就是用数据库的系统来支持机器学习和人工智能的处理。

猛烈推荐阿里云maxcomputehttps://www.aliyun.com/product/odps?spm=5176.10695662.747654.1.7d48dde1mj6sTh做基因技术，必然需要大量处理各种基因数据，寻找数据中的特征、规律、因果。（或者说所有的科研都需要这样的数据处理能力）数据量一大，怎么组织，怎么管理，使用什么计算模型都会是非常头大的问题。maxcompute正可以为你解决这些烦恼，它在阿里内部已经得到巨量的成功实践。有了它，就有了一个又好又快的大数据计算平台，最大限度提速数据处理，不管是写论文还是出报告都是嗖嗖的快。

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。 　　大数据有四个基本特征：一、数据体量巨大（Vomule），二、数据类型多样（Variety），三、处理速度快（Velocity），四、价值密度低（Value）。 　　在大数据的领域现在已经出现了非常多的新技术，这些新技术将会是大数据收集、存储、处理和呈现最强有力的工具。大数据处理一般有以下几种关键性技术：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。 　　大数据处理之一：采集。大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。 　　在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。 　　大数据处理之二：导入和预处理。虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。 　　导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。 　　大数据处理之三：统计和分析。统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。 　　统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。 　　大数据处理之四：挖掘。与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。 　　整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。 　　大数据的处理方式大致分为数据流处理方式和批量数据处理方式两种。数据流处理的方式适合用于对实时性要求比较高的场合中。并不需要等待所有的数据都有了之后再进行处理，而是有一点数据就处理一点，更多地要求机器的处理器有较快速的性能以及拥有比较大的主存储器容量，对辅助存储器的要求反而不高。批量数据处理方式是对整个要处理的数据进行切割划分成小的数据块，之后对其进行处理。重点在于把大化小——把划分的小块数据形成小任务，分别单独进行处理，并且形成小任务的过程中不是进行数据传输之后计算，而是将计算方法（通常是计算函数——映射并简化）作用到这些数据块最终得到结果。 　　当前，对大数据的处理分析正成为新一代信息技术融合应用的节点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据也是信息产业持续高速增长的新引擎。面对大数据市场的新技术、新产品、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动”转变为“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测，跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。 　　目前大数据在医疗卫生领域有广为所知的应用，公共卫生部门可以通过覆盖全国的患者电子病历数据库进行全面疫情监测。5千万条美国人最频繁检索的词条被用来对冬季流感进行更及时准确的预测。学术界整合出2003年H5N1禽流感感染风险地图，研究发行此次H7N9人类病例区域。社交网络为许多慢性病患者提供了临床症状交流和诊治经验分享平台，医生借此可获得院外临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。 　　在医药研发方面，大数据的战略意义在于对各方面医疗卫生数据进行专业化处理，对患者甚至大众的行为和情绪的细节化测量成为可能，挖掘其症状特点、行为习惯和喜好等，找到更符合其特点或症状的药品和服务，并针对性的调整和优化。在医药研究开发部门或公司的新药研发阶段，能够通过大数据技术分析来自互联网上的公众疾病药品需求趋势，确定更为有效率的投入产品比，合理配置有限研发资源。除研发成本外，医药公司能够优化物流信息平台及管理，更快地获取回报，一般新药从研发到推向市场的时间大约为13年，使用数据分析预测则能帮助医药研发部门或企业提早将新药推向市场。 　　在疾病诊治方面，可通过健康云平台对每个居民进行智能采集健康数据，居民可以随时查阅，了解自身健康程度。同时，提供专业的在线专家咨询系统，由专家对居民健康程度做出诊断，提醒可能发生的健康问题，避免高危病人转为慢性病患者，避免慢性病患者病情恶化，减轻个人和医保负担，实现疾病科学管理。对于医疗卫生机构，通过对远程监控系统产生数据的分析，医院可以减少病人住院时间，减少急诊量，实现提高家庭护理比例和门诊医生预约量的目标。武汉协和医院目前也已经与市区八家社区卫生服务中心建立远程遥控联系，并将在未来提供“从医院到家”的服务。在医疗卫生机构，通过实时处理管理系统产生的数据，连同历史数据，利用大数据技术分析就诊资源的使用情况，实现机构科学管理，提高医疗卫生服务水平和效率，引导医疗卫生资源科学规划和配置。大数据还能提升医疗价值，形成个性化医疗，比如基于基因科学的医疗模式。 　　在公共卫生管理方面，大数据可以连续整合和分析公共卫生数据，提高疾病预报和预警能力，防止疫情爆发。公共卫生部门则可以通过覆盖区域的卫生综合管理信息平台和居民信息数据库，快速监测传染病，进行全面疫情监测，并通过集成疾病监测和响应程序，进行快速响应，这些都将减少医疗索赔支出、降低传染病感染率。通过提供准确和及时的公众健康咨询，将会大幅提高公众健康风险意识，同时也将降低传染病感染风险。 　　在居民健康管理方面，居民电子健康档案是大数据在居民健康管理方面的重要数据基础，大数据技术可以促进个体化健康事务管理服务，改变现代营养学和信息化管理技术的模式，更全面深入地从社会、心理、环境、营养、运动的角度来对每个人进行全面的健康保障服务，帮助、指导人们成功有效地维护自身健康。另外，大数据可以对患者健康信息集成整合，在线远程为诊断和治疗提供更好的数据证据，通过挖掘数据对居民健康进行智能化监测，通过移动设备定位数据对居民健康影响因素进行分析等等，进一步提升居民健康管理水平。 　　在健康危险因素分析方面，互联网、物联网、医疗卫生信息系统及相关信息系统等普遍使用，可以系统全面地收集健康危险因素数据，包括环境因素（利用GIS系统采集大气、土壤、水文等数据），生物因素（包括致病性微生物、细菌、病毒、真菌等的监测数据），经济社会因素（分析经济收入、营养条件、人口迁徙、城镇化、教育就业等因素数据），个人行为和心理因素，医疗卫生服务因素，以及人类生物遗传因素等，利用大数据技术对健康危险因素进行比对关联分析，针对不同区域、人群进行评估和遴选健康相关危险因素及制作健康监测评估图谱和知识库也成为可能，提出居民健康干预的有限领域和有针对性的干预计划，促进居民健康水平的提高。 答案来源于网络

三个字，不可能######回复 @DanceCoder : 没有这种数据库管理员，如果是系统里的管理员，倒是可以通过系统代码，实现管理员只能管理不能查看的逻辑。数据库本身的管理员不行，除非让数据库管理员都进不了数据库，那还管理啥。######回复 @乌龟壳 : 面试官说可以执行增删改查，就是直接在控制台执行SQL语句的那种。######回复 @HankeBoom : 如果有背景就可能不一样，比如说的其实是所谓的数据库管理员之类的，就看看服务器状态那些，数据库都没权限进去######哈哈哈，面试官好坏。。。。。######你确认他不是在出脑筋急转弯？ ######不知道，根据我仅有的面试经验，一般都是先问一些基础的问题。我也不知道他为什么问这么摸不着头脑的问题。难道是在考察我的解决问题能力？###### 数据库管理员没有权限看数据库，感觉就像厨师不能进厨房一样。######面试官的意思是不要在管理员权限方面限制不同权限级别的管理员###### 在java程序是对用户名和密码进行了加密后存入数据库的，登录的时候时候再提取数据库的数据进行相反的解密过程，如果一致，才通过 根据你的描述，管理员A又可以管理服务器后台，又可以管理数据库，那只能说明管理员只能为一个（多了就权责不分了），当然最好的是 不要给A日志信息查看权限,要不然就他就可以做到天衣无缝。 以上是个人对数据安全性的理解 下面废话：1：不考虑数据库权限、不考虑加密、不考虑数据库类型，说明数据库安全性有问题。2：面试官的回答“登录修改用户密码和然后就可以登录了。” ，有点sb思维，我都看得到密码了，还用修改后台的密码，还要脱裤子放屁（多此一举） ######哈哈哈，面试官确实好坏###### 这种东西只有在登录的时候处理吧. 数据库都是持久性的东西, 不管如何加密. 只要修改成一个我知道的明文加密的数据不就行了? 所以,还是在登录的后台做处理. 比如加密的是根据用户输入的密码加上用户名之类的处理过的密码. 那么数据库管理员不知道后台的处理逻辑, 修改了数据库也无用. ######长知识了，谢谢######66666###### 看看是否可以这样做 用户的相关信息只通过uuid来查询，并且所有信息与用户名无相关性。用户名和uuid的对应关系拆分成多个记录保存，比如用户名abc ，uuid 123-456-789-012-234 保存成加密后的记录 cde asd ghi fdfd jkl rrr mno ！3e pqr rwq 这里第一列是abc加上序号 变成的abc1，abc2...再加密后的字符串，第二列是uuid片段加密后的数据， 客户端通过多次请求再解密获取完整的uuid，然后获取数据，这样除非管理员能解密否则无法获得完整数据 ######就是性能堪忧######这个有点厉害啊###### 引用来自“cys1357”的评论 看看是否可以这样做 用户的相关信息只通过uuid来查询，并且所有信息与用户名无相关性。用户名和uuid的对应关系拆分成多个记录保存，比如用户名abc ，uuid 123-456-789-012-234 保存成加密后的记录 cde asd ghi fdfd jkl rrr mno ！3e pqr rwq 这里第一列是abc加上序号 变成的abc1，abc2...再加密后的字符串，第二列是uuid片段加密后的数据， 客户端通过多次请求再解密获取完整的uuid，然后获取数据，这样除非管理员能解密否则无法获得完整数据 可是都说了不允许加密了，实在想不出不加密怎么办了######你需要了解MySQL的“视图”是干嘛的。。。。。。。######视图不是也可以执行改数据操作吗###### 引用来自“cys1357”的评论 看看是否可以这样做 用户的相关信息只通过uuid来查询，并且所有信息与用户名无相关性。用户名和uuid的对应关系拆分成多个记录保存，比如用户名abc ，uuid 123-456-789-012-234 保存成加密后的记录 cde asd ghi fdfd jkl rrr mno ！3e pqr rwq 这里第一列是abc加上序号 变成的abc1，abc2...再加密后的字符串，第二列是uuid片段加密后的数据， 客户端通过多次请求再解密获取完整的uuid，然后获取数据，这样除非管理员能解密否则无法获得完整数据 引用来自“钛元素”的评论可是都说了不允许加密了，实在想不出不加密怎么办了 上面的加密只是为了去掉多个片段记录中用户名的相关性，让管理员无法通过搜索找出所有和这个用户名相关的记录项，不需要解密，只是一种变换算法。

1.阻塞与同步2.BIO与NIO对比3.NIO简介4.缓冲区Buffer5.通道Channel6.反应堆7.选择器8.NIO源码分析9.AIO1.阻塞与同步1）阻塞(Block)和非租塞(NonBlock):阻塞和非阻塞是进程在访问数据的时候，数据是否准备就绪的一种处理方式，当数据没有准备的时候阻塞：往往需要等待缞冲区中的数据准备好过后才处理其他的事情，否則一直等待在那里。非阻塞：当我们的进程访问我们的数据缓冲区的时候，如果数据没有准备好则直接返回，不会等待。如果数据已经准备好，也直接返回2）同步(Synchronization)和异步(Async)的方式：同步和异步都是基于应用程序私操作系统处理IO事件所采用的方式，比如同步：是应用程序要直接参与IO读写的操作。异步：所有的IO读写交给搡作系统去处理，应用程序只需要等待通知。同步方式在处理IO事件的时候，必须阻塞在某个方法上靣等待我们的IO事件完成(阻塞IO事件或者通过轮询IO事件的方式）.对于异步来说，所有的IO读写都交给了搡作系统。这个时候，我们可以去做其他的事情，并不拓要去完成真正的IO搡作，当搡作完成IO后.会给我们的应用程序一个通知同步：阻塞到IO事件，阻塞到read成则write。这个时候我们就完全不能做自己的事情，让读写方法加入到线程里面，然后阻塞线程来实现，对线程的性能开销比较大，参考：https://blog.csdn.net/CharJay_Lin/article/details/812598802.BIO与NIO对比block IO与Non-block IO1）区别IO模型 IO NIO方式 从硬盘到内存 从内存到硬盘通信 面向流（乡村公路） 面向缓存（高速公路，多路复用技术）处理 阻塞IO（多线程） 非阻塞IO（反应堆Reactor）触发 无 选择器（轮询机制）2）面向流与面向缓冲Java NIO和IO之间第一个最大的区别是，IO是面向流的.NIO是面向缓冲区的。Java IO面向流意味着毎次从流中读一个成多个字节，直至读取所有字节，它们没有被缓存在任何地方，此外，它不能前后移动流中的数据。如果需要前后移动从流中读取的教据，需要先将它缓存到一个缓冲区。Java NIO的缓冲导向方法略有不同。数据读取到一个它稍后处理的缓冲区，霱要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是，还需要检查是否该缓冲区中包含所有您需要处理的数裾。而且，需确保当更多的数据读入缓冲区时，不要覆盖缓冲区里尚未处理的数据。3）阻塞与非阻塞Java IO的各种流是阻塞的。这意味着，当一个线程调用read() 或 write()时，该线程被阻塞，直到有一些数据被读取，或数据完全写入。该线程在此期间不能再干任何事情了。 Java NIO的非阻塞模式，使一个线程从某通道发送请求读取数据，但是它仅能得到目前可用的数据，如果目前没有数据可用时，就什么都不会获取。而不是保持线程阻塞，所以直至数据变的可以读取之前，该线程可以继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到某通道，但不需要等待它完全写入，这个线程同时可以去做别的事情。 线程通常将非阻塞IO的空闲时间用于在其它通道上执行IO操作，所以一个单独的线程现在可以管理多个输入和输出通道（channel）。4）选择器（Selector)Java NIO的选择器允许一个单独的线程来监视多个输入通道，你可以注册多个通道使用一个选择器，然后使用一个单独的线程来“选择"通道：这些通里已经有可以处理的褕入，或者选择已准备写入的通道。这选怿机制，使得一个单独的线程很容易来管理多个通道。5）NIO和BIO读取文件BIO读取文件：链接BIO从一个阻塞的流中一行一行的读取数据image | left | 469x426NIO读取文件：链接通道是数据的载体，buffer是存储数据的地方，线程每次从buffer检查数据通知给通道image | left | 559x3946）处理数据的线程数NIO：一个线程管理多个连接BIO：一个线程管理一个连接3.NIO简介在Java1.4之前的I/O系统中，提供的都是面向流的I/O系统，系统一次一个字节地处理数据，一个输入流产生一个字节的数据，一个输出流消费一个字节的数据，面向流的I/O速度非常慢，而在Java 1.4中推出了NIO，这是一个面向块的I/O系统，系统以块的方式处理处理，每一个操作在一步中产生或者消费一个数据库，按块处理要比按字节处理数据快的多。在NIO中有几个核心对象需要掌握：缓冲区（Buffer）、通道（Channel）、选择器（Selector）。参考：链接image2.png | center | 851x3834.缓冲区Buffer缓冲区实际上是一个容器对象，更直接的说，其实就是一个数组，在NIO库中，所有数据都是用缓冲区处理的。在读取数据时，它是直接读到缓冲区中的； 在写入数据时，它也是写入到缓冲区中的；任何时候访问 NIO 中的数据，都是将它放到缓冲区中。而在面向流I/O系统中，所有数据都是直接写入或者直接将数据读取到Stream对象中。在NIO中，所有的缓冲区类型都继承于抽象类Buffer，最常用的就是ByteBuffer，对于Java中的基本类型，基本都有一个具体Buffer类型与之相对应，它们之间的继承关系如下图所示：image3.png | center | 650x3681）其中的四个属性的含义分别如下：容量（Capacity）：缓冲区能够容纳的数据元素的最大数量。这一个容量在缓冲区创建时被设定，并且永远不能改变。上界(Limit)：缓冲区的第一个不能被读或写的元素。或者说,缓冲区中现存元素的计数。位置(Position)：下一个要被读或写的元素的索引。位置会自动由相应的 get( )和 put( )函数更新。标记(Mark)：下一个要被读或写的元素的索引。位置会自动由相应的 get( )和 put( )函数更新。2）Buffer的常见方法如下所示:flip(): 写模式转换成读模式rewind()：将 position 重置为 0 ，一般用于重复读。clear() ：compact(): 将未读取的数据拷贝到 buffer 的头部位。mark(): reset():mark 可以标记一个位置， reset 可以重置到该位置。Buffer 常见类型： ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、 ShortBuffer 。3）基本操作Buffer基础操作： 链接缓冲区分片，缓冲区分配，直接缓存区，缓存区映射，缓存区只读：链接4）缓冲区存取数据流程存数据时position会++，当停止数据读取的时候调用flip()，此时limit=position，position=0读取数据时position++，一直读取到limitclear() 清空 buffer ，准备再次被写入 (position 变成 0 ， limit 变成 capacity) 。5.通道Channel通道是一个对象，通过它可以读取和写入数据，当然了所有数据都通过Buffer对象来处理。我们永远不会将字节直接写入通道中，相反是将数据写入包含一个或者多个字节的缓冲区。同样不会直接从通道中读取字节，而是将数据从通道读入缓冲区，再从缓冲区获取这个字节。image4.png | center | 368x191在NIO中，提供了多种通道对象，而所有的通道对象都实现了Channel接口。它们之间的继承关系如下图所示：image5.png | center | 650x5171）使用NIO读取数据在前面我们说过，任何时候读取数据，都不是直接从通道读取，而是从通道读取到缓冲区。所以使用NIO读取数据可以分为下面三个步骤：从FileInputStream获取Channel 创建Buffer 将数据从Channel读取到Buffer中 例子：链接 2）使用NIO写入数据使用NIO写入数据与读取数据的过程类似，同样数据不是直接写入通道，而是写入缓冲区，可以分为下面三个步骤：从FileInputStream获取Channel 创建Buffer 将数据从Channel写入到Buffer中 例子：链接 6.反应堆1）阻塞IO模型在老的IO包中，serverSocket和socket都是阻塞式的，因此一旦有大规模的并发行为，而每一个访问都会开启一个新线程。这时会有大规模的线程上下文切换操作（因为都在等待，所以资源全都被已有的线程吃掉了），这时无论是等待的线程还是正在处理的线程，响应率都会下降，并且会影响新的线程。image6.png | center | 739x3362）NIOJava NIO是在jdk1.4开始使用的，它既可以说成“新IO”，也可以说成非阻塞式I/O。下面是java NIO的工作原理：1.由一个专门的线程来处理所有的IO事件，并负责分发。2.事件驱动机制：事件到的时候触发，而不是同步的去监视事件。3.线程通讯：线程之间通过wait,notify等方式通讯。保证每次上下文切换都是有意义的。减少无谓的线程切换。image7.png | center | 689x251注：每个线程的处理流程大概都是读取数据，解码，计算处理，编码，发送响应。7.选择器传统的 server / client 模式会基于 TPR ( Thread per Request ) ．服务器会为每个客户端请求建立一个线程．由该线程单独负贵处理一个客户请求。这种模式带未的一个问题就是线程数是的剧增．大量的线程会增大服务器的开销，大多数的实现为了避免这个问题，都采用了线程池模型，并设置线程池线程的最大数量，这又带来了新的问题，如果线程池中有 200 个线程，而有 200 个用户都在进行大文件下载，会导致第 201 个用户的请求无法及时处理，即便第 201 个用户只想请求一个几 KB 大小的页面。传统的 Sorvor / Client 模式如下围所示：image8.png | center | 597x286NIO 中非阻塞IO采用了基于Reactor模式的工作方式，IO调用不会被阻塞，相反是注册感兴趣的特点IO事件，如可读数据到达，新的套接字等等，在发生持定率件时，系统再通知我们。 NlO中实现非阻塞IO的核心设计Selector，Selector就是注册各种IO事件的地方，而且当那些事件发生时，就是这个对象告诉我们所发生的事件。image9.png | center | 462x408当有读或者写等任何注册的事件发生时，可以从Selector中获得相应的SelectionKey，同时从SelectionKey中可以找到发生的事件和该事件所发生的具体的SelectableChannel，以获得客户端发送过来的数据。使用NIO中非阻塞IO编写服务器处理程序，有三个步骤1.向Selector对象注册感兴趣的事件2.从Selector中获取感兴趣的事件3.根据不同事件进行相应的处理8.NIO源码分析Selector是NIO的核心epool模型1）SelectorSelector的open()方法：链接2）ServerSocketChannelServerSocketChannel.open() 链接9.AIOAsynchronous IO异步非阻塞IOBIO ServerSocketNIO ServerSocketChannelAIO AsynchronousServerSocketChannel

区别： 一、概念不同 1、数据是信息的表现形式和载体，可以是符号、文字、数字、语音、图像、视频等。 2、知识是符合文明方向的，人类对物质世界以及精神世界探索的结果总和。 二、特点不同 1、数据 数据可以是连续的值，比如声音、图像，称为模拟数据。也可以是离散的，如符号、文字，称为数字数据。 2、知识 1）隐性特征 说明：知识具备较强的隐蔽性，需要进行归纳、总结、提炼。 2）行动导向特征 说明：知识能够直接推动人的决策和行为，加速行动过程。 三、分类不同 1、数据 按性质分为 ①定位的，如各种坐标数据。 ②定性的，如表示事物属性的数据（居民地、河流、道路等）。 ③定量的，反映事物数量特征的数据，如长度、面积、体积等几何量或重量、速度等物理量。 ④定时的，反映事物时间特性的数据，如年、月、日、时、分、秒等。 2、知识 ①知道是什么的知识( Know - what) ，主要是叙述事实方面的知识。 ②知道为什么的知识(Know - why) ，主要是自然原理和规律方面的知识。 ③知道怎么做的知识(Know - how) ，主要是指对某些事物的技能和能力。 ④知道是谁的知识(Know - who) ，涉及谁知道和谁知道如何做某些事的知识。 联系： （1）数据是对客观事物记录下来的、可以鉴别的符号，这些符号不仅指数字，而且包括字符、文字、图形等等；数据经过处理仍然是数据。处理数据是为了便于更好地解释，只有经过解释，数据才有意义，才成为信息；可以说信息是经过加工以后、并对客观世界产生影响的数据。 （2）在管理过程中，同一数据，每个人的解释可能不同，其对决策的影响可能不同。结果，决策者利用经过处理的数据做出决策，可能取得成功，也可能失败，这里的关键在于对数据的解释是否正确，即：是否正确地运用知识对数据做出解释，以得到准确的信息。

"三个字，不可能######回复 <a href=""http://my.oschina.net/hanke"" class=""referer"" target=""_blank"">@DanceCoder : 没有这种数据库管理员，如果是系统里的管理员，倒是可以通过系统代码，实现管理员只能管理不能查看的逻辑。数据库本身的管理员不行，除非让数据库管理员都进不了数据库，那还管理啥。######回复 <a href=""http://my.oschina.net/visualgui823"" class=""referer"" target=""_blank"">@乌龟壳 : 面试官说可以执行增删改查，就是直接在控制台执行SQL语句的那种。######回复 <a href=""http://my.oschina.net/hanke"" class=""referer"" target=""_blank"">@HankeBoom : 如果有背景就可能不一样，比如说的其实是所谓的数据库管理员之类的，就看看服务器状态那些，数据库都没权限进去######哈哈哈，面试官好坏。。。。。######你确认他不是在出脑筋急转弯？ ######不知道，根据我仅有的面试经验，一般都是先问一些基础的问题。我也不知道他为什么问这么摸不着头脑的问题。难道是在考察我的解决问题能力？######<span style=""color:#444444;font-family:'Microsoft YaHei', Verdana, sans-serif, 宋体;font-size:14px;line-height:normal;background-color:#FFFFFF;""> 数据库管理员没有权限看数据库，感觉就像厨师不能进厨房一样。######面试官的意思是不要在管理员权限方面限制不同权限级别的管理员###### 在java程序是对用户名和密码进行了加密后存入数据库的，登录的时候时候再提取数据库的数据进行相反的解密过程，如果一致，才通过 根据你的描述，管理员A又可以管理服务器后台，又可以管理数据库，那只能说明管理员只能为一个（多了就权责不分了），当然最好的是 不要给A日志信息查看权限,要不然就他就可以做到天衣无缝。 以上是个人对数据安全性的理解 下面废话：1：不考虑数据库权限、不考虑加密、不考虑数据库类型，说明数据库安全性有问题。2：面试官的回答“登录修改用户密码和然后就可以登录了。” ，有点sb思维，我都看得到密码了，还用修改后台的密码，还要脱裤子放屁（多此一举） ######哈哈哈，面试官确实好坏###### 这种东西只有在登录的时候处理吧. 数据库都是持久性的东西, 不管如何加密. 只要修改成一个我知道的明文加密的数据不就行了? 所以,还是在登录的后台做处理. 比如加密的是根据用户输入的密码加上用户名之类的处理过的密码. 那么数据库管理员不知道后台的处理逻辑, 修改了数据库也无用. ######长知识了，谢谢######66666###### 看看是否可以这样做 用户的相关信息只通过uuid来查询，并且所有信息与用户名无相关性。用户名和uuid的对应关系拆分成多个记录保存，比如用户名abc ，uuid 123-456-789-012-234 保存成加密后的记录 cde asd ghi fdfd jkl rrr mno ！3e pqr rwq 这里第一列是abc加上序号 变成的abc1，abc2...再加密后的字符串，第二列是uuid片段加密后的数据， 客户端通过多次请求再解密获取完整的uuid，然后获取数据，这样除非管理员能解密否则无法获得完整数据 ######就是性能堪忧######这个有点厉害啊###### 引用来自“cys1357”的评论 看看是否可以这样做 用户的相关信息只通过uuid来查询，并且所有信息与用户名无相关性。用户名和uuid的对应关系拆分成多个记录保存，比如用户名abc ，uuid 123-456-789-012-234 保存成加密后的记录 cde asd ghi fdfd jkl rrr mno ！3e pqr rwq 这里第一列是abc加上序号 变成的abc1，abc2...再加密后的字符串，第二列是uuid片段加密后的数据， 客户端通过多次请求再解密获取完整的uuid，然后获取数据，这样除非管理员能解密否则无法获得完整数据 可是都说了不允许加密了，实在想不出不加密怎么办了######你需要了解MySQL的“视图”是干嘛的。。。。。。。######视图不是也可以执行改数据操作吗###### 引用来自“cys1357”的评论 看看是否可以这样做 用户的相关信息只通过uuid来查询，并且所有信息与用户名无相关性。用户名和uuid的对应关系拆分成多个记录保存，比如用户名abc ，uuid 123-456-789-012-234 保存成加密后的记录 cde asd ghi fdfd jkl rrr mno ！3e pqr rwq 这里第一列是abc加上序号 变成的abc1，abc2...再加密后的字符串，第二列是uuid片段加密后的数据， 客户端通过多次请求再解密获取完整的uuid，然后获取数据，这样除非管理员能解密否则无法获得完整数据 引用来自“钛元素”的评论可是都说了不允许加密了，实在想不出不加密怎么办了 上面的加密只是为了去掉多个片段记录中用户名的相关性，让管理员无法通过搜索找出所有和这个用户名相关的记录项，不需要解密，只是一种变换算法。 "

"三个字，不可能######回复 <a href=""http://my.oschina.net/hanke"" class=""referer"" target=""_blank"">@DanceCoder : 没有这种数据库管理员，如果是系统里的管理员，倒是可以通过系统代码，实现管理员只能管理不能查看的逻辑。数据库本身的管理员不行，除非让数据库管理员都进不了数据库，那还管理啥。######回复 <a href=""http://my.oschina.net/visualgui823"" class=""referer"" target=""_blank"">@乌龟壳 : 面试官说可以执行增删改查，就是直接在控制台执行SQL语句的那种。######回复 <a href=""http://my.oschina.net/hanke"" class=""referer"" target=""_blank"">@HankeBoom : 如果有背景就可能不一样，比如说的其实是所谓的数据库管理员之类的，就看看服务器状态那些，数据库都没权限进去######哈哈哈，面试官好坏。。。。。######你确认他不是在出脑筋急转弯？ ######不知道，根据我仅有的面试经验，一般都是先问一些基础的问题。我也不知道他为什么问这么摸不着头脑的问题。难道是在考察我的解决问题能力？######<span style=""color:#444444;font-family:'Microsoft YaHei', Verdana, sans-serif, 宋体;font-size:14px;line-height:normal;background-color:#FFFFFF;""> 数据库管理员没有权限看数据库，感觉就像厨师不能进厨房一样。######面试官的意思是不要在管理员权限方面限制不同权限级别的管理员###### 在java程序是对用户名和密码进行了加密后存入数据库的，登录的时候时候再提取数据库的数据进行相反的解密过程，如果一致，才通过 根据你的描述，管理员A又可以管理服务器后台，又可以管理数据库，那只能说明管理员只能为一个（多了就权责不分了），当然最好的是 不要给A日志信息查看权限,要不然就他就可以做到天衣无缝。 以上是个人对数据安全性的理解 下面废话：1：不考虑数据库权限、不考虑加密、不考虑数据库类型，说明数据库安全性有问题。2：面试官的回答“登录修改用户密码和然后就可以登录了。” ，有点sb思维，我都看得到密码了，还用修改后台的密码，还要脱裤子放屁（多此一举） ######哈哈哈，面试官确实好坏###### 这种东西只有在登录的时候处理吧. 数据库都是持久性的东西, 不管如何加密. 只要修改成一个我知道的明文加密的数据不就行了? 所以,还是在登录的后台做处理. 比如加密的是根据用户输入的密码加上用户名之类的处理过的密码. 那么数据库管理员不知道后台的处理逻辑, 修改了数据库也无用. ######长知识了，谢谢######66666###### 看看是否可以这样做 用户的相关信息只通过uuid来查询，并且所有信息与用户名无相关性。用户名和uuid的对应关系拆分成多个记录保存，比如用户名abc ，uuid 123-456-789-012-234 保存成加密后的记录 cde asd ghi fdfd jkl rrr mno ！3e pqr rwq 这里第一列是abc加上序号 变成的abc1，abc2...再加密后的字符串，第二列是uuid片段加密后的数据， 客户端通过多次请求再解密获取完整的uuid，然后获取数据，这样除非管理员能解密否则无法获得完整数据 ######就是性能堪忧######这个有点厉害啊###### 引用来自“cys1357”的评论 看看是否可以这样做 用户的相关信息只通过uuid来查询，并且所有信息与用户名无相关性。用户名和uuid的对应关系拆分成多个记录保存，比如用户名abc ，uuid 123-456-789-012-234 保存成加密后的记录 cde asd ghi fdfd jkl rrr mno ！3e pqr rwq 这里第一列是abc加上序号 变成的abc1，abc2...再加密后的字符串，第二列是uuid片段加密后的数据， 客户端通过多次请求再解密获取完整的uuid，然后获取数据，这样除非管理员能解密否则无法获得完整数据 可是都说了不允许加密了，实在想不出不加密怎么办了######你需要了解MySQL的“视图”是干嘛的。。。。。。。######视图不是也可以执行改数据操作吗###### 引用来自“cys1357”的评论 看看是否可以这样做 用户的相关信息只通过uuid来查询，并且所有信息与用户名无相关性。用户名和uuid的对应关系拆分成多个记录保存，比如用户名abc ，uuid 123-456-789-012-234 保存成加密后的记录 cde asd ghi fdfd jkl rrr mno ！3e pqr rwq 这里第一列是abc加上序号 变成的abc1，abc2...再加密后的字符串，第二列是uuid片段加密后的数据， 客户端通过多次请求再解密获取完整的uuid，然后获取数据，这样除非管理员能解密否则无法获得完整数据 引用来自“钛元素”的评论可是都说了不允许加密了，实在想不出不加密怎么办了 上面的加密只是为了去掉多个片段记录中用户名的相关性，让管理员无法通过搜索找出所有和这个用户名相关的记录项，不需要解密，只是一种变换算法。 "

目前，在很多的人的第一印象中，一般将 FaaS，也就是 Fucntion as a Service （函数即服务）等同于 Serverless， 比如阿里云的函数计算、AWS 的 Lambda，但是 实际上有许多其他的云服务也是 Serverless，他们和 FC 一起构建成完整的 Serverless 应用，让用户完全聚焦他最上层和核心的原始业务。比如，用户直接使用 API 网关， 就 可以从 API 限流、鉴权等许多 API 层面上需要考虑的繁杂工作中解放出来；直接使用 Serverless 的 NoSQL 数据库 TableStore 或者对象存储 OSS 来持久化数据，替代 自己管理数据库实例；使用 SLS 或者 Datahub 从外部系统收集数据流；使用消息服务 MNS/MQ 来管理消息等。 用户可以使用一个个函数将这些 Serverless 服务串联起来，从而达到构建具体复杂 的业务逻辑和应用的目标。在这里，用户也可以选择 Serverless 工作流来编排函数和其 他云服务，简化了开发和运行业务流程（比如自己去编写代码进行任务协调、状态管理、错 误处理以及重试等繁琐工作），让用户聚焦业务逻辑开发。当然，用户也可以使用阿里云提 供的开发工具链来简化自动化部署和持续集成。使用这些开箱即可使用的工具可以帮助用户 快速达到想要的目标和效果。 如果是一个庞大复杂的单体应用或者是一个面向服务体系的架构，开发者需要负责所有 的事情，包括代码的编写、管理和部署数据库以及其他相关的后端服务等，切换到 Servrless 架构， 可以看到：特定的的模块交由特定的托管云服务去处理， 之后再使用 实现了具体业务代码的函数将它们串联起来， 也实现了解耦。 为了使这种架构运转的更有 效率， 事件驱动是一个必不可少的特性， 比如用户尝试往 OSS 上传一个文件或者更新 表格存储会自动做一些逻辑处理，对于开发者来说， 最关心的是什么样的事件可以触发我 的编写逻辑。

OSS主要为用户提供数据存储服务，用户可以通过以下操作来处理OSS上的数据： 1、创建、查看、罗列、删除 Bucket； 2、修改、获取Bucket的访问权限； 3、上传、查看、罗列、删除Object/Object Group； 4、访问时支持If-Modified-Since和If-Match等HTTP参数。 特点具体如下： 1、易用性：简单易用，便于管理，深度集成数据处理服务； 2、高可靠：多重冗余备份，服务设计可用性不低于99.99%； 3、强安全：多层次安全防护，支持跨区域复制、异地容灾机制； 4、低成本：总体TCO更低，生命周期管理进一步降低成本。 OSS是阿里云提供的云存储服务，并可无限扩展。 OSS 能做什么？ 可以在任何应用、任何时间、任何地点存储和访问任意类型的数据。 OSS 适合存储什么？ OSS 适合存储论坛网站与软件应用中的附件、高清图片、音视频、备份文件等，以及各种APP应用、多终端同步软件、网盘下载站的文件。 OSS 适合谁用？ OSS 适合社区、多媒体分享站、电子商务等各类形式规模的网站站长，APP应用和软件应用开发者，游戏开发企业以及有大规模数据存储需求的用户使用。 想了解更多可以参考： 阿里云对象存储存储类型对比，OSS价格详情总览

分布式事务的解决方案有如下几种： 全局消息基于可靠消息服务的分布式事务TCC最大努力通知方案1：全局事务（DTP模型）全局事务基于DTP模型实现。DTP是由X/Open组织提出的一种分布式事务模型——X/Open Distributed Transaction Processing Reference Model。它规定了要实现分布式事务，需要三种角色： AP：Application 应用系统 它就是我们开发的业务系统，在我们开发的过程中，可以使用资源管理器提供的事务接口来实现分布式事务。 TM：Transaction Manager 事务管理器 分布式事务的实现由事务管理器来完成，它会提供分布式事务的操作接口供我们的业务系统调用。这些接口称为TX接口。事务管理器还管理着所有的资源管理器，通过它们提供的XA接口来同一调度这些资源管理器，以实现分布式事务。DTP只是一套实现分布式事务的规范，并没有定义具体如何实现分布式事务，TM可以采用2PC、3PC、Paxos等协议实现分布式事务。RM：Resource Manager 资源管理器 能够提供数据服务的对象都可以是资源管理器，比如：数据库、消息中间件、缓存等。大部分场景下，数据库即为分布式事务中的资源管理器。资源管理器能够提供单数据库的事务能力，它们通过XA接口，将本数据库的提交、回滚等能力提供给事务管理器调用，以帮助事务管理器实现分布式的事务管理。XA是DTP模型定义的接口，用于向事务管理器提供该资源管理器(该数据库)的提交、回滚等能力。DTP只是一套实现分布式事务的规范，RM具体的实现是由数据库厂商来完成的。有没有基于DTP模型的分布式事务中间件？DTP模型有啥优缺点？方案2：基于可靠消息服务的分布式事务这种实现分布式事务的方式需要通过消息中间件来实现。假设有A和B两个系统，分别可以处理任务A和任务B。此时系统A中存在一个业务流程，需要将任务A和任务B在同一个事务中处理。下面来介绍基于消息中间件来实现这种分布式事务。 title 在系统A处理任务A前，首先向消息中间件发送一条消息消息中间件收到后将该条消息持久化，但并不投递。此时下游系统B仍然不知道该条消息的存在。消息中间件持久化成功后，便向系统A返回一个确认应答；系统A收到确认应答后，则可以开始处理任务A；任务A处理完成后，向消息中间件发送Commit请求。该请求发送完成后，对系统A而言，该事务的处理过程就结束了，此时它可以处理别的任务了。 但commit消息可能会在传输途中丢失，从而消息中间件并不会向系统B投递这条消息，从而系统就会出现不一致性。这个问题由消息中间件的事务回查机制完成，下文会介绍。消息中间件收到Commit指令后，便向系统B投递该消息，从而触发任务B的执行；当任务B执行完成后，系统B向消息中间件返回一个确认应答，告诉消息中间件该消息已经成功消费，此时，这个分布式事务完成。上述过程可以得出如下几个结论： 消息中间件扮演者分布式事务协调者的角色。 系统A完成任务A后，到任务B执行完成之间，会存在一定的时间差。在这个时间差内，整个系统处于数据不一致的状态，但这短暂的不一致性是可以接受的，因为经过短暂的时间后，系统又可以保持数据一致性，满足BASE理论。 上述过程中，如果任务A处理失败，那么需要进入回滚流程，如下图所示： title 若系统A在处理任务A时失败，那么就会向消息中间件发送Rollback请求。和发送Commit请求一样，系统A发完之后便可以认为回滚已经完成，它便可以去做其他的事情。消息中间件收到回滚请求后，直接将该消息丢弃，而不投递给系统B，从而不会触发系统B的任务B。此时系统又处于一致性状态，因为任务A和任务B都没有执行。 上面所介绍的Commit和Rollback都属于理想情况，但在实际系统中，Commit和Rollback指令都有可能在传输途中丢失。那么当出现这种情况的时候，消息中间件是如何保证数据一致性呢？——答案就是超时询问机制。 title 系统A除了实现正常的业务流程外，还需提供一个事务询问的接口，供消息中间件调用。当消息中间件收到一条事务型消息后便开始计时，如果到了超时时间也没收到系统A发来的Commit或Rollback指令的话，就会主动调用系统A提供的事务询问接口询问该系统目前的状态。该接口会返回三种结果： 提交 若获得的状态是“提交”，则将该消息投递给系统B。回滚 若获得的状态是“回滚”，则直接将条消息丢弃。处理中 若获得的状态是“处理中”，则继续等待。消息中间件的超时询问机制能够防止上游系统因在传输过程中丢失Commit/Rollback指令而导致的系统不一致情况，而且能降低上游系统的阻塞时间，上游系统只要发出Commit/Rollback指令后便可以处理其他任务，无需等待确认应答。而Commit/Rollback指令丢失的情况通过超时询问机制来弥补，这样大大降低上游系统的阻塞时间，提升系统的并发度。 下面来说一说消息投递过程的可靠性保证。 当上游系统执行完任务并向消息中间件提交了Commit指令后，便可以处理其他任务了，此时它可以认为事务已经完成，接下来消息中间件一定会保证消息被下游系统成功消费掉！那么这是怎么做到的呢？这由消息中间件的投递流程来保证。 消息中间件向下游系统投递完消息后便进入阻塞等待状态，下游系统便立即进行任务的处理，任务处理完成后便向消息中间件返回应答。消息中间件收到确认应答后便认为该事务处理完毕！ 如果消息在投递过程中丢失，或消息的确认应答在返回途中丢失，那么消息中间件在等待确认应答超时之后就会重新投递，直到下游消费者返回消费成功响应为止。当然，一般消息中间件可以设置消息重试的次数和时间间隔，比如：当第一次投递失败后，每隔五分钟重试一次，一共重试3次。如果重试3次之后仍然投递失败，那么这条消息就需要人工干预。 title title 有的同学可能要问：消息投递失败后为什么不回滚消息，而是不断尝试重新投递？ 这就涉及到整套分布式事务系统的实现成本问题。 我们知道，当系统A将向消息中间件发送Commit指令后，它便去做别的事情了。如果此时消息投递失败，需要回滚的话，就需要让系统A事先提供回滚接口，这无疑增加了额外的开发成本，业务系统的复杂度也将提高。对于一个业务系统的设计目标是，在保证性能的前提下，最大限度地降低系统复杂度，从而能够降低系统的运维成本。 不知大家是否发现，上游系统A向消息中间件提交Commit/Rollback消息采用的是异步方式，也就是当上游系统提交完消息后便可以去做别的事情，接下来提交、回滚就完全交给消息中间件来完成，并且完全信任消息中间件，认为它一定能正确地完成事务的提交或回滚。然而，消息中间件向下游系统投递消息的过程是同步的。也就是消息中间件将消息投递给下游系统后，它会阻塞等待，等下游系统成功处理完任务返回确认应答后才取消阻塞等待。为什么这两者在设计上是不一致的呢？ 首先，上游系统和消息中间件之间采用异步通信是为了提高系统并发度。业务系统直接和用户打交道，用户体验尤为重要，因此这种异步通信方式能够极大程度地降低用户等待时间。此外，异步通信相对于同步通信而言，没有了长时间的阻塞等待，因此系统的并发性也大大增加。但异步通信可能会引起Commit/Rollback指令丢失的问题，这就由消息中间件的超时询问机制来弥补。 那么，消息中间件和下游系统之间为什么要采用同步通信呢？ 异步能提升系统性能，但随之会增加系统复杂度；而同步虽然降低系统并发度，但实现成本较低。因此，在对并发度要求不是很高的情况下，或者服务器资源较为充裕的情况下，我们可以选择同步来降低系统的复杂度。 我们知道，消息中间件是一个独立于业务系统的第三方中间件，它不和任何业务系统产生直接的耦合，它也不和用户产生直接的关联，它一般部署在独立的服务器集群上，具有良好的可扩展性，所以不必太过于担心它的性能，如果处理速度无法满足我们的要求，可以增加机器来解决。而且，即使消息中间件处理速度有一定的延迟那也是可以接受的，因为前面所介绍的BASE理论就告诉我们了，我们追求的是最终一致性，而非实时一致性，因此消息中间件产生的时延导致事务短暂的不一致是可以接受的。 方案3：最大努力通知（定期校对）最大努力通知也被称为定期校对，其实在方案二中已经包含，这里再单独介绍，主要是为了知识体系的完整性。这种方案也需要消息中间件的参与，其过程如下： title 上游系统在完成任务后，向消息中间件同步地发送一条消息，确保消息中间件成功持久化这条消息，然后上游系统可以去做别的事情了；消息中间件收到消息后负责将该消息同步投递给相应的下游系统，并触发下游系统的任务执行；当下游系统处理成功后，向消息中间件反馈确认应答，消息中间件便可以将该条消息删除，从而该事务完成。上面是一个理想化的过程，但在实际场景中，往往会出现如下几种意外情况： 消息中间件向下游系统投递消息失败上游系统向消息中间件发送消息失败对于第一种情况，消息中间件具有重试机制，我们可以在消息中间件中设置消息的重试次数和重试时间间隔，对于网络不稳定导致的消息投递失败的情况，往往重试几次后消息便可以成功投递，如果超过了重试的上限仍然投递失败，那么消息中间件不再投递该消息，而是记录在失败消息表中，消息中间件需要提供失败消息的查询接口，下游系统会定期查询失败消息，并将其消费，这就是所谓的“定期校对”。 如果重复投递和定期校对都不能解决问题，往往是因为下游系统出现了严重的错误，此时就需要人工干预。 对于第二种情况，需要在上游系统中建立消息重发机制。可以在上游系统建立一张本地消息表，并将 任务处理过程 和 向本地消息表中插入消息 这两个步骤放在一个本地事务中完成。如果向本地消息表插入消息失败，那么就会触发回滚，之前的任务处理结果就会被取消。如果这量步都执行成功，那么该本地事务就完成了。接下来会有一个专门的消息发送者不断地发送本地消息表中的消息，如果发送失败它会返回重试。当然，也要给消息发送者设置重试的上限，一般而言，达到重试上限仍然发送失败，那就意味着消息中间件出现严重的问题，此时也只有人工干预才能解决问题。 对于不支持事务型消息的消息中间件，如果要实现分布式事务的话，就可以采用这种方式。它能够通过重试机制+定期校对实现分布式事务，但相比于第二种方案，它达到数据一致性的周期较长，而且还需要在上游系统中实现消息重试发布机制，以确保消息成功发布给消息中间件，这无疑增加了业务系统的开发成本，使得业务系统不够纯粹，并且这些额外的业务逻辑无疑会占用业务系统的硬件资源，从而影响性能。 因此，尽量选择支持事务型消息的消息中间件来实现分布式事务，如RocketMQ。 方案4：TCC（两阶段型、补偿型）TCC即为Try Confirm Cancel，它属于补偿型分布式事务。顾名思义，TCC实现分布式事务一共有三个步骤： Try：尝试待执行的业务 这个过程并未执行业务，只是完成所有业务的一致性检查，并预留好执行所需的全部资源Confirm：执行业务 这个过程真正开始执行业务，由于Try阶段已经完成了一致性检查，因此本过程直接执行，而不做任何检查。并且在执行的过程中，会使用到Try阶段预留的业务资源。Cancel：取消执行的业务 若业务执行失败，则进入Cancel阶段，它会释放所有占用的业务资源，并回滚Confirm阶段执行的操作。下面以一个转账的例子来解释下TCC实现分布式事务的过程。 假设用户A用他的账户余额给用户B发一个100元的红包，并且余额系统和红包系统是两个独立的系统。 Try 创建一条转账流水，并将流水的状态设为交易中将用户A的账户中扣除100元（预留业务资源）Try成功之后，便进入Confirm阶段Try过程发生任何异常，均进入Cancel阶段Confirm 向B用户的红包账户中增加100元将流水的状态设为交易已完成Confirm过程发生任何异常，均进入Cancel阶段Confirm过程执行成功，则该事务结束Cancel 将用户A的账户增加100元将流水的状态设为交易失败在传统事务机制中，业务逻辑的执行和事务的处理，是在不同的阶段由不同的部件来完成的：业务逻辑部分访问资源实现数据存储，其处理是由业务系统负责；事务处理部分通过协调资源管理器以实现事务管理，其处理由事务管理器来负责。二者没有太多交互的地方，所以，传统事务管理器的事务处理逻辑，仅需要着眼于事务完成（commit/rollback）阶段，而不必关注业务执行阶段。 TCC全局事务必须基于RM本地事务来实现全局事务TCC服务是由Try/Confirm/Cancel业务构成的， 其Try/Confirm/Cancel业务在执行时，会访问资源管理器（Resource Manager，下文简称RM）来存取数据。这些存取操作，必须要参与RM本地事务，以使其更改的数据要么都commit，要么都rollback。 这一点不难理解，考虑一下如下场景： title 假设图中的服务B没有基于RM本地事务（以RDBS为例，可通过设置auto-commit为true来模拟），那么一旦[B:Try]操作中途执行失败，TCC事务框架后续决定回滚全局事务时，该[B:Cancel]则需要判断[B:Try]中哪些操作已经写到DB、哪些操作还没有写到DB：假设[B:Try]业务有5个写库操作，[B:Cancel]业务则需要逐个判断这5个操作是否生效，并将生效的操作执行反向操作。 不幸的是，由于[B:Cancel]业务也有n（0<=n<=5）个反向的写库操作，此时一旦[B:Cancel]也中途出错，则后续的[B:Cancel]执行任务更加繁重。因为，相比第一次[B:Cancel]操作，后续的[B:Cancel]操作还需要判断先前的[B:Cancel]操作的n（0<=n<=5）个写库中哪几个已经执行、哪几个还没有执行，这就涉及到了幂等性问题。而对幂等性的保障，又很可能还需要涉及额外的写库操作，该写库操作又会因为没有RM本地事务的支持而存在类似问题。。。可想而知，如果不基于RM本地事务，TCC事务框架是无法有效的管理TCC全局事务的。 反之，基于RM本地事务的TCC事务，这种情况则会很容易处理：[B:Try]操作中途执行失败，TCC事务框架将其参与RM本地事务直接rollback即可。后续TCC事务框架决定回滚全局事务时，在知道“[B:Try]操作涉及的RM本地事务已经rollback”的情况下，根本无需执行[B:Cancel]操作。 换句话说，基于RM本地事务实现TCC事务框架时，一个TCC型服务的cancel业务要么执行，要么不执行，不需要考虑部分执行的情况。 TCC事务框架应该提供Confirm/Cancel服务的幂等性保障一般认为，服务的幂等性，是指针对同一个服务的多次(n>1)请求和对它的单次(n=1)请求，二者具有相同的副作用。 在TCC事务模型中，Confirm/Cancel业务可能会被重复调用，其原因很多。比如，全局事务在提交/回滚时会调用各TCC服务的Confirm/Cancel业务逻辑。执行这些Confirm/Cancel业务时，可能会出现如网络中断的故障而使得全局事务不能完成。因此，故障恢复机制后续仍然会重新提交/回滚这些未完成的全局事务，这样就会再次调用参与该全局事务的各TCC服务的Confirm/Cancel业务逻辑。 既然Confirm/Cancel业务可能会被多次调用，就需要保障其幂等性。 那么，应该由TCC事务框架来提供幂等性保障？还是应该由业务系统自行来保障幂等性呢？ 个人认为，应该是由TCC事务框架来提供幂等性保障。如果仅仅只是极个别服务存在这个问题的话，那么由业务系统来负责也是可以的；然而，这是一类公共问题，毫无疑问，所有TCC服务的Confirm/Cancel业务存在幂等性问题。TCC服务的公共问题应该由TCC事务框架来解决；而且，考虑一下由业务系统来负责幂等性需要考虑的问题，就会发现，这无疑增大了业务系统的复杂度。

在工程实践上，为了保障系统的可用性，互联网系统大多将强一致性需求转换成最终一致性的需求，并通过系统执行幂等性的保证，保证数据的最终一致性。但在电商等场景中，对于数据一致性的解决方法和常见的互联网系统（如 MySQL 主从同步）又有一定区别，分成以下 6 种解决方案。（一）规避分布式事务——业务整合业务整合方案主要采用将接口整合到本地执行的方法。拿问题场景来说，则可以将服务 A、B、C 整合为一个服务 D 给业务，这个服务 D 再通过转换为本地事务的方式，比如服务 D 包含本地服务和服务 E，而服务 E 是本地服务 A ~ C 的整合。优点：解决（规避）了分布式事务。缺点：显而易见，把本来规划拆分好的业务，又耦合到了一起，业务职责不清晰，不利于维护。由于这个方法存在明显缺点，通常不建议使用。（二）经典方案 - eBay 模式此方案的核心是将需要分布式处理的任务通过消息日志的方式来异步执行。消息日志可以存储到本地文本、数据库或消息队列，再通过业务规则自动或人工发起重试。人工重试更多的是应用于支付场景，通过对账系统对事后问题的处理。消息日志方案的核心是保证服务接口的幂等性。考虑到网络通讯失败、数据丢包等原因，如果接口不能保证幂等性，数据的唯一性将很难保证。eBay 方式的主要思路如下。Base：一种 Acid 的替代方案此方案是 eBay 的架构师 Dan Pritchett 在 2008 年发表给 ACM 的文章，是一篇解释 BASE 原则，或者说最终一致性的经典文章。文中讨论了 BASE 与 ACID 原则在保证数据一致性的基本差异。如果 ACID 为分区的数据库提供一致性的选择，那么如何实现可用性呢？答案是BASE (basically available, soft state, eventually consistent)BASE 的可用性是通过支持局部故障而不是系统全局故障来实现的。下面是一个简单的例子：如果将用户分区在 5 个数据库服务器上，BASE 设计鼓励类似的处理方式，一个用户数据库的故障只影响这台特定主机那 20% 的用户。这里不涉及任何魔法，不过它确实可以带来更高的可感知的系统可用性。文章中描述了一个最常见的场景，如果产生了一笔交易，需要在交易表增加记录，同时还要修改用户表的金额。这两个表属于不同的远程服务，所以就涉及到分布式事务一致性的问题。文中提出了一个经典的解决方法，将主要修改操作以及更新用户表的消息放在一个本地事务来完成。同时为了避免重复消费用户表消息带来的问题，达到多次重试的幂等性，增加一个更新记录表 updates_applied 来记录已经处理过的消息。基于以上方法，在第一阶段，通过本地的数据库的事务保障，增加了 transaction 表及消息队列 。在第二阶段，分别读出消息队列（但不删除），通过判断更新记录表 updates_applied 来检测相关记录是否被执行，未被执行的记录会修改 user 表，然后增加一条操作记录到 updates_applied，事务执行成功之后再删除队列。通过以上方法，达到了分布式系统的最终一致性。进一步了解 eBay 的方案可以参考文末链接。（三）去哪儿网分布式事务方案随着业务规模不断地扩大，电商网站一般都要面临拆分之路。就是将原来一个单体应用拆分成多个不同职责的子系统。比如以前可能将面向用户、客户和运营的功能都放在一个系统里，现在拆分为订单中心、代理商管理、运营系统、报价中心、库存管理等多个子系统。拆分首先要面临的是什么呢？最开始的单体应用所有功能都在一起，存储也在一起。比如运营要取消某个订单，那直接去更新订单表状态，然后更新库存表就 ok 了。因为是单体应用，库在一起，这些都可以在一个事务里，由关系数据库来保证一致性。但拆分之后就不同了，不同的子系统都有自己的存储。比如订单中心就只管理自己的订单库，而库存管理也有自己的库。那么运营系统取消订单的时候就是通过接口调用等方式来调用订单中心和库存管理的服务了，而不是直接去操作库。这就涉及一个『分布式事务』的问题。分布式事务有两种解决方式优先使用异步消息。上文已经说过，使用异步消息 Consumer 端需要实现幂等。幂等有两种方式，一种方式是业务逻辑保证幂等。比如接到支付成功的消息订单状态变成支付完成，如果当前状态是支付完成，则再收到一个支付成功的消息则说明消息重复了，直接作为消息成功处理。另外一种方式如果业务逻辑无法保证幂等，则要增加一个去重表或者类似的实现。对于 producer 端在业务数据库的同实例上放一个消息库，发消息和业务操作在同一个本地事务里。发消息的时候消息并不立即发出，而是向消息库插入一条消息记录，然后在事务提交的时候再异步将消息发出，发送消息如果成功则将消息库里的消息删除，如果遇到消息队列服务异常或网络问题，消息没有成功发出那么消息就留在这里了，会有另外一个服务不断地将这些消息扫出重新发送。有的业务不适合异步消息的方式，事务的各个参与方都需要同步的得到结果。这种情况的实现方式其实和上面类似，每个参与方的本地业务库的同实例上面放一个事务记录库。比如 A 同步调用 B，C。A 本地事务成功的时候更新本地事务记录状态，B 和 C 同样。如果有一次 A 调用 B 失败了，这个失败可能是 B 真的失败了，也可能是调用超时，实际 B 成功。则由一个中心服务对比三方的事务记录表，做一个最终决定。假设现在三方的事务记录是 A 成功，B 失败，C 成功。那么最终决定有两种方式，根据具体场景：重试 B，直到 B 成功，事务记录表里记录了各项调用参数等信息；执行 A 和 B 的补偿操作(一种可行的补偿方式是回滚)。对 b 场景做一个特殊说明：比如 B 是扣库存服务，在第一次调用的时候因为某种原因失败了，但是重试的时候库存已经变为 0，无法重试成功，这个时候只有回滚 A 和 C 了。那么可能有人觉得在业务库的同实例里放消息库或事务记录库，会对业务侵入，业务还要关心这个库，是否一个合理的设计？实际上可以依靠运维的手段来简化开发的侵入，我们的方法是让 DBA 在公司所有 MySQL 实例上预初始化这个库，通过框架层（消息的客户端或事务 RPC 框架）透明的在背后操作这个库，业务开发人员只需要关心自己的业务逻辑，不需要直接访问这个库。总结起来，其实两种方式的根本原理是类似的，也就是将分布式事务转换为多个本地事务，然后依靠重试等方式达到最终一致性。（四）蘑菇街交易创建过程中的分布式一致性方案交易创建的一般性流程我们把交易创建流程抽象出一系列可扩展的功能点，每个功能点都可以有多个实现（具体的实现之间有组合/互斥关系）。把各个功能点按照一定流程串起来，就完成了交易创建的过程。面临的问题每个功能点的实现都可能会依赖外部服务。那么如何保证各个服务之间的数据是一致的呢？比如锁定优惠券服务调用超时了，不能确定到底有没有锁券成功，该如何处理？再比如锁券成功了，但是扣减库存失败了，该如何处理？方案选型服务依赖过多，会带来管理复杂性增加和稳定性风险增大的问题。试想如果我们强依赖 10 个服务，9 个都执行成功了，最后一个执行失败了，那么是不是前面 9 个都要回滚掉？这个成本还是非常高的。所以在拆分大的流程为多个小的本地事务的前提下，对于非实时、非强一致性的关联业务写入，在本地事务执行成功后，我们选择发消息通知、关联事务异步化执行的方案。消息通知往往不能保证 100% 成功；且消息通知后，接收方业务是否能执行成功还是未知数。前者问题可以通过重试解决；后者可以选用事务消息来保证。但是事务消息框架本身会给业务代码带来侵入性和复杂性，所以我们选择基于 DB 事件变化通知到 MQ 的方式做系统间解耦，通过订阅方消费 MQ 消息时的 ACK 机制，保证消息一定消费成功，达到最终一致性。由于消息可能会被重发，消息订阅方业务逻辑处理要做好幂等保证。所以目前只剩下需要实时同步做、有强一致性要求的业务场景了。在交易创建过程中，锁券和扣减库存是这样的两个典型场景。要保证多个系统间数据一致，乍一看，必须要引入分布式事务框架才能解决。但引入非常重的类似二阶段提交分布式事务框架会带来复杂性的急剧上升；在电商领域，绝对的强一致是过于理想化的，我们可以选择准实时的最终一致性。我们在交易创建流程中，首先创建一个不可见订单，然后在同步调用锁券和扣减库存时，针对调用异常（失败或者超时），发出废单消息到MQ。如果消息发送失败，本地会做时间阶梯式的异步重试；优惠券系统和库存系统收到消息后，会进行判断是否需要做业务回滚，这样就准实时地保证了多个本地事务的最终一致性。（五）支付宝及蚂蚁金融云的分布式服务 DTS 方案业界常用的还有支付宝的一种 xts 方案，由支付宝在 2PC 的基础上改进而来。主要思路如下，大部分信息引用自官方网站。分布式事务服务简介分布式事务服务 (Distributed Transaction Service, DTS) 是一个分布式事务框架，用来保障在大规模分布式环境下事务的最终一致性。DTS 从架构上分为 xts-client 和 xts-server 两部分，前者是一个嵌入客户端应用的 JAR 包，主要负责事务数据的写入和处理；后者是一个独立的系统，主要负责异常事务的恢复。核心特性传统关系型数据库的事务模型必须遵守 ACID 原则。在单数据库模式下，ACID 模型能有效保障数据的完整性，但是在大规模分布式环境下，一个业务往往会跨越多个数据库，如何保证这多个数据库之间的数据一致性，需要其他行之有效的策略。在 JavaEE 规范中使用 2PC (2 Phase Commit, 两阶段提交) 来处理跨 DB 环境下的事务问题，但是 2PC 是反可伸缩模式，也就是说，在事务处理过程中，参与者需要一直持有资源直到整个分布式事务结束。这样，当业务规模达到千万级以上时，2PC 的局限性就越来越明显，系统可伸缩性会变得很差。基于此，我们采用 BASE 的思想实现了一套类似 2PC 的分布式事务方案，这就是 DTS。DTS在充分保障分布式环境下高可用性、高可靠性的同时兼顾数据一致性的要求，其最大的特点是保证数据最终一致 (Eventually consistent)。简单的说，DTS 框架有如下特性：最终一致：事务处理过程中，会有短暂不一致的情况，但通过恢复系统，可以让事务的数据达到最终一致的目标。协议简单：DTS 定义了类似 2PC 的标准两阶段接口，业务系统只需要实现对应的接口就可以使用 DTS 的事务功能。与 RPC 服务协议无关：在 SOA 架构下，一个或多个 DB 操作往往被包装成一个一个的 Service，Service 与 Service 之间通过 RPC 协议通信。DTS 框架构建在 SOA 架构上，与底层协议无关。与底层事务实现无关： DTS 是一个抽象的基于 Service 层的概念，与底层事务实现无关，也就是说在 DTS 的范围内，无论是关系型数据库 MySQL，Oracle，还是 KV 存储 MemCache，或者列存数据库 HBase，只要将对其的操作包装成 DTS 的参与者，就可以接入到 DTS 事务范围内。一个完整的业务活动由一个主业务服务与若干从业务服务组成。主业务服务负责发起并完成整个业务活动。从业务服务提供 TCC 型业务操作。业务活动管理器控制业务活动的一致性，它登记业务活动中的操作，并在活动提交时确认所有的两阶段事务的 confirm 操作，在业务活动取消时调用所有两阶段事务的 cancel 操作。”与 2PC 协议比较，没有单独的 Prepare 阶段，降低协议成本。系统故障容忍度高，恢复简单（六）农信网数据一致性方案电商业务公司的支付部门，通过接入其它第三方支付系统来提供支付服务给业务部门，支付服务是一个基于 Dubbo 的 RPC 服务。对于业务部门来说，电商部门的订单支付，需要调用支付平台的支付接口来处理订单；同时需要调用积分中心的接口，按照业务规则，给用户增加积分。从业务规则上需要同时保证业务数据的实时性和一致性，也就是支付成功必须加积分。我们采用的方式是同步调用，首先处理本地事务业务。考虑到积分业务比较单一且业务影响低于支付，由积分平台提供增加与回撤接口。具体的流程是先调用积分平台增加用户积分，再调用支付平台进行支付处理，如果处理失败，catch 方法调用积分平台的回撤方法，将本次处理的积分订单回撤。用户信息变更公司的用户信息，统一由用户中心维护，而用户信息的变更需要同步给各业务子系统，业务子系统再根据变更内容，处理各自业务。用户中心作为 MQ 的 producer，添加通知给 MQ。APP Server 订阅该消息，同步本地数据信息，再处理相关业务比如 APP 退出下线等。我们采用异步消息通知机制，目前主要使用 ActiveMQ，基于 Virtual Topic 的订阅方式，保证单个业务集群订阅的单次消费。总结分布式服务对衍生的配套系统要求比较多，特别是我们基于消息、日志的最终一致性方案，需要考虑消息的积压、消费情况、监控、报警等。

ReMySQL官方管理工具上线啦，快来体验！ 用RDS的初衷是省心,不需要自己维护mysql数据库,其实看到RDS控制面板里有优化的一些监控选项,但是我想说的是如果RDS控制面板也好,IDB也罢,如果只停留在(更多RDS数据库性能优化相关的数据，便于开发人员、SA、DBA优化数据库。)那依然是把RDS当作给程序员,开发人员,大公司(有能力雇开发人员)用的,而不是给普通站长用的. 希望能站在普通站长的角度,看看能不能有更加方便的工具,提示,或者引导,指导,普通站长(没开发能力的)去优化RDS数据库呢? 我虽然很喜欢阿里云的产品,包括ECS,RDS,OSS等等,但是这些产品说实话都是停留在面向于有开发能力,有windows,liunx服务器环境实施操作能力的站长,不过相对于其他产品而言ECS的第三方工具以及第三方合作伙伴生态环境相对来说好很多,教程也比较多,如果遇到虽然不懂怎么操作,但是善于学习的站长来说还是可以的,RDS导入数据库应该说也勉强能够接受,但是RDS的优化我反正是看不懂了,当然也不敢轻易的去动设置选项,也没钱找开发人员,或者数据库维护人员帮我优化了! OSS就更惨了,找不到合适的discuz x3.1插件不说,连几十G数据想从upyun搬家到青岛oss节点,都找不到合适的解决方案. ------------------------- ReMySQL官方管理工具上线啦，快来体验！ 貌似查询数量只能3000条,但是如果我想修改超过3000条以上的数据怎么办? ------------------------- 回12楼钟隐的帖子 以前一直是用phpmyadmin来管理mysql数据库的,既然你们让我们的phpmyadmin say NO,那你们得给我们一个理由让我们去say NO,假设phpmyadmin能做到的事情你们无法做到,我们又为什么要去对phpmyadmin say NO,您也给我一个理由! 不要说想像不出来什么场景,既然一个事物要代替另一个事物,你必须要满足建立在拥有代替那个事物全部功能基础之上的,也就是说他能做到的,你们都能做到,他做不到的你们还能做到,不然用户为什么要对原来的事物say no? 开发人员可能无法站在普通站长的视角去看问题,因为我们无法站长开发人员的视角去处理问题,因为我们是普通站长,我们不懂SQL语句 我是不敢轻易在phpmyadmin里运行SQL语句的,万一错了,导致后果很严重,我们菜鸟就真的束手无策了,我也不敢说很懂phpmyadmin如何使用,至少我从来没用过,我看一下,我能简单的对我的数据库里的内容进行修改! 我用的是discuz,在phpmyadmin里左侧可以看到各种discuz数据库里的表单,比如记录帖子的表单,比如记录用户的表单,我在phpmyadmin里是可以把某一个帖子的数据调出来修改的! 比如这个帖子的数据是在第9000多个,我虽然你不懂语句,我可以在phpmyadmin里查看第多少页到多少页的数据,我让他一页显示多少个,然后再估算一下多少页之间可以找到这帖子的数据,我就能找到这个帖子的数据,然后对这个数据进行修改! 可是在你们的这个工具里,我只能查看到3000条,可是3000条之后的呢?我不是说要一次性查看几万条,几十万条,可是如果数据如果是有编号的从1-50万,如果我要查看这50万条数据中最后的3000条我要如何做? 其实你们错误的理解我们的需求,你认为我们是要批量修改超过3000条的数据,其实是我在查看一个表的时候这个表有几十万条数据,问题是我无法做到查看排序在3000条以后的数据.....,看来看去就只能看到前3000条,问题是我要改后面的数据 您看一下用户的反馈都是对翻页功能,查询数据的功能吐槽! 我想他的问题应该跟我一样,想通过翻页,查询找到自己想要的数据是很痛苦的! 最倒霉的是把phpmyadmin里这些功能给限制不让用了!

ReMySQL官方管理工具上线啦，快来体验！ 用RDS的初衷是省心,不需要自己维护mysql数据库,其实看到RDS控制面板里有优化的一些监控选项,但是我想说的是如果RDS控制面板也好,IDB也罢,如果只停留在(更多RDS数据库性能优化相关的数据，便于开发人员、SA、DBA优化数据库。)那依然是把RDS当作给程序员,开发人员,大公司(有能力雇开发人员)用的,而不是给普通站长用的. 希望能站在普通站长的角度,看看能不能有更加方便的工具,提示,或者引导,指导,普通站长(没开发能力的)去优化RDS数据库呢? 我虽然很喜欢阿里云的产品,包括ECS,RDS,OSS等等,但是这些产品说实话都是停留在面向于有开发能力,有windows,liunx服务器环境实施操作能力的站长,不过相对于其他产品而言ECS的第三方工具以及第三方合作伙伴生态环境相对来说好很多,教程也比较多,如果遇到虽然不懂怎么操作,但是善于学习的站长来说还是可以的,RDS导入数据库应该说也勉强能够接受,但是RDS的优化我反正是看不懂了,当然也不敢轻易的去动设置选项,也没钱找开发人员,或者数据库维护人员帮我优化了! OSS就更惨了,找不到合适的discuz x3.1插件不说,连几十G数据想从upyun搬家到青岛oss节点,都找不到合适的解决方案. ------------------------- ReMySQL官方管理工具上线啦，快来体验！ 貌似查询数量只能3000条,但是如果我想修改超过3000条以上的数据怎么办? ------------------------- 回12楼钟隐的帖子 以前一直是用phpmyadmin来管理mysql数据库的,既然你们让我们的phpmyadmin say NO,那你们得给我们一个理由让我们去say NO,假设phpmyadmin能做到的事情你们无法做到,我们又为什么要去对phpmyadmin say NO,您也给我一个理由! 不要说想像不出来什么场景,既然一个事物要代替另一个事物,你必须要满足建立在拥有代替那个事物全部功能基础之上的,也就是说他能做到的,你们都能做到,他做不到的你们还能做到,不然用户为什么要对原来的事物say no? 开发人员可能无法站在普通站长的视角去看问题,因为我们无法站长开发人员的视角去处理问题,因为我们是普通站长,我们不懂SQL语句 我是不敢轻易在phpmyadmin里运行SQL语句的,万一错了,导致后果很严重,我们菜鸟就真的束手无策了,我也不敢说很懂phpmyadmin如何使用,至少我从来没用过,我看一下,我能简单的对我的数据库里的内容进行修改! 我用的是discuz,在phpmyadmin里左侧可以看到各种discuz数据库里的表单,比如记录帖子的表单,比如记录用户的表单,我在phpmyadmin里是可以把某一个帖子的数据调出来修改的! 比如这个帖子的数据是在第9000多个,我虽然你不懂语句,我可以在phpmyadmin里查看第多少页到多少页的数据,我让他一页显示多少个,然后再估算一下多少页之间可以找到这帖子的数据,我就能找到这个帖子的数据,然后对这个数据进行修改! 可是在你们的这个工具里,我只能查看到3000条,可是3000条之后的呢?我不是说要一次性查看几万条,几十万条,可是如果数据如果是有编号的从1-50万,如果我要查看这50万条数据中最后的3000条我要如何做? 其实你们错误的理解我们的需求,你认为我们是要批量修改超过3000条的数据,其实是我在查看一个表的时候这个表有几十万条数据,问题是我无法做到查看排序在3000条以后的数据.....,看来看去就只能看到前3000条,问题是我要改后面的数据 您看一下用户的反馈都是对翻页功能,查询数据的功能吐槽! 我想他的问题应该跟我一样,想通过翻页,查询找到自己想要的数据是很痛苦的! 最倒霉的是把phpmyadmin里这些功能给限制不让用了!

1:对的,一个adapter只可以有一个继承IoHandlerAdapter的类 2:有的,在NioProcessor类中的allSessions方法可以得到 3:你继承IoHandlerAdapter类,并实现messageReceived,当有数据传入这个session时,就会触发这个方法了,如果你不加任何filter时,参数message将是ByteBuffer类,你使用ByteBuffer类的读取方法即可 建议加上一个协议解释的filter 如: 先extendsIoFilterAdapter 实现messageReceived方法 publicfinalvoidmessageReceived(NextFilternextFilter,IoSessionsession,   Objectmessage){  if(eventTypes.contains(IoEventType.MESSAGE_RECEIVED)){   IoBufferbuf=(IoBuffer)message;   Protocolp=newProtocol(); buf.get();//0x81 buf.get(newByte[3]);被叫 //解释协议   nextFilter.messageReceived(session,p));  }else{   nextFilter.messageReceived(session,message);  } } 这样,你继承IoHandlerAdapter的类的messageReceived的message将是Protocol这个类###### eventTypes.contains（）怎么会找不到这样的东西呢。这是一个什么包的内容？###### OO,这个判断你可以不管吧###### 直接删了###### 关于IoFilterAdapter是不是可以做成。有多少个报文字，就可以有多少个IoFilterAdapter，去生成对应的自己定义的报文包类。 对于Iobuffer的处理，比如：报文字数据错误，报文字不全等问题，做如何处理？###### 这个还没有试过 应不行 因为他一个adapter对应一个端口的 报文解释一般都是分为协议头和协议体 协议头的报文件结构是一样的 如  长度int 协议码int 接下来就是协议体了长度一般是协议头定义的那个长度###### 1，默认情况下，allSessions只是工内部使用的iosessions池,外部(application)是用不到的。因为NioProcesser是由内部通Classloader创建的,外部根本拿不到他的instance.如果非要使用内建的allSessionsmethod,必需自己创建nioAcceptor的时候创建IoProcesser,但是对mina性能的影响绝对是致命的. 2,可以自己搞一个CurrentHashMap，当每个连接建立的时候put，关闭的时候remove，很好控制 3,数据包格式是自定义的格式，可以自己实现ProtocolEncoder和ProtocolDecoder接口。 4,对于处理多种结构的数据包可以使用一个ProtocolDecoder解决，就是捕获数据包类型后，在分别解包。可以参考red5开源flashserver,他支持很多数据包结构，只有一个ProtocolDecoder###### 关于allSessions，我现在能想到的也是在建立时候，putIOsession到MAP里去。 关于多结构数据包，我感觉有点晕。还在进一步探索。我先去找下red5开源flashserver看下。看能有什么帮助没有！###### red5开源flashserver项目太难搞了。都找不北。###### red5使用了非常多的第三方组件，比如什么jetty，quartz，ehcache，配置也比较复杂。 red5使用的是apache的ivy管理项目的，项目搭建和maven搭建感觉插不多？ 你只需要关心他的协议层，org.red5.server.net.rtmp.codec中带mina的codec就行了

1:对的,一个adapter只可以有一个继承IoHandlerAdapter的类 2:有的,在NioProcessor类中的allSessions方法可以得到 3:你继承IoHandlerAdapter类,并实现messageReceived,当有数据传入这个session时,就会触发这个方法了,如果你不加任何filter时,参数message将是ByteBuffer类,你使用ByteBuffer类的读取方法即可 建议加上一个协议解释的filter 如: 先extends IoFilterAdapter 实现messageReceived方法 public final void messageReceived(NextFilter nextFilter, IoSession session,   Object message) {  if (eventTypes.contains(IoEventType.MESSAGE_RECEIVED)) {   IoBuffer buf = (IoBuffer) message;   Protocol p=new Protocol(); buf .get();//0x81 buf.get(new Byte[3]);被叫 //解释协议   nextFilter.messageReceived( session, p));  } else {   nextFilter.messageReceived(session, message);  } } 这样,你继承IoHandlerAdapter的类 的messageReceived 的message将是Protocol 这个类###### eventTypes.contains（）怎么会找不到这样的东西呢。这是一个什么包的内容？###### OO,这个判断你可以不管吧###### 直接删了###### 关于 IoFilterAdapter 是不是可以做成。有多少个报文字，就可以有多少个IoFilterAdapter，去生成对应的自己定义的报文包类。 对于Iobuffer的处理，比如：报文字数据错误，报文字不全等问题，做如何处理？###### 这个还没有试过 应不行 因为他一个adapter对应一个端口的 报文解释一般都是分为协议头和协议体 协议头的报文件结构是一样的 如  长度 int 协议码 int 接下来就是协议体了 长度一般是协议头定义的那个长度###### 1，默认情况下，allSessions只是工内部使用的iosessions池,外部(application)是用不到的。因为NioProcesser是由内部通Class loader 创建的,外部根本拿不到他的instance.如果非要使用内建的allSessions method,必需自己创建nioAcceptor的时候创建IoProcesser,但是对mina性能的影响绝对是致命的. 2,可以自己搞一个CurrentHashMap，当每个连接建立的时候put，关闭的时候remove，很好控制 3,数据包格式是自定义的格式，可以自己实现 ProtocolEncoder 和ProtocolDecoder接口。 4,对于处理多种结构的数据包可以使用一个ProtocolDecoder解决，就是捕获数据包类型后，在分别解包。可以参考red5 开源flash server,他支持很多数据包结构，只有一个ProtocolDecoder###### 关于allSessions，我现在能想到的也是在建立时候，put IOsession 到MAP 里去。 关于多结构数据包，我感觉有点晕。还在进一步探索。我先去找下 red5 开源flash server看下。看能有什么帮助没有！###### red5 开源flash server项目太难搞了。都找不北。###### red5使用了非常多的第三方组件，比如什么jetty，quartz，ehcache，配置也比较复杂。 red5使用的是apache的 ivy管理项目的，项目搭建和maven搭建感觉插不多？ 你只需要关心他的协议层，org.red5.server.net.rtmp.codec 中带mina的codec就行了

服务器和操作系统 1、主板的两个芯片分别是什么芯片，具备什么作用？ 北桥：离CPU近，负责CPU、内存、显卡之间的通信。 南桥：离CPU远，负责I/O总线之间的通信。 2、什么是域和域控制器？ 将网络中的计算机逻辑上组织到一起，进行集中管理，这种集中管理的环境称为域。 在域中，至少有一台域控制器，域控制器中保存着整个域的用户账号和安全数据，安装了活动目录的一台计算机为域控制器，域管理员可以控制每个域用户的行为。 3、现在有300台虚拟机在云上，你如何进行管理？ 1）设定堡垒机，使用统一账号登录，便于安全与登录的考量。 2）使用ansiable、puppet进行系统的统一调度与配置的统一管理。 3）建立简单的服务器的系统、配置、应用的cmdb信息管理。便于查阅每台服务器上的各种信息记录。 4、简述raid0 raid1 raid5 三种工作模式的工作原理及特点 磁盘冗余阵列（Redundant Arrays of Independent Disks，RAID），把硬盘整合成一个大磁盘，在大磁盘上再分区，存放数据、多块盘放在一起可以有冗余（备份）。 RAID整合方式有很多，常用的：0 1 5 10 RAID 0：可以是一块盘和N个盘组合 优点：读写快，是RAID中最好的 缺点：没有冗余，一块坏了数据就全没有了 RAID 1：只能2块盘，盘的大小可以不一样，以小的为准 10G+10G只有10G，另一个做备份。它有100%的冗余，缺点：浪费资源，成本高 RAID 5 ：3块盘，容量计算10*（n-1）,损失一块盘 特点：读写性能一般，读还好一点，写不好 总结： 冗余从好到坏：RAID1 RAID10 RAID 5 RAID0 性能从好到坏：RAID0 RAID10 RAID5 RAID1 成本从低到高：RAID0 RAID5 RAID1 RAID10 5、linux系统里，buffer和cache如何区分？ buffer和cache都是内存中的一块区域，当CPU需要写数据到磁盘时，由于磁盘速度比较慢，所以CPU先把数据存进buffer，然后CPU去执行其他任务，buffer中的数据会定期写入磁盘；当CPU需要从磁盘读入数据时，由于磁盘速度比较慢，可以把即将用到的数据提前存入cache，CPU直接从Cache中拿数据要快的多。 6、主机监控如何实现？ 数据中心可以用zabbix（也可以是nagios或其他）监控方案，zabbix图形界面丰富，也自带很多监控模板，特别是多个分区、多个网卡等自动发现并进行监控做得非常不错，不过需要在每台客户机（被监控端）安装zabbix agent。 如果在公有云上，可以使用云监控来监控主机的运行。 网络 7、主机与主机之间通讯的三要素有什么？ IP地址、子网掩码、IP路由 8、TCP和UDP都可以实现客户端/服务端通信，这两个协议有何区别？ TCP协议面向连接、可靠性高、适合传输大量数据；但是需要三次握手、数据补发等过程，耗时长、通信延迟大。 UDP协议面向非连接、可靠性低、适合传输少量数据；但是连接速度快、耗时短、延迟小。 9、简述TCP协议三次握手和四次分手以及数据传输过程 三次握手： （1）当主机A想同主机B建立连接，主机A会发送SYN给主机B，初始化序列号seq=x。主机A通过向主机B发送SYS报文段，实现从主机A到主机B的序列号同步，即确定seq中的x。 （2）主机B接收到报文后，同意与A建立连接，会发送SYN、ACK给主机A。初始化序列号seq=y，确认序号ack=x+1。主机B向主机A发送SYN报文的目的是实现从主机B到主机A的序列号同步，即确定seq中的y。 （3）主机A接收到主机B发送过来的报文后，会发送ACK给主机B，确认序号ack=y+1，建立连接完成，传输数据。 四次分手： （1）当主机A的应用程序通知TCP数据已经发送完毕时，TCP向主机B发送一个带有FIN附加标记的报文段，初始化序号seq=x。 （2）主机B收到这个FIN报文段，并不立即用FIN报文段回复主机A，而是想主机A发送一个确认序号ack=x+1，同时通知自己的应用程序，对方要求关闭连接（先发ack是防止主机A重复发送FIN报文）。 （3）主机B发送完ack确认报文后，主机B 的应用程序通知TCP我要关闭连接，TCP接到通知后会向主机A发送一个带有FIN附加标记的报文段，初始化序号seq=x，ack=x+1。 （4）主机A收到这个FIN报文段，向主机B发送一个ack确认报文，ack=y+1，表示连接彻底释放。 10、SNAT和DNAT的区别 SNAT:内部地址要访问公网上的服务时（如web访问），内部地址会主动发起连接，由路由器或者防火墙上的网关对内部地址做个地址转换，将内部地址的私有IP转换为公网的公有IP，网关的这个地址转换称为SNAT，主要用于内部共享IP访问外部。 DNAT:当内部需要提供对外服务时（如对外发布web网站），外部地址发起主动连接，由路由器或者防火墙上的网关接收这个连接，然后将连接转换到内部，此过程是由带有公网IP的网关替代内部服务来接收外部的连接，然后在内部做地址转换，此转换称为DNAT，主要用于内部服务对外发布。 数据库 11、叙述数据的强一致性和最终一致性 强一致性：在任何时刻所有的用户或者进程查询到的都是最近一次成功更新的数据。强一致性是程度最高一致性要求，也是最难实现的。关系型数据库更新操作就是这个案例。 最终一致性：和强一致性相对，在某一时刻用户或者进程查询到的数据可能都不同，但是最终成功更新的数据都会被所有用户或者进程查询到。当前主流的nosql数据库都是采用这种一致性策略。 12、MySQL的主从复制过程是同步的还是异步的？ 主从复制的过程是异步的复制过程，主库完成写操作并计入binlog日志中，从库再通过请求主库的binlog日志写入relay中继日志中，最后再执行中继日志的sql语句。 **13、MySQL主从复制的优点 ** 如果主服务器出现问题，可以快速切换到从服务器提供的服务； 可以在从服务器上执行查询操作，降低主服务器的访问压力； 可以在从服务器上执行备份，以避免备份期间影响主服务器的服务。 14、redis有哪些数据类型？ (一)String 最常规的set/get操作，value可以是String也可以是数字。一般做一些复杂的计数功能的缓存。 (二)hash 这里value存放的是结构化的对象，比较方便的就是操作其中的某个字段。做单点登录的时候，就是用这种数据结构存储用户信息，以cookieId作为key，设置30分钟为缓存过期时间，能很好的模拟出类似session的效果。 (三)list 使用List的数据结构，可以做简单的消息队列的功能。另外还有一个就是，可以利用lrange命令，做基于redis的分页功能，性能极佳，用户体验好。 (四)set 因为set堆放的是一堆不重复值的集合。所以可以做全局去重的功能。为什么不用JVM自带的Set进行去重？因为我们的系统一般都是集群部署，使用JVM自带的Set，比较麻烦，难道为了一个做一个全局去重，再起一个公共服务，太麻烦了。 另外，就是利用交集、并集、差集等操作，可以计算共同喜好，全部的喜好，自己独有的喜好等功能。 (五)Zset Zset多了一个权重参数score,集合中的元素能够按score进行排列。可以做排行榜应用，取TOP N操作。另外，sorted set可以用来做延时任务。最后一个应用就是可以做范围查找。 15、叙述分布式数据库及其使用场景？ 分布式数据库应该是数据访问对应用透明，每个分片默认采用主备架构，提供灾备、恢复、监控、不停机扩容等整套解决方案，适用于TB或PB级的海量数据场景。 应用 16、Apache、Nginx、Lighttpd都有哪些特点？ Apache特点：1）几乎可以运行在所有的计算机平台上；2）支持最新的http/1.1协议；3）简单而且强有力的基于文件的配置（httpd.conf)；4）支持通用网关接口（cgi）；5）支持虚拟主机；6）支持http认证，7）集成perl；8）集成的代理服务器；9）可以通过web浏览器监视服务器的状态，可以自定义日志；10）支持服务器端包含命令（ssi）；11）支持安全socket层（ssl）；12）具有用户绘画过程的跟踪能力；13）支持fastcgi；14）支持java servlets Nginx特点：nginx是一个高性能的HTTP和反向代理服务器，同时也是一个IMAP/POP3/SMTP代理服务器，处理静态文件，索引文件以及自动索引，无缓存的反向代理加速，简单的负载均衡和容错，具有很高的稳定性，支持热部署。 Lighttpd特点：是一个具有非常低的内存开销，CPU占用率低，效能好，以及丰富的模块，Lighttpd是众多opensource轻量级的webserver中较为优秀的一个，支持fastcgi，cgi，auth，输出压缩，url重写，alias等重要功能。 17、LVS、NGINX、HAPROXY的优缺点？ LVS优点：具有很好的可伸缩性、可靠性、可管理性。抗负载能力强、对内存和CPU资源消耗比较低。工作在四层上，仅作分发，所以它几乎可以对所有的应用做负载均衡，且没有流量的产生，不会受到大流量的影响。 LVS缺点：软件不支持正则表达式处理，不能做动静分离，如果web应用比较庞大，LVS/DR+KEEPALIVED实施和管理比较复杂。相对而言，nginx和haproxy就简单得多。 nginx优点：工作在七层之上，可以针对http应用做一些分流的策略。比如针对域名、目录结构。它的正则规则比haproxy更为强大和灵活。对网络稳定性依赖非常小。理论上能PING就能进行负载均衡。配置和测试简单，可以承担高负载压力且稳定。nginx可以通过端口检测到服务器内部的故障。比如根据服务器处理网页返回的状态码、超时等。并且可以将返回错误的请求重新发送给另一个节点，同时nginx不仅仅是负载均衡器/反向代理软件。同时也是功能强大的web服务器，可以作为中层反向代理、静态网页和图片服务器使用。 nginx缺点：不支持URL检测，仅支持HTTP和EMAIL，对session的保持，cookie的引导能力相对欠缺。 Haproxy优点：支持虚拟主机、session的保持、cookie的引导；同时支持通过获取指定的url来检测后端服务器的状态。支持TCP协议的负载均衡；单纯从效率上讲比nginx更出色，且负载策略非常多。 aproxy缺点：扩展性能差；添加新功能很费劲，对不断扩展的新业务很难对付。 18、什么是中间件？什么是jdk？ 中间件介绍： 中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源 中间件位于客户机/ 服务器的操作系统之上，管理计算机资源和网络通讯 是连接两个独立应用程序或独立系统的软件。相连接的系统，即使它们具有不同的接口 但通过中间件相互之间仍能交换信息。执行中间件的一个关键途径是信息传递 通过中间件，应用程序可以工作于多平台或OS环境。 jdk：jdk是Java的开发工具包 它是一种用于构建在 Java 平台上发布的应用程序、applet 和组件的开发环境 19、日志收集、日志检索、日志展示的常用工具有哪些？ ELK或EFK。 Logstash：数据收集处理引擎。支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储以供后续使用。 Kibana：可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。 Elasticsearch：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 基于 Lucene 开发，现在使用最广的开源搜索引擎之一，Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。 Filebeat：轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说：Filebeat就是新版的 Logstash-fowarder，逐渐取代其位置。 20、什么是蓝绿发布和灰度发布？ 蓝绿：旧版本-新版本 灰度：新旧版本各占一定比例，比例可自定义 两种发布都通过devops流水线实现

数据库课程设计 “数据库课程设计”是数据库系统及应用课程的后续实验课，是进一步巩固学生的数据库知识，加强学生的实际动手能力和提高学生综合素质。 一、 课程设计目的 课程设计为学生提供了一个既动手又动脑，独立实践的机会，将课本上的理论知识和实际有机的结合起来，锻炼学生的分析解决实际问题的能力。提高学生适应实际，实践编程的能力。课程设计的目的： 1. 加深对数据库原理、程序设计语言的理论知识的理解和应用水平； 2. 在理论和实验教学基础上进一步巩固已学基本理论及应用知识并加以综合提高； 3. 学会将知识应用于实际的方法，提高分析和解决问题的能力，增强动手能力； 4. 为毕业设计和以后工作打下必要基础。 二、课程设计要求 运用数据库原理的基本理论与应用知识，在微机RDBMS(SQL Server)的环境上建立一个数据库应用系统。要求把现实世界的事物及事物之间的复杂关系抽象为信息世界的实体及实体之间联系的信息模型，再转换为机器世界的数据模型和数据文件，并对数据文件实施检索、更新和控制等操作。 1. 用E-R图设计选定题目的信息模型； 2. 设计相应的关系模型，确定数据库结构； 3. 分析关系模式各属于第几范式，阐明理由； 4. 设计应用系统的系统结构图，确定系统功能； 5. 通过设计关系的主码约束、外码约束和使用CHECK实现完整性控制； 6. 为参照关系设计插入、删除、修改触发器； 7. 实现应用程序设计、编程、优化功能； 8. 对系统的各个应用程序进行集成和调试，进一步优化系统功能、改善系统用户界面完成实验内容所指定的各项要求； 9. 分析遇到的问题，总结并写出课程设计报告； 10. 自我评价 三、实验环境 开发环境VC++、C#、ASP或JAVA；ODBC/JDBC；数据库SQL Server 四、上机实现内容 1. 创建数据库的结构 2. 创建各基本表的结构 3. 编制系统各功能模块，完成数据的管理（增、删、改）及统计查询。对于程序运行界面不做考核的重点。 五、课程设计考核 1.对学生到实验室的情况进行不定时统计； 2.出勤率+课程设计报告+课程设计所开发的应用系统+其他（上机抽查和提问）=综合评定成绩。 3.课程设计结束时请将下列资料上交： （1） 课程设计报告； （2） 所开发的应用系统的源程序、安装和使用说明； （3） 将（1）（2）中的资料压缩成一个压缩包，压缩包文件的命名规则：班级+学号（末2位）+姓名（例如：计科090101王鹏晓）； （4） 班长将本班每人的（3）中的压缩包刻录成光盘连同打印的课程设计报告收齐，交给任课教师。 附录﹑课程设计题目 题目1：课程设计选题管理系统（1，24） 包括三大模块：  课程设计题目维护与查询：题目的添加、修改和删除；按题目类型、名称和关键字查询以及已选与未选题目的查询；  学生信息维护与查询；  学生选题维护与管理：学生选题及查询； 具体功能细化：  前台学生选题：学生上网登录系统进行选题；  前台教师出题：  教师添加、修改和删除题目；  教师确认学生的选题；  后台管理出题和选题  添加用户及权限 题目2：书店管理系统（23） 包括四大模块：  售书（图书销售管理及销售统计，查询）  进书（通过书目，向发行商下定单订购图书）  库存（图书库存，统计）  相关查询 题目3：图书馆管理系统（11） 包括四大模块：  图书的查询  借书  还书  图书的预约 题目4：库存管理系统（8） 包括四大模块：  商品目录建立  商品入库管理  商品出库管理  商品库存查询 题目5：工资管理系统（1 人）41 包括四大模块：  系统数据初始化  员工基本信息数据的输入、修改、删除；  员工个人信息及工资表的查询；  员工工资的计算； 参考数据如下：  员工基本状况：包括员工号、员工姓名、性别、所在部门、工资级别、工资等级等。  工资级别和工资金额：包括工资等级、工资额。  企业部门及工作岗位信息：包括部门名称、工作岗位名称、工作岗位工资等。  工龄和工资金额：包括工龄及对应工资额。  公司福利表：包括福利名称、福利值。  工资信息：包括员工号、员工姓名、员工基础工资、员工岗位工资、员工工龄工资、公司福利、员工实得工资。 题目6：酒店客房管理系统 （1 人）14，26 包括四大模块：  前台操作：包括开房登记、退房结账和房状态查看  预订管理：包括预订房间、预订入住和解除预订  信息查询：包括在住客人列表、预订客人列表和历史客人列表  报表统计：包括开房记录统计、退房结账和预订房间统计  员工基本信息数据的输入、修改、删除； 参考数据如下：  住店管理：客人姓名、证件号码、房号、入住时期、预计离开日期、结账离开日期、应付金额  客人信息：姓名、性别、证件类型、证件号码、联系电话  房间信息：房号、房类型、价格、押金、房状态 预订房间  客人姓名、性别、房类型、房号、价格、证件类型、证件号码、联系电话、入住日期、预计离开日期、历史信息 题目7：旅行社管理信息系统（1 人）3 包括如下模块：  旅游团队、团队团员及旅游路线相关信息的输入  旅游团队、团队团员及旅游路线相关信息的维护（修改、浏览、删除和撤销）  旅游团队管理信息的查询（如按团队编号）  团队团员基本情况的查询（可选多种方式）  旅游路线相关信息的查询（如按线路编号）  旅游路线排行榜发布。  数据备份，更改密码。 参考数据如下：  团员信息表（路线编号，团队编号，团员编号，姓名，性别，电话，通信地址，身份证号码， 团费交否，备注）  线路信息表（路线名称，团费，简介，图形，路线编号）  团队信息表（团队编号，路线编号，团员人数，出发日期，返程日期）  旅游团队信息表（团队编号，团队负责人，团员人数，建团时间，是否出发，团费，盈亏） 密码信息（操作员，密码） 题目8：报刊订阅管理系统 （1 人）25，35 包括如下模块：  登录功能：登录统为身份验证登录。分为管理员登录和一般用户登录。分别通过不 同的用户名和密码进入报刊订阅管理界面，新的用户需要注册。  录入新信息功能：对于管理员，包括新用户信息和新报刊信息的录入功能，信息一旦 提交就存入到后台数据库中；普通用户自行注册进行可以修改个人信息。  订阅功能：用户可以订阅报刊，系统自动计算所需金额，并显示在界面上；管理员不 可订阅报刊，必须以用户身份订阅报刊。  查询功能：用户可以查询并显示自己所订阅的信息；管理员可以按人员、报刊、部门 分类查询。查询出的信息显示在界面上,并且可以预览和打印出结果。  统计功能：管理员可以按用户、部门、报刊统计报刊的销售情况，并对一些重要的订 阅信息进行统计；普通用户可以统计出自己的订阅情况，并且可以预览和打印出结果。  系统维护功能：数据的安全管理，主要是依靠管理员对数据库里的信息进行备份和恢 复，数据库备份后，如果出了什么意外可以恢复数据库到当时备份的状态，这提高了系统和 数据的安全性，有利于系统的维护 参考数据如下：  管理员表（Adminuser） ：管理员名、密码。  部门表（Department） ：部门号，部门名。  用户表（Users） ：用户账号、密码、真实姓名、身 份证号、联系电话，联系地址，部门号（和部门表有关）等。  报刊类别表（NewspaperClass） ：分类编号、 分类名称。  报刊信息表（Newspaper） ：报刊代号、报刊名称、出版 报社、出版周期、季度报价、内容介绍、分类编号（和报刊类别表有关）等。  订单表（Order） ：订单编号、用户编号、报刊代号、订阅份数、订阅月数等。 题目9：计算机等级考试教务管理系统（2 人）32 包括四大模块：  用户设置：对考点代码，考点名称进行设置，设置用户与密码；系统复位：即清除上一次考试数据（在之前存入历史）  报名管理： 报各库录入（姓名不能不空，之间不能有空格） 增加、删除、修改、浏览  准考证管理：准考证生成规则：xxx+yy+zz+kk，其中 XXX 为考点代码；YY 为语言代码，XX 为考场号，KK 为座位号 同一级别、语言应根据报名初始库信息按随机数生成准考证，同一考点最多可有 99*30=2970 名考生；如已生成准考证号，再重新生成准考证号，应该给予提示。 准考证打印  考务管理：考生信息查询、浏览、打印  成绩管理：成绩数据录入、接收 成绩合成（总成绩=笔试成绩*0.6+上机成绩*0.4）,按大于或等于 60 合格 参考数据如下：  初始报名表（准考证号（为空） ，报名号（主键） ，级别+语言种类（外键） ，姓名，性别， 出生年份，民族，身份证号，联系地址，联系电话，照片，备注，参加培训）  含准考证号的报名表（准考证号（为主键） ，报名号，级别+语言种类（外键） ，姓名，性别， 出生年份，民族，身份证号，联系地址，联系电话，照片，备注，参加培训）  成绩表（准考证号，笔试成绩，上机成绩，总成绩） 级别语言代码表（级别语言代码，级别+语言）  用户信息表（考点代码，考点名称，用户名，密码） 题目10：人事管理系统（1 人）21 包括四大模块：  登录管理：包括操作员管理，口令设置，权限管理  人员管理：包括人事数据维护、人事信息查询和人事信息统计  工资管理  部门管理：包括部门表，职称表和年份表  查询及报表打印 参考数据如下：  人事表（编号，姓名，性别，出生日期，工作日期，部门代码，职称，婚否，简历，相片）  工资表（基本工资，岗位津贴，奖励，应发工资，水电，保险，实发工资）  部门表（代码，部门名称）  职称表（职称代码，职称名称）  年份表（年份代码，年份名称）  操作员表（操作员代码，操作员姓名，口令，部门，电话） 系统日志表（操作员代号，操作员姓名，登录时间，离开时间） 题目11：商品销售管理系统（1 人）19 包括四大模块：  用户登录  基本信息管理：包括销售情况、商品信息、库存表、员工表等信息的录入、浏览、修改、撤销、删除和查询等  商品销售管理：包括商品售出、退回和入库  盘点：包括库存盘点、当日销售盘点 参考数据如下：  商品信息表（商品编号，商品名称，品牌，型号，销售单价） 商品编号=类别代码（1 位）+品名代码（1 位）+品牌代码（2 位）+型号代码（2 位）  销售情况表（成交编号，商品编号，销售数量，总金额，销售日期，员工编号）  库存表（商品编号，供货商编号，进货日期，进货价，库存数量）  员工表（员工编号，员工姓名，性别，基本工资，职务，密码）  供货商表（供货商编号，供货商名称，所在地，联系电话）  员工资料表（员工编号，员工姓名，是否党员，简历，照片） 题目12：学生成绩管理系统（1 人）29 包括四大模块：  基本数据管理：包括院系管理，专业管理（设置院系下面的专业），班级管理（设置专业下面的班级），课程管理（设置相应专业下面的课程）  学生信息管理：包括基本信息录入、基本信息修改  学生成绩管理：包括学生成绩录入、学生成绩修改  信息查询：包括基本信息查询、成绩信息查询、学校人数统计  系统管理：用户管理、数据备份和系统帮助 参考数据如下：  院系信息（院系代码，院系名称）  院系专业信息（班级、院系代码，专业）  学生基本信息（班号，学号，姓名，性别，出生年月，籍贯，政治面貌，身份证号，入学年月，家庭地址，邮政编码，图片信息，备注）  学生成绩表（学号，课号，成绩，备注）  课程表（课号，课程名称，学期，备注）  班表（班号，班级名称）  用户信息表（用户名，密码，用户标识） 题目13：火车售票管理系统（4 人）36 包括四大模块：  售票管理  订票管理  信息查询  系统维护 参考数据如下：  车次信息表（车次，始发站，终点站，发车时间，到达时间）  订票信息表（车次，座位号，发车时期，发车时间，座位等级，票价）  车次座位等级分配及座位占用表（车次，座位号，座位等级，票价，占用标志）  用户信息表（用户名，密码，用户标识） 题目14：小型物业管理系统（1 人） 包括四大模块：  房源管理：对原始资料的录入、修改、查询和刷新。一般用户可以查询与房间有关 的统计资料；物业主管可其进行增、删、改、插等操作  租房管理：对房产出租，退租以及租房面积调整。其中物业主管可对其进行房租金 额计算和收款操作，一般用户对其查询  水电处理：根据租房资料，结合当月水、电量进行分摊，完成应收水电费。其中物 业主管对其进行计算，其他查询  交款处理：提供收款和发票打印以及交款数据查询  查询处理：对租房资料、交款资料，发票资料进行查询 参考数据如下：  房源资料（名称，面积，月租，物业，仓库）  租房资料（名称，面积，单位，月租，物业，押金，仓库）  水电资料（单位，电量，水量，电费，水费）  交费资料（收费项目，应收日期，应收金额，已收金额，未收金额，本次收款）  发票资料（单位，房租，电费，水费，物业）  权限资料（用户，密码，房源管理，租房管理，水电管理，交费管理，发票管理，系统维护） 其中系统管理员，有权进行系统维护；单位内部物业主管，有权进行物业资源调配、单元出 租，退租和收款开票操作；物业管理员，有权进行水电处理和收款处理等操行；租户代表， 有权进行种类费的查询操作 题目15：机房收费管理系统（1 人）7，34 包括四大模块：  登录模块  上机管理模块 说明：上机登记时，余额不足 3 元或卡处于挂失状态，则拒绝登记 每位同学的一次上机形成一条记录，每 36S 遍历一次上机记录表，对表中所有正上机字段为 TRUE 的记录的上机用时增加 36S,同时从上机卡表的余额减少  上机卡管理模块  充值挂失模块  查找统计模块：统计某天上机的总时数、每次上机的平均时数和机房的收入；某学 生上机的次数、上机总时数、每次上机平均时间；挂失和查询余 参考数据如下：  上机卡（卡号，姓名，专业班级，余额，状态） 状态的取值有：正常（能自费上机）  挂失上机记录（卡号，上机日期，开始时间，上机用时，正上机，管理号代码），上机用时记录学生上机时间（S）；正上机是一个布尔型，为 True 表示正上机，每 36 秒刷新 其上机用时并扣除上机费用，为 False 表示上机结束。上机记录表永久保存，用于事后查询 和统计 管理员（代码，姓名，口令）  题目16：高校药房管理（1 人）31 包括四大模块：  基础数据处理：包括医生和药剂师名单的录入，修改，删除及查询  营业数据处理：包括药品进货上柜，处理划价，配药，柜存药品查询，处方综合查 询，交接班结转清。 参考数据如下：  药品信息表（货号，货名，计量单位，进货数量，进货单价，出售单价，进货日期，收货人 和供应商）  处方信息（编号，患者姓名，医生姓名，药剂师姓名，处方日期，配药日期） 处方药品信息（处方编号，药品货号，计量单位，配药数量，销售单价，已配药否）  医生名单和药剂师名单表（姓名）  题目17：考勤管理系统（2 人）40 包括四大模块：  记录每个员工每天所有进入公司的时刻和离开公司的时刻。  每天结束时自动统计当天的工作时间  每天结束时自动统计当天迟到或早退的次数。  对于弹性工作制，每天结束时自动统计当月的工时，并自动算出当月欠缺或富余的 时间  每个月末统计该月的工作时间判断是束足够  每个月末统计该月的工作天数并判断是否足够  管理人员查询并修改工作时间（特殊情况下修改）  管理人员账户管理（如设置密码等）  管理人员设定早退及迟到的条件，每个月的工作时间  管理人员设定每个月的工作日期及放假日期 参考数据如下：  员工信息(工号，姓名，年龄，入职时间，职位，性别，密码)  配置信息（上班时间小时，上班时间分钟，下班时间小时，下班时间分钟，每天工作时间）  每月统计数据表（工号，姓名，剩余的时间，迟到的次数，早退的次数，工作天数）  每天统计信息表（工号，姓名，小时，分钟，动作，时间） 其中动作指的时入或离开公司  题目18：单位房产管理系统（2 人）33，10 包括四大模块：  系统模块：完成数据库维护、系统关闭功能  物业费用模块：完成本月物业的计费、历史资料查询和财务部门接口传送数据、物 业相关费用单价设置  房屋资源模块：对房屋资源进行添加、列表显示、查询  职工信息模块：对职工进行添加、列表显示、查询以及相应部门、职务进行维护  帮助模块：对用户使用本系统提供在线帮助 参考数据如下：  职工（编号，姓名，性别，参加工作时间，行政职务，专业技术职务，评上最高行政职务时 间，评上最高专业技术职务时间，双职工姓名，现居住房号，档案号，房产证号，所在部门 编号，是否为户主）  部门（编号，部门名称） 住房级别表（编号，级别，住房标准，控制标准，级别分类）  房产情况（编号，房号，使用面积，现居住人 id，上一个居住人 id,最早居住人 ID,阳台面积）  物业费用（编号，房号，水基数，水现在值，电基数，电现在值，燃气基数，燃气现在值， 当前年份，当前月份）  价格标准（编号，水单价，电单价，燃气单价） 题目19：标准化考试系统 （2 人）15，39 功能要求： 设计一个简单的标准化考试系统，仅有单项选择题、多项选择题和判断题功能即可。 包括四大模块：  题库管理：实现试题的录入、修改、删除功能；  考试子系统：能够实现考生做题、结果自动存入到数据库中，有时间提示；  选择身份(登录)功能：系统能够记录考生输入的登录信息及交卷信息；  自动评分功能：考生交卷后能自动评分；  查看成绩功能：能够查询考生相关信息(包含成绩等)。 参考数据如下： 其它可供选择的题目： 网上教务评教系统130，127，133 16 学生日常行为评分管理系统232，110，230 网上鲜花店 38 基于BS结构的工艺品销售系统12 基于BS结构的校园二手物品交易网站 37 大学生就业管理系统201，208，234 题库及试卷管理系统 数据库原理及应用 课程设计报告 题目： 课程设计选题管理系统 所在学院： 班 级： 学 号： 姓 名： 李四 指导教师： 2011年12月 日 目录 一、 概述 二、需求分析 三、概念设计 四、逻辑设计 五、系统实现 六、小结 一、概述

X-Engine是阿里云数据库产品事业部自研的联机事务处理OLTP（On-Line Transaction Processing）数据库存储引擎。作为自研数据库POLARDB的存储引擎之一，已经广泛应用在阿里集团内部诸多业务系统中，包括交易历史库、钉钉历史库等核心应用，大幅缩减了业务成本，同时也作为双十一大促的关键数据库技术，挺过了数百倍平时流量的冲击。 为什么设计一个新的存储引擎 X-Engine的诞生是为了应对阿里内部业务的挑战，早在2010年，阿里内部就大规模部署了MySQL数据库，但是业务量的逐年爆炸式增长，数据库面临着极大的挑战： 极高的并发事务处理能力（尤其是双十一的流量突发式暴增）。 超大规模的数据存储。 这两个问题虽然可以通过扩展数据库节点的分布式方案解决，但是堆机器不是一个高效的手段，我们更想用技术的手段将数据库性价比提升到极致，实现以少量资源换取性能大幅提高的目的。 传统数据库架构的性能已经被仔细的研究过，数据库领域的泰斗，图灵奖得主Michael Stonebreaker就此写过一篇论文 《OLTP Through the Looking Glass, and What We Found There》 ，指出传统关系型数据库，仅有不到10%的时间是在做真正有效的数据处理工作，剩下的时间都浪费在其它工作上，例如加锁等待、缓冲管理、日志同步等。 造成这种现象的原因是因为近年来我们所依赖的硬件体系发生了巨大的变化，例如多核（众核）CPU、新的处理器架构（Cache/NUMA）、各种异构计算设备（GPU/FPGA）等，而架构在这些硬件之上的数据库软件却没有太大的改变，例如使用B-Tree索引的固定大小的数据页（Page）、使用ARIES算法的事务处理与数据恢复机制、基于独立锁管理器的并发控制等，这些都是为了慢速磁盘而设计，很难发挥出现有硬件体系应有的性能。 基于以上原因，阿里开发了适合当前硬件体系的存储引擎，即X-Engine。 X-Engine架构 全新架构的X-Engine存储引擎不仅可以无缝对接兼容MySQL（得益于MySQL Pluginable Storage Engine特性），同时X-Engine使用分层存储架构。 因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次数据的访问特点，设计对应的存储结构，写入合适的存储设备。 X-Engine使用了LSM-Tree作为分层存储的架构基础，并进行了重新设计： 热数据层和数据更新使用内存存储，通过内存数据库技术（Lock-Free index structure/append only）提高事务处理的性能。 流水线事务处理机制，把事务处理的几个阶段并行起来，极大提升了吞吐。 访问频度低的数据逐渐淘汰或是合并到持久化的存储层次中，并结合多层次的存储设备（NVM/SSD/HDD）进行存储。 对性能影响比较大的Compaction过程做了大量优化： 拆分数据存储粒度，利用数据更新热点较为集中的特征，尽可能的在合并过程中复用数据。 精细化控制LSM的形状，减少I/O和计算代价，有效缓解了合并过程中的空间增大。 同时使用更细粒度的访问控制和缓存机制，优化读的性能。 技术特点 利用FPGA硬件加速Compaction过程，使得系统上限进一步提升。这个技术属首次将硬件加速技术应用到在线事务处理数据库存储引擎中，相关论文 《FPGA-Accelerated Compactions for LSM-based Key Value Store》 已经被2020年的顶级会议FAST'20接收。 通过数据复用技术减少数据合并代价，同时减少缓存淘汰带来的性能抖动。 使用多事务处理队列和流水线处理技术，减少线程上下文切换代价，并计算每个阶段任务量配比，使整个流水线充分流转，极大提升事务处理性能。相对于其他类似架构的存储引擎（例如RocksDB），X-Engine的事务处理性能有10倍以上提升。 X-Engine使用的Copy-on-write技术，避免原地更新数据页，从而对只读数据页面进行编码压缩，相对于传统存储引擎（例如InnoDB），使用X-Engine可以将存储空间降低至10%~50%。 Bloom Filter快速判定数据是否存在，Surf Filter判断范围数据是否存在，Row Cache缓存热点行，加速读取性能。 LSM基本逻辑 LSM的本质是所有写入操作直接以追加的方式写入内存。每次写到一定程度，即冻结为一层（Level），并写入持久化存储。所有写入的行，都以主键（Key）排序好后存放，无论是在内存中，还是持久化存储中。在内存中即为一个排序的内存数据结构（Skiplist、B-Tree、etc），在持久化存储也作为一个只读的全排序持久化存储结构。 普通的存储系统若要支持事务处理，需要加入一个时间维度，为每个事务构造出一个不受并发干扰的独立视域。例如存储引擎会对每个事务定序并赋予一个全局单调递增的事务版本号（SN），每个事务中的记录会存储这个SN以判断独立事务之间的可见性，从而实现事务的隔离机制。 如果LSM存储结构持续写入，不做其他的动作，那么最终会成为如下结构。 这种结构对于写入是非常友好的，只要追加到最新的内存表中即完成，为实现故障恢复，只需记录Redo Log，因为新数据不会覆盖旧版本，追加记录会形成天然的多版本结构。 但是如此累积，冻结的持久化层次越来越多，会对查询会产生不利的影响。例如对同一个key，不同事务提交产生的多版本记录会散落在各个层次中；不同的key也会散落在不同层次中。读操作需要查找各个层并合并才能得到最终结果。 因此LSM引入了Compaction操作解决这个问题，Compaction操作有2种作用： 控制LSM层次形状 一般的LSM形状都是层次越低，数据量越大（倍数关系），目的是为了提升读性能。 通常存储系统的数据访问都有局部性，大量的访问都集中在少部分数据上，这也是缓存系统能有效工作的基本前提。在LSM存储结构中，如果把访问频率高的数据尽可能放在较高的层次上，存放在快速存储设备中（例如NVM、DRAM），而把访问频率低的数据放在较低层次中，存放在廉价慢速存储设备中。这就是X-Engine的冷热分层概念。 合并数据 Compaction操作不断的把相邻层次的数据合并，并写入更低层次。合并的过程实际上是把要合并的相邻两层或多层的数据读出来，按key排序，相同的key如果有多个版本，只保留新的版本（比当前正在执行的活跃事务中最小版本号新），丢掉旧版本数据，然后写入新的层，这个操作非常耗费资源。 合并数据除了考虑冷热分层以外，还需要考虑其他维度，例如数据的更新频率，大量的多版本数据在查询的时候会浪费更多的I/O和CPU，因此需要优先进行合并以减少记录的版本数量。X-Engine综合考虑了各种策略形成自己的Compaction调度机制。 高度优化的LSM X-Engine的memory tables使用了无锁跳表（Locked-free SkipList），并发读写的性能较高。在持久化层如何实现高效，就需要讨论每层的细微结构。 数据组织 X-Engine的每层都划分成固定大小的Extent，存放每个层次中的数据的一个连续片段（Key Range）。为了快速定位Extent，为每层Extents建立了一套索引（Meta Index），所有这些索引，加上所有的memory tables（active/immutable）一起组成了一个元数据树（Metadata Tree），root节点为Metadata Snapshot，这个树结构类似于B-Tree。 X-Engine中除了当前的正在写入的active memory tables以外，其他结构都是只读的，不会被修改。给定某个时间点，例如LSN=1000，上图中的Metadata Snapshot 1引用到的结构即包含了LSN=1000时的所有的数据的快照，因此这个结构被称为Snapshot。 即便是Metadata结构本身，也是一旦生成就不会被修改。所有的读请求都是以Snapshot为入口，这是X-Engine实现Snapshot级别隔离的基础。前文说过随着数据写入，累积数据越多，会执行Compaction操作、冻结memory tables等，这些操作都是用Copy-on-write实现，即每次都将修改产生的结果写入新的Extent，然后生成新的Meta Index结构，最终生成新的Metadata Snapshot。 例如执行一次Compaction操作会生成新的Metadata Snapshot，如下图所示。 可以看到Metadata Snapshot 2相对于Metadata Snapshot 1并没有太多的变化，仅仅修改了发生变更的一些叶子节点和索引节点。 事务处理 得益于LSM的轻量化写机制，写入操作固然是其明显的优势，但是事务处理不只是把更新的数据写入系统那么简单，还要保证ACID（原子性、一致性、隔离性、持久性），涉及到一整套复杂的流程。X-Engine将整个事务处理过程分为两个阶段： 读写阶段 校验事务的冲突（写写冲突、读写冲突），判断事务是否可以执行、回滚重试或者等锁。如果事务冲突校验通过，则把修改的所有数据写入Transaction Buffer。 提交阶段 写WAL、写内存表，以及提交并返回用户结果，这里面既有I/O操作（写日志、返回消息），也有CPU操作（拷贝日志、写内存表）。 为了提高事务处理吞吐，系统内会有大量事务并发执行，单个I/O操作比较昂贵，大部分存储引擎会倾向于聚集一批事务一起提交，称为Group Commit，能够合并I/O操作。但是一组事务提交的过程中，还是有大量等待过程的，例如写入日志到磁盘过程中，除了等待落盘无所事事。 X-Engine为了进一步提升事务处理的吞吐，使用流水线技术，把提交阶段分为4个独立的更精细的阶段： 拷贝日志到缓冲区（Log Buffer） 日志落盘（Log Flush） 写内存表（Write memory table） 提交返回（Commit） 事务到了提交阶段，可以自由选择执行流水线中任意一个阶段，只要流水线任务的大小划分得当，就能充分并行起来，流水线处于接近满载状态。另外这里利用的是事务处理的线程，而非后台线程，每个线程在执行的时候，选择流水线中的一个阶段执行任务，或者空闲后处理其他请求，没有等待，也无需切换，充分利用了每个线程的能力。 读操作 LSM处理多版本数据的方式是新版本数据记录会追加在老版本数据后面，从物理上看，一条记录不同的版本可能存放在不同的层，在查询的时候需要找到合适的版本（根据事务隔离级别定义的可见性规则），一般查询都是查找最新的数据，总是由最高的层次往低层次找。 对于单条记录的查找而言，一旦找到便可以终止，如果记录在比较高的层次，例如memory tables，很快便可以返回；如果记录已经落入了很低的层次，那就得逐层查找，也许Bloom Filter可以跳过某些层次加快这个旅程，但毕竟还是有很多的I/O操作。X-Engine针对单记录查询引入了Row Cache，在所有持久化的层次的数据之上做了一个缓存，在memory tables中没有命中的单行查询，在Row Cache之中也会被捕获。Row Cache需要保证缓存了所有持久化层次中最新版本的记录，而这个记录是可能发生变化的，例如每次flush将只读的memory tables写入持久化层次时，就需要恰当的更新Row Cache中的缓存记录，这个操作比较微妙，需要精心的设计。 对于范围扫描而言，因为没法确定一个范围的key在哪个层次中有数据，只能扫描所有的层次做合并之后才能返回最终的结果。X-Engine采用了一系列的手段，例如SuRF（SIGMOD'18 best paper）提供range scan filter减少扫描层数、异步I/O与预取。 读操作中最核心的是缓存设计，Row Cache负责单行查询，Block Cache负责Row Cache的漏网之鱼，也用来进行范围扫描。由于LSM的Compaction操作会一次更新大量的Data Block，导致Block Cache中大量数据短时间内失效，导致性能的急剧抖动，因此X-Engine做了很多的优化： 减少Compaction的粒度。 减少Compaction过程中改动的数据。 Compaction过程中针对已有的缓存数据做定点更新。 Compaction Compaction操作是比较重要的，需要把相邻层次交叉的Key Range数据读取合并，然后写到新的位置。这是为前面简单的写入操作付出的代价。X-Engine为优化这个操作重新设计了存储结构。 如前文所述，X-Engine将每一层的数据划分为固定大小的Extent，一个Extent相当于一个小而完整的排序字符串表（SSTable），存储了一个层次中的一个连续片段，连续片段又进一步划分为一个个连续的更小的片段Data Block，相当于传统数据库中的Page，只不过Data Block是只读而且不定长的。 回看并对比Metadata Snapshot 1和Metadata Snapshot 2，可以发现Extent的设计意图。每次修改只需要修改少部分有交叠的数据，以及涉及到的Meta Index节点。两个Metadata Snapshot结构实际上共用了大量的数据结构，这被称为数据复用技术（Data Reuse），而Extent大小正是影响数据复用率的关键，Extent作为一个完整的被复用的物理结构，需要尽可能的小，这样与其他Extent数据交叉点会变少，但又不能非常小，否则需要索引过多，管理成本太大。 X-Engine中Compaction的数据复用是非常彻底的，假设选取两个相邻层次（Level1, Level2）中的交叉的Key Range所涵盖的Extents进行合并，合并算法会逐行进行扫描，只要发现任意的物理结构（包括Data Block和Extent）与其他层中的数据没有交叠，则可以进行复用。只不过Extent的复用可以修改Meta Index，而Data Block的复用只能拷贝，即便如此也可以节省大量的CPU。 一个典型的数据复用在Compaction中的过程可以参考下图。 可以看出数据复用的过程是在逐行迭代的过程中完成的，不过这种精细的数据复用带来另一个副作用，即数据的碎片化，所以在实际操作的过程中也需要根据实际情况进行分析。 数据复用不仅给Compaction操作本身带来好处，降低操作过程中的I/O与CPU消耗，更对系统的综合性能产生一系列的影响。例如c、Compaction过程中数据不用完全重写，大大降低了写入时空间的增大；大部分数据保持原样，数据缓存不会因为数据更新而失效，减少合并过程中因缓存失效带来的读性能抖动。 实际上，优化Compaction的过程只是X-Engine工作的一部分，更重要的是优化Compaction调度的策略，选什么样的Extent、定义compaction任务的粒度、执行的优先级等，都会对整个系统性能产生影响，可惜并不存在什么完美的策略，X-Engine积累了一些经验，定义了很多规则，而探索更合理的调度策略是未来一个重要方向。 适用场景 请参见X-Engine最佳实践。 如何使用X-Engine 请参见使用X-Engine引擎。 后续发展 作为MySQL的存储引擎，持续地提升MySQL系统的兼容能力是一个重要目标，后续会根据需求的迫切程度逐步加强原本取消的一些功能，例如外键，以及对一些数据结构、索引类型的支持。 X-Engine作为存储引擎，核心的价值还在于性价比，持续提升性能降低成本，是一个长期的根本目标，X-Engine还在Compaction调度、缓存管理与优化、数据压缩、事务处理等方向上进行深层次的探索。 X-Engine不仅仅局限为一个单机的数据库存储引擎，未来还将作为自研分布式数据库POLARDB分布式版本的核心，提供企业级数据库服务。