缓存复制技术问题怎么解决

Java架构师，首先要是一个高级java攻城狮，熟练使用各种框架，并知道它们实现的原理。jvm虚拟机原理、调优，懂得jvm能让你写出性能更好的代码;池技术，什么对象池，连接池，线程池…… 　　 Java反射技术，写框架必备的技术，但是有严重的性能问题，替代方案java字节码技术;nio，没什么好说的，值得注意的是”直接内存”的特点，使用场景;java多线程同步异步;java各种集合对象的实现原理，了解这些可以让你在解决问题时选择合适的数据结构，高效的解决问题，比如hashmap的实现原理，好多五年以上经验的人都弄不清楚，还有为什扩容时有性能问题?不弄清楚这些原理，就写不出高效的代码，还会认为自己做的很对;总之一句话越基础的东西越重要，很多人认为自己会用它们写代码了，其实仅仅是知道如何调用api而已,离会用还差的远。 　　 熟练使用各种数据结构和算法，数组、哈希、链表、排序树…，一句话要么是时间换空间要么是空间换时间，这里展开可以说一大堆，需要有一定的应用经验，用于解决各种性能或业务上的问题。 　　 熟练使用linux操作系统，必备，没什么好说的 。 　　 熟悉tcp协议，创建连接三次握手和断开连接四次握手的整个过程，不了解的话，无法对高并发网络应用做优化; 熟悉http协议，尤其是http头，我发现好多工作五年以上的都弄不清session和cookie的生命周期以及它们之间的关联。 　　 系统集群、负载均衡、反向代理、动静分离，网站静态化 。 　　 分布式存储系统nfs,fastdfs,tfs,Hadoop了解他们的优缺点，适用场景 。 　　 分布式缓存技术memcached,redis，提高系统性能必备，一句话，把硬盘上的内容放到内存里来提速，顺便提个算法一致性hash 。 　　 工具nginx必备技能超级好用，高性能，基本不会挂掉的服务器，功能多多，解决各种问题。 　　 数据库的设计能力，mysql必备，最基础的数据库工具，免费好用，对它基本的参数优化，慢查询日志分析，主从复制的配置，至少要成为半个mysql dba。其他nosql数据库如mongodb。 　　 还有队列中间件。如消息推送，可以先把消息写入数据库，推送放队列服务器上，由推送服务器去队列获取处理，这样就可以将消息放数据库和队列里后直接给用户反馈，推送过程则由推送服务器和队列服务器完成，好处异步处理、缓解服务器压力，解藕系统。　　 以上纯粹是常用的技术，还有很多自己慢慢去摸索吧;因为要知道的东西很多，所以要成为一名合格的架构师，必须要有强大的自学能力，没有人会手把手的教给你所有的东西。 　　 想成为架构师不是懂了一大堆技术就可以了，这些是解决问题的基础、是工具，不懂这些怎么去提解决方案呢?这是成为架构师的必要条件。 　　 架构师要针对业务特点、系统的性能要求提出能解决问题成本最低的设计方案才合格，人家一个几百人用户的系统，访问量不大，数据量小，你给人家上集群、上分布式存储、上高端服务器，为了架构而架构，这是最扯淡的，架构师的作用就是第一满足业务需求，第二最低的硬件网络成本和技术维护成本。 　　 架构师还要根据业务发展阶段，提前预见发展到下一个阶段系统架构的解决方案，并且设计当前架构时将架构的升级扩展考虑进去，做到易于升级;否则等系统瓶颈来了，出问题了再去出方案，或现有架构无法扩展直接扔掉重做，或扩展麻烦问题一大堆，这会对企业造成损失。Java架构师学习路线图如：https://yq.aliyun.com/articles/225941?spm=5176.8091938.0.0.qyp0tC

【Java问答学堂】16期如何保证 redis 的高并发和高可用？redis 的主从复制原理能介绍一下么？redis 的哨兵原理能介绍一下么？ 面试题 如何保证 redis 的高并发和高可用？redis 的主从复制原理能介绍一下么？redis 的哨兵原理能介绍一下么？ 面试官心理分析 其实问这个问题，主要是考考你，redis 单机能承载多高并发？如果单机扛不住如何扩容扛更多的并发？redis 会不会挂？既然 redis 会挂那怎么保证 redis 是高可用的？ 其实针对的都是项目中你肯定要考虑的一些问题，如果你没考虑过，那确实你对生产系统中的问题思考太少。 面试题剖析 如果你用 redis 缓存技术的话，肯定要考虑如何用 redis 来加多台机器，保证 redis 是高并发的，还有就是如何让 redis 保证自己不是挂掉以后就直接死掉了，即 redis 高可用。 由于此节内容较多，因此，会分为两个小节进行讲解。 redis 主从架构redis 基于哨兵实现高可用 redis 实现高并发主要依靠主从架构，一主多从，一般来说，很多项目其实就足够了，单主用来写入数据，单机几万 QPS，多从用来查询数据，多个从实例可以提供每秒 10w 的 QPS。 如果想要在实现高并发的同时，容纳大量的数据，那么就需要 redis 集群，使用 redis 集群之后，可以提供每秒几十万的读写并发。 redis 高可用，如果是做主从架构部署，那么加上哨兵就可以了，就可以实现，任何一个实例宕机，可以进行主备切换。 往期回顾： 【Java问答学堂】1期 为什么使用消息队列？消息队列有什么优点和缺点？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？ 【Java问答学堂】2期 如何保证消息队列的高可用？ 【Java问答学堂】3期 如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？ 【Java问答学堂】4期 如何保证消息的可靠性传输？（如何处理消息丢失的问题？） 【Java问答学堂】5期 如何保证消息的顺序性？ 【Java问答学堂】6期 如何解决消息队列的延时以及过期失效问题？ 【Java问答学堂】7期 如果让你写一个消息队列，该如何进行架构设计？ 【Java问答学堂】8期 es 的分布式架构原理能说一下么（es 是如何实现分布式的啊）？ 【Java问答学堂】9期 es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？ 【Java问答学堂】10期 es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？ 【Java问答学堂】11期 es 生产集群的部署架构是什么？每个索引的数据量大概有多少？ 【Java问答学堂】12期 项目中缓存是如何使用的？为什么要用缓存？缓存使用不当会造成什么后果？ 【Java问答学堂】13期 redis 和 memcached 有什么区别？ 【Java问答学堂】14期 redis 都有哪些数据类型？分别在哪些场景下使用比较合适？ 【Java问答学堂】15期redis 的过期策略都有哪些？内存淘汰机制都有哪些？

消息队列有什么优缺点 优点上面已经说了，就是在特殊场景下有其对应的好处，解耦、异步、削峰。 缺点有以下几个： 系统可用性降低 系统引入的外部依赖越多，越容易挂掉。本来你就是 A 系统调用 BCD 三个系统的接口就好了，ABCD 四个系统还好好的，没啥问题，你偏加个 MQ 进来，万一 MQ 挂了咋整？MQ 一挂，整套系统崩溃，你不就完了？如何保证消息队列的高可用，可以点击这里查看。 系统复杂度提高 硬生生加个 MQ 进来，你怎么保证消息没有重复消费？怎么处理消息丢失的情况？怎么保证消息传递的顺序性？头大头大，问题一大堆，痛苦不已。 一致性问题 A 系统处理完了直接返回成功了，人都以为你这个请求就成功了；但是问题是，要是 BCD 三个系统那里，BD 两个系统写库成功了，结果 C 系统写库失败了，咋整？你这数据就不一致了。 所以消息队列实际是一种非常复杂的架构，你引入它有很多好处，但是也得针对它带来的坏处做各种额外的技术方案和架构来规避掉，做好之后，你会发现，妈呀，系统复杂度提升了一个数量级，也许是复杂了 10 倍。但是关键时刻，用，还是得用的。 往期回顾： 【Java问答学堂】1期 为什么使用消息队列？消息队列有什么优点和缺点？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？ 【Java问答学堂】2期 如何保证消息队列的高可用？ 【Java问答学堂】3期 如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？ 【Java问答学堂】4期 如何保证消息的可靠性传输？（如何处理消息丢失的问题？） 【Java问答学堂】5期 如何保证消息的顺序性？ 【Java问答学堂】6期 如何解决消息队列的延时以及过期失效问题？ 【Java问答学堂】7期 如果让你写一个消息队列，该如何进行架构设计？ 【Java问答学堂】8期 es 的分布式架构原理能说一下么（es 是如何实现分布式的啊）？ 【Java问答学堂】9期 es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？ 【Java问答学堂】10期 es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？ 【Java问答学堂】11期 es 生产集群的部署架构是什么？每个索引的数据量大概有多少？ 【Java问答学堂】12期 项目中缓存是如何使用的？为什么要用缓存？缓存使用不当会造成什么后果？ 【Java问答学堂】13期 redis 和 memcached 有什么区别？ 【Java问答学堂】14期 redis 都有哪些数据类型？分别在哪些场景下使用比较合适？ 【Java问答学堂】15期redis 的过期策略都有哪些？内存淘汰机制都有哪些？ 【Java问答学堂】16期如何保证 redis 的高并发和高可用？redis 的主从复制原理能介绍 为什么使用消息队列？【Java问答学堂】17期

1 js 的基本数据类型? 2 JavaScript 有几种类型的值？ 3 什么是堆？什么是栈？它们之间有什么区别和联系？ 4 内部属性 [Class] 是什么？ 5 介绍 js 有哪些内置对象？ 6 undefined 与 undeclared 的区别？ 7 null 和 undefined 的区别？ 8 如何获取安全的 undefined 值？ 9 说几条写 JavaScript 的基本规范？ 10 JavaScript 原型，原型链？ 有什么特点？ 11 js 获取原型的方法？ 12 在 js 中不同进制数字的表示方式? 13 js 中整数的安全范围是多少？ 14 typeof NaN 的结果是什么？ 15 isNaN 和 Number.isNaN 函数的区别？ 16 Array 构造函数只有一个参数值时的表现？ 17 其他值到字符串的转换规则？ 18 其他值到数字值的转换规则？ 19 其他值到布尔类型的值的转换规则？ 20 {} 和 [] 的 valueOf 和 toString 的结果是什么？ 21 什么是假值对象？ 22 ~ 操作符的作用？ 23 解析字符串中的数字和将字符串强制类型转换为数字的返回结果都是数字，它们之间的区别是什么？ 24 + 操作符什么时候用于字符串的拼接？ 25 什么情况下会发生布尔值的隐式强制类型转换？ 26 || 和 && 操作符的返回值？ 27 Symbol 值的强制类型转换？ 28 == 操作符的强制类型转换规则？ 29 如何将字符串转化为数字，例如 '12.3b'? 30 如何将浮点数点左边的数每三位添加一个逗号，如 12000000.11 转化为『12,000,000.11』? 31 常用正则表达式？ 32 生成随机数的各种方法？ 33 如何实现数组的随机排序？ 34 javascript 创建对象的几种方式？ 35 JavaScript 继承的几种实现方式？ 36 寄生式组合继承的实现？ 37 Javascript 的作用域链？ 38 谈谈 This 对象的理解。 39 eval 是做什么的？ 40 什么是 DOM 和 BOM？ 41 写一个通用的事件侦听器函数。 42 事件是什么？IE 与火狐的事件机制有什么区别？ 如何阻止冒泡？ 43 三种事件模型是什么？ 44 事件委托是什么？ 45 ['1', '2', '3'].map(parseInt) 答案是多少？ 46 什么是闭包，为什么要用它？ 47 javascript 代码中的 'use strict'; 是什么意思 ? 使用它区别是什么？ 48 如何判断一个对象是否属于某个类？ 49 instanceof 的作用？ 50 new 操作符具体干了什么呢？如何实现？ 51 Javascript 中，有一个函数，执行时对象查找时，永远不会去查找原型，这个函数是？ 52 对于 JSON 的了解？ 53 [].forEach.call($$(''),function(a){a.style.outline='1px solid #'+(~~(Math.random()(1<<24))).toString(16)}) 能解释一下这段代码的意思吗？ 54 js 延迟加载的方式有哪些？ 55 Ajax 是什么? 如何创建一个 Ajax？ 56 谈一谈浏览器的缓存机制？ 57 Ajax 解决浏览器缓存问题？ 58 同步和异步的区别？ 59 什么是浏览器的同源政策？ 60 如何解决跨域问题？ 61 服务器代理转发时，该如何处理 cookie？ 62 简单谈一下 cookie ？ 63 模块化开发怎么做？ 64 js 的几种模块规范？ 65 AMD 和 CMD 规范的区别？ 66 ES6 模块与 CommonJS 模块、AMD、CMD 的差异。 67 requireJS 的核心原理是什么？（如何动态加载的？如何避免多次加载的？如何 缓存的？） 68 JS 模块加载器的轮子怎么造，也就是如何实现一个模块加载器？ 69 ECMAScript6 怎么写 class，为什么会出现 class 这种东西? 70 documen.write 和 innerHTML 的区别？ 71 DOM 操作——怎样添加、移除、移动、复制、创建和查找节点？ 72 innerHTML 与 outerHTML 的区别？ 73 .call() 和 .apply() 的区别？ 74 JavaScript 类数组对象的定义？ 75 数组和对象有哪些原生方法，列举一下？ 76 数组的 fill 方法？ 77 [,,,] 的长度？ 78 JavaScript 中的作用域与变量声明提升？ 79 如何编写高性能的 Javascript ？ 80 简单介绍一下 V8 引擎的垃圾回收机制 81 哪些操作会造成内存泄漏？ 82 需求：实现一个页面操作不会整页刷新的网站，并且能在浏览器前进、后退时正确响应。给出你的技术实现方案？ 83 如何判断当前脚本运行在浏览器还是 node 环境中？（阿里） 84 把 script 标签放在页面的最底部的 body 封闭之前和封闭之后有什么区别？浏览器会如何解析它们？ 85 移动端的点击事件的有延迟，时间是多久，为什么会有？ 怎么解决这个延时？ 86 什么是“前端路由”？什么时候适合使用“前端路由”？“前端路由”有哪些优点和缺点？ 87 如何测试前端代码么？ 知道 BDD, TDD, Unit Test 么？ 知道怎么测试你的前端工程么(mocha, sinon, jasmin, qUnit..)？ 88 检测浏览器版本版本有哪些方式？ 89 什么是 Polyfill ？ 90 使用 JS 实现获取文件扩展名？ 91 介绍一下 js 的节流与防抖？ 92 Object.is() 与原来的比较操作符 '==='、'==' 的区别？ 93 escape,encodeURI,encodeURIComponent 有什么区别？ 94 Unicode 和 UTF-8 之间的关系？ 95 js 的事件循环是什么？ 96 js 中的深浅拷贝实现？ 97 手写 call、apply 及 bind 函数 98 函数柯里化的实现 99 99. 为什么 0.1 + 0.2 != 0.3？如何解决这个问题？ 100 原码、反码和补码的介绍 101 toPrecision 和 toFixed 和 Math.round 的区别？ 102 什么是 XSS 攻击？如何防范 XSS 攻击？ 103 什么是 CSP？ 104 什么是 CSRF 攻击？如何防范 CSRF 攻击？ 105 什么是 Samesite Cookie 属性？ 106 什么是点击劫持？如何防范点击劫持？ 107 SQL 注入攻击？ 108 什么是 MVVM？比之 MVC 有什么区别？什么又是 MVP ？ 109 vue 双向数据绑定原理？ 110 Object.defineProperty 介绍？ 111 使用 Object.defineProperty() 来进行数据劫持有什么缺点？ 112 什么是 Virtual DOM？为什么 Virtual DOM 比原生 DOM 快？ 113 如何比较两个 DOM 树的差异？ 114 什么是 requestAnimationFrame ？ 115 谈谈你对 webpack 的看法 116 offsetWidth/offsetHeight,clientWidth/clientHeight 与 scrollWidth/scrollHeight 的区别？ 117 谈一谈你理解的函数式编程？ 118 异步编程的实现方式？ 119 Js 动画与 CSS 动画区别及相应实现 120 get 请求传参长度的误区 121 URL 和 URI 的区别？ 122 get 和 post 请求在缓存方面的区别 123 图片的懒加载和预加载 124 mouseover 和 mouseenter 的区别？ 125 js 拖拽功能的实现 126 为什么使用 setTimeout 实现 setInterval？怎么模拟？ 127 let 和 const 的注意点？ 128 什么是 rest 参数？ 129 什么是尾调用，使用尾调用有什么好处？ 130 Symbol 类型的注意点？ 131 Set 和 WeakSet 结构？ 132 Map 和 WeakMap 结构？ 133 什么是 Proxy ？ 134 Reflect 对象创建目的？ 135 require 模块引入的查找方式？ 136 什么是 Promise 对象，什么是 Promises/A+ 规范？ 137 手写一个 Promise 138 如何检测浏览器所支持的最小字体大小？ 139 怎么做 JS 代码 Error 统计？ 140 单例模式模式是什么？ 141 策略模式是什么？ 142 代理模式是什么？ 143 中介者模式是什么？ 144 适配器模式是什么？ 145 观察者模式和发布订阅模式有什么不同？ 146 Vue 的生命周期是什么？ 147 Vue 的各个生命阶段是什么？ 148 Vue 组件间的参数传递方式？ 149 computed 和 watch 的差异？ 150 vue-router 中的导航钩子函数 151 两个router 的区别？ 152 vue 常用的修饰符？ 153 computed 和 watch 区别？ 154 keep-alive 组件有什么作用？ 155 vue 中 mixin 和 mixins 区别？ 156 开发中常用的几种 Content-Type ？ 157 如何封装一个 javascript 的类型判断函数？ 158 如何判断一个对象是否为空对象？ 159 使用闭包实现每隔一秒打印 1,2,3,4 160 手写一个 jsonp 161 手写一个观察者模式？ 162 EventEmitter 实现 163 一道常被人轻视的前端 JS 面试题 164 如何确定页面的可用性时间，什么是 Performance API？ 165 js 中的命名规则 166 js 语句末尾分号是否可以省略？ 167 Object.assign() 168 Math.ceil 和 Math.floor 169 js for 循环注意点 170 一个列表，假设有 100000 个数据，这个该怎么办？ 171 js 中倒计时的纠偏实现？ 172 进程间通信的方式？ 173 如何查找一篇英文文章中出现频率最高的单词？ 174 174道 JavaScript 面试题,合集

你好，这里有208份资料，详情请参考：https://github.com/ty4z2008/Qix/blob/master/ds.md 《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去他的主页了解. 《Distributed porgramming liboratory》介绍:分布式编程实验室,他们发表的很多的paper,其中不仅仅是学术研究,还有一些工业界应用的论文. 《MIT Theory of Distributed Systems》介绍:麻省理工的分布式系统理论主页,作者南希·林奇在2002年证明了CAP理论,并且著《分布式算法》一书. 《Notes on Distributed Systems for Young Bloods》介绍:分布式系统搭建初期的一些建议 《Principles of Distributed Computing》介绍:分布式计算原理课程 《Google's Globally-Distributed Database》介绍:Google全球分布式数据介绍,中文版 《The Architecture Of Algolia’s Distributed Search Network》介绍:Algolia的分布式搜索网络的体系架构介绍 《Build up a High Availability Distributed Key-Value Store》介绍:构建高可用分布式Key-Value存储系统 《Distributed Search Engine with Nanomsg and Bond》介绍:Nanomsg和Bond的分布式搜索引擎 《Distributed Processing With MongoDB And Mongothon》介绍:使用MongoDB和Mongothon进行分布式处理 《Salt: Combining ACID and BASE in a Distributed Database》介绍:分布式数据库中把ACID与BASE结合使用. 《Makes it easy to understand Paxos for Distributed Systems》介绍:理解的Paxos的分布式系统,参考阅读:关于Paxos的历史 《There is No Now Problems with simultaneity in distributed systems》介绍:There is No Now Problems with simultaneity in distributed systems 《Distributed Systems》介绍:伦敦大学学院分布式系统课程课件. 《Distributed systems for fun and profit》介绍:分布式系统电子书籍. 《Distributed Systems Spring 2015》介绍:卡内基梅隆大学春季分布式课程主页 《Distributed Systems: Concepts and Design (5th Edition)》介绍: 电子书,分布式系统概念与设计(第五版) 《走向分布式》介绍:这是一位台湾网友 ccshih 的文字，短短的篇幅介绍了分布式系统的若干要点。pdf 《Introduction to Distributed Systems Spring 2013》介绍:清华大学分布式系统课程主页,里面的schedule栏目有很多宝贵的资源 《Distributed systems》介绍:免费的在线分布式系统书籍 《Some good resources for learning about distributed computing》介绍:Quora上面的一篇关于学习分布式计算的资源. 《Spanner: Google’s Globally-Distributed Database》介绍:这个是第一个全球意义上的分布式数据库，也是Google的作品。其中介绍了很多一致性方面的设计考虑，为了简单的逻辑设计，还采用了原子钟，同样在分布式系统方面具有很强的借鉴意义. 《The Chubby lock service for loosely-coupled distributed systems》介绍:Google的统面向松散耦合的分布式系统的锁服务,这篇论文详细介绍了Google的分布式锁实现机制Chubby。Chubby是一个基于文件实现的分布式锁，Google的Bigtable、Mapreduce和Spanner服务都是在这个基础上构建的，所以Chubby实际上是Google分布式事务的基础，具有非常高的参考价值。另外，著名的zookeeper就是基于Chubby的开源实现.推荐The google stack,Youtube:The Chubby lock service for loosely-coupled distributed systems 《Sinfonia: a new paradigm for building scalable distributed systems》介绍:这篇论文是SOSP2007的Best Paper，阐述了一种构建分布式文件系统的范式方法，个人感觉非常有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文. 《Data-Intensive Text Processing with MapReduce》介绍:Ebook:Data-Intensive Text Processing with MapReduce. 《Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System》介绍:Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System. 《Distributed Query Processing》介绍:分布式查询入门. 《Distributed Systems and the End of the API》介绍:分布式系统和api总结. 《Distributed Query Reading》介绍:分布式系统阅读论文，此外还推荐github上面的一个论文列表The Distributed Reader。 《Replication, atomicity and order in distributed systems》介绍:Replication, atomicity and order in distributed systems 《MIT course:Distributed Systems》介绍:2015年MIT分布式系统课程主页，这次用Golang作为授课语言。6.824 Distributed Systems课程主页 《Distributed systems for fun and profit》介绍:免费分布式系统电子书。 《Ori：A Secure Distributed File System》介绍:斯坦福开源的分布式文件系统。 《Availability in Globally Distributed Storage Systems》介绍:Google论文：设计一个高可用的全球分布式存储系统。 《Calvin: Fast Distributed Transactions For Partitioned Database Systems》介绍:对于分区数据库的分布式事务处理。 《Distributed Systems Building Block: Flake Ids》介绍:Distributed Systems Building Block: Flake Ids. 《Introduction to Distributed System Design》介绍:Google Code University课程，如何设计一个分布式系统。 《Sheepdog: Distributed Storage System for KVM》介绍:KVM的分布式存储系统. 《Readings in Distributed Systems Systems》介绍:分布式系统课程列表,包括数据库、算法等. 《Tera》介绍:来自百度的分布式表格系统. 《Distributed systems: for fun and profit》介绍:分布式系统的在线电子书. 《Distributed Systems Reading List》介绍:分布式系统资料,此外还推荐Various articles about distributed systems. 《Designs, Lessons and Advice from Building Large Distributed Systems》介绍:Designs, Lessons and Advice from Building Large Distributed Systems. 《Testing a Distributed System》介绍:Testing a distributed system can be trying even under the best of circumstances. 《The Google File System》介绍: 基于普通服务器构建超大规模文件系统的典型案例，主要面向大文件和批处理系统， 设计简单而实用。 GFS是google的重要基础设施， 大数据的基石， 也是Hadoop HDFS的参考对象。 主要技术特点包括： 假设硬件故障是常态（容错能力强）， 64MB大块， 单Master设计，Lease/链式复制， 支持追加写不支持随机写. 《Bigtable: A Distributed Storage System for Structured Data》介绍:支持PB数据量级的多维非关系型大表， 在google内部应用广泛，大数据的奠基作品之一 ， Hbase就是参考BigTable设计。 Bigtable的主要技术特点包括： 基于GFS实现数据高可靠， 使用非原地更新技术（LSM树）实现数据修改， 通过range分区并实现自动伸缩等.中文版 《PacificA: Replication in Log-Based Distributed Storage Systems》介绍:面向log-based存储的强一致的主从复制协议， 具有较强实用性。 这篇文章系统地讲述了主从复制系统应该考虑的问题， 能加深对主从强一致复制的理解程度。 技术特点： 支持强一致主从复制协议， 允许多种存储实现， 分布式的故障检测/Lease/集群成员管理方法. 《Object Storage on CRAQ, High-throughput chain replication for read-mostly workloads》介绍:分布式存储论文:支持强一直的链式复制方法， 支持从多个副本读取数据,实现code. 《Finding a needle in Haystack: Facebook’s photo storage》介绍:Facebook分布式Blob存储,主要用于存储图片. 主要技术特色:小文件合并成大文件,小文件元数据放在内存因此读写只需一次IO. 《Windows Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency》介绍: 微软的分布式存储平台, 除了支持类S3对象存储，还支持表格、队列等数据模型. 主要技术特点：采用Stream/Partition两层设计（类似BigTable）;写错（写满）就封存Extent,使得副本字节一致, 简化了选主和恢复操作; 将S3对象存储、表格、队列、块设备等融入到统一的底层存储架构中. 《Paxos Made Live – An Engineering Perspective》介绍:从工程实现角度说明了Paxo在chubby系统的应用， 是理解Paxo协议及其应用场景的必备论文。 主要技术特点： paxo协议， replicated log， multi-paxo.参考阅读:关于Paxos的历史 《Dynamo: Amazon’s Highly Available Key-Value Store》介绍:Amazon设计的高可用的kv系统,主要技术特点：综和运用一致性哈希,vector clock,最终一致性构建一个高可用的kv系统， 可应用于amazon购物车场景.新内容来自分布式存储必读论文 《Efficient Replica Maintenance for Distributed Storage Systems》介绍:分布式存储系统中的副本存储问题. 《PADS: A Policy Architecture for Distributed Storage Systems》介绍:分布式存储系统架构. 《The Chirp Distributed Filesystem》介绍:开源分布式文件系统Chirp,对于想深入研究的开发者可以阅读文章的相关Papers. 《Time, Clocks, and the Ordering of Events in a Distributed System》介绍:经典论文分布式时钟顺序的实现原理. 《Making reliable distributed systems in the presence of sodware errors》介绍:面向软件错误构建可靠的分布式系统,中文笔记. 《MapReduce: Simplified Data Processing on Large Clusters》介绍:MapReduce:超大集群的简单数据处理. 《Distributed Computer Systems Engineering》介绍:麻省理工的分布式计算课程主页,里面的ppt和阅读列表很多干货. 《The Styx Architecture for Distributed Systems》介绍:分布式系统Styx的架构剖析. 《What are some good resources for learning about distributed computing? Why?》介绍:Quora上面的一个问答:有哪些关于分布式计算学习的好资源. 《RebornDB: The Next Generation Distributed Key-Value Store》介绍:下一代分布式k-v存储数据库. 《Operating System Concepts Ninth Edition》介绍:分布式系统归根结底还是需要操作系统的知识,这是耶鲁大学的操作系统概念书籍首页,里面有提供了第8版的在线电子版和最新的学习操作系统指南,学习分布式最好先学习操作系统. 《The Log: What every software engineer should know about real-time data's unifying abstraction》介绍:分布式系统Log剖析,非常的详细与精彩. 中文翻译 | 中文版笔记. 《Operating Systems Study Guide》介绍:分布式系统基础之操作系统学习指南. 《分布式系统领域经典论文翻译集》介绍:分布式系统领域经典论文翻译集. 《Maintaining performance in distributed systems》介绍:分布式系统性能维护. 《Computer Science from the Bottom Up》介绍:计算机科学，自底向上,小到机器码,大到操作系统内部体系架构,学习操作系统的另一个在线好材料. 《Operating Systems: Three Easy Pieces》介绍:<操作系统:三部曲>在线电子书,虚拟、并发、持续. 《Database Systems: reading list》介绍:数据库系统经典论文阅读列,此外推送github上面的db reading. 《Unix System Administration》介绍:Unix System Administration ebook. 《The Amoeba Distributed Operating System》介绍:分布式系统经典论文. 《Principles of Computer Systems》介绍:计算机系统概念，以分布式为主.此外推荐Introduction to Operating Systems笔记 《Person page of EMİN GÜN SİRER》介绍:推荐康奈尔大学的教授EMİN GÜN SİRER的主页,他的研究项目有分布式,数据存储。例如HyperDex数据库就是他的其中一个项目之一. 《Scalable, Secure, and Highly Available Distributed File Access》介绍:来自卡内基梅隆如何构建可扩展的、安全、高可用性的分布式文件系统,其他papers. 《Distributed (Deep) Machine Learning Common》介绍:分布式机器学习常用库. 《The Datacenter as a Computer》介绍:介绍了如何构建仓储式数据中心,尤其是对于现在的云计算,分布式学习来说很有帮助.本书是Synthesis Lectures on Computer Architecture系列的书籍之一,这套丛书还有 《The Memory System》,《Automatic Parallelization》,《Computer Architecture Techniques for Power Efficiency》,《Performance Analysis and Tuning for General Purpose Graphics Processing Units》,《Introduction to Reconfigurable Supercomputing》,Memory Systems Cache, DRAM, Disk 等 《helsinki:Distributed Systems Course slider》介绍:来自芬兰赫尔辛基的分布式系统课程课件:什么是分布式,复制,一致性,容错,同步,通信. 《TiDB is a distributed SQL database》介绍:分布式数据库TiDB,Golang开发. 《S897: Large-Scale Systems》介绍:课程资料:大规模系统. 《Large-scale L-BFGS using MapReduce》介绍:使用MapReduce进行大规模分布式集群环境下并行L-BFGS. 《Twitter是如何构建高性能分布式日志的》介绍:Twitter是如何构建高性能分布式日志的. 《Distributed Systems: When Limping Hardware Is Worse Than Dead Hardware》介绍:在分布式系统中某个组件彻底死了影响很小，但半死不活（网络/磁盘），对整个系统却是毁灭性的. 《Tera - 高性能、可伸缩的结构化数据库》介绍:来自百度的分布式数据库. 《SequoiaDB is a distributed document-oriented NoSQL Database》介绍:SequoiaDB分布式文档数据库开源. 《Readings in distributed systems》介绍:这个网址里收集了一堆各TOP大学分布式相关的课程. 《Paxos vs Raft》介绍:这个网站是Raft算法的作者为教授Paxos和Raft算法做的，其中有两个视频链接，分别讲上述两个算法.参考阅读:关于Paxos的历史 《A Scalable Content-Addressable Network》介绍:A Scalable Content-Addressable Network. 《500 Lines or Less》介绍:这个项目其实是一本书（ The Architecture of Open Source Applications）的源代码附录，是一堆大牛合写的. 《MIT 6.824 Distributed System》介绍:这只是一个课程主页，没有上课的视频，但是并不影响你跟着它上课：每一周读两篇课程指定的论文，读完之后看lecture-notes里对该论文内容的讨论，回答里面的问题来加深理解，最后在课程lab里把所看的论文实现。当你把这门课的作业刷完后，你会发现自己实现了一个分布式数据库. 《HDFS-alike in Go》介绍:使用go开发的分布式文件系统. 《What are some good resources for learning about distributed computing? Why?》介绍:Quora上关于学习分布式的资源问答. 《SeaweedFS is a simple and highly scalable distributed file system》介绍:SeaweedFS是使用go开发的分布式文件系统项目,代码简单，逻辑清晰. 《Codis - yet another fast distributed solution for Redis》介绍:Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 《Paper: Coordination Avoidance In Distributed Databases By Peter Bailis》介绍:Coordination Avoidance In Distributed Databases. 《从零开始写分布式数据库》介绍:本文以TiDB 源码为例. 《what we talk about when we talk about distributed systems》介绍:分布式系统概念梳理,为分布式系统涉及的主要概念进行了梳理. 《Distributed locks with Redis》介绍:使用Redis实现分布式锁. 《CS244b: Distributed Systems》介绍: 斯坦福2014年秋季分布式课程. 《RAMP Made Easy》介绍: 分布式的“读原子性”. 《Strategies and Principles of Distributed Machine Learning on Big Data》介绍: 大数据分布式机器学习的策略与原理. 《Distributed Systems: What is the CAP theorem?》介绍: 分布式CAP法则. 《How should I start to learn distributed storage system as a beginner?》介绍: 新手如何步入分布式存储系统. 《Cassandra - A Decentralized Structured Storage System》介绍: 分布式存储系统Cassandra剖析,推荐白皮书Introduction to Apache Cassandra. 《What is the best resource to learn about distributed systems?》介绍: 分布式系统学习资源. 《What are some high performance TCP hacks?》介绍: 一些高性能TCP黑客技巧. 《Maintaining performance in distributed systems》介绍:分布式系统性能提升. 《A simple totally ordered broadcast protocol》介绍:Benjamin Reed 和 Flavio P.Junqueira 所著论文,对Zab算法进行了介绍,zab算法是Zookeeper保持数据一致性的核心,在国内有很多公司都使用zookeeper做为分布式的解决方案.推荐与此相关的一篇文章ZooKeeper’s atomic broadcast protocol: Theory and practice. 《zFS - A Scalable Distributed File System Using Object Disk》介绍:可扩展的分布式文件系统ZFS,The Zettabyte File System,End-to-end Data Integrity for File Systems: A ZFS Case Study. 《A Distributed Haskell for the Modern Web》介绍:分布式Haskell在当前web中的应用. 《Reasoning about Consistency Choices in Distributed Systems》介绍:POPL2016的论文,关于分布式系统一致性选择的论述,POPL所接受的论文,github上已经有人整理. 《Paxos Made Simple》介绍:Paxos让分布式更简单.译文.参考阅读:关于Paxos的历史,understanding Paxos part1,Understanding Paxos – Part 2.Quora: What is a simple explanation of the Paxos algorithm?,Tutorial Summary: Paxos Explained from Scratch,Paxos algorithm explained, part 1: The essentials,Paxos algorithm explained, part 2: Insights 《Consensus Protocols: Paxos》介绍:分布式系统一致性协议:Paxos.参考阅读:关于Paxos的历史 《Consensus on Transaction Commit》介绍：事务提交的一致性探讨. 《The Part-Time Parliaments》介绍:在《The Part-Time Parliament》中描述了基本协议的交互过程。在基本协议的基础上完善各种问题得到了最终的议会协议。 为了让人更容易理解《The Part-Time Parliament》中描述的Paxos算法，Lamport在2001发表了《Paxos Made Simple》，以更平直的口头语言描述了Paxos，而没有包含正式的证明和数学术语。《Paxos Made Simple》中，将算法的参与者更细致的划分成了几个角色：Proposer、Acceptor、Learner。另外还有Leader和Client.参考阅读:关于Paxos的历史 《Paxos Made Practical》介绍:看这篇论文时可以先看看理解Paxos Made Practical. 《PaxosLease: Diskless Paxos for Leases》介绍：PaxosLease：实现租约的无盘Paxos算法,译文. 《Paxos Made Moderately Complex》介绍：Paxos算法实现,译文,同时推荐42 Paxos Made Moderately Complex. 《Hadoop Reading List》介绍：Hadoop学习清单. 《Hadoop Reading List》介绍：Hadoop学习清单. 《2010 NoSQL Summer Reading List》介绍：NoSQL知识清单,里面不仅仅包含了数据库阅读清单还包含了分布式系统资料. 《Raft: Understandable Distributed Consensus》介绍：Raft可视化图帮助理解分布式一致性 《Etcd:Distributed reliable key-value store for the most critical data of a distributed system》介绍：Etcd分布式Key-Value存储引擎 《Understanding Availability》介绍：理解peer-to-peer系统中的可用性究竟是指什么.同时推荐基于 Peer-to-Peer 的分布式存储系统的设计 《Process structuring, synchronization, and recovery using atomic actions》介绍：经典论文 《Programming Languages for Parallel Processing》介绍：并行处理的编程语音 《Analysis of Six Distributed File Systems》介绍：此篇论文对HDFS,MooseFS,iRODS,Ceph,GlusterFS,Lustre六个存储系统做了详细分析.如果是自己研发对应的存储系统推荐先阅读此篇论文 《A Survey of Distributed File Systems》介绍：分布式文件系统综述 《Concepts of Concurrent Programming》介绍：并行编程的概念,同时推荐卡内基梅隆FTP 《Concurrency Control Performance Modeling:Alternatives and Implications》介绍：并发控制性能建模：选择与意义 《Distributed Systems - Concepts and Design 5th Edition》介绍：ebook分布式系统概念与设计 《分布式系统设计的形式方法》介绍：分布式系统设计的形式方法 《互斥和选举算法》介绍：互斥和选举算法 《Actors：A model Of Concurrent Cornputation In Distributed Systems》介绍：经典论文 《Security Engineering: A Guide to Building Dependable Distributed Systems》介绍：如何构建一个安全可靠的分布式系统,About the Author,Bibliography:文献资料,章节访问把链接最后的01换成01-27即可 《15-712 Advanced and Distributed Operating Systems》介绍：卡内基梅隆大学的分布式系统博士生课程主页,有很丰富的资料 《Dapper, Google's Large-Scale Distributed Systems Tracing Infrastructure》介绍：Dapper，大规模分布式系统的跟踪系统,译文,译文对照 《CS262a: Advanced Topics in Computer Systems》介绍：伯克利大学计算机系统进阶课程,内容有深度,涵盖分布式,数据库等内容 《Egnyte Architecture: Lessons Learned In Building And Scaling A Multi Petabyte Distributed System》介绍：PB级分布式系统构建/扩展经验 《CS162: Operating Systems and Systems Programming》介绍：伯克利大学计算机系统课程:操作系统与系统编程 《MDCC: Multi-Data Center Consistency》介绍：MDCC主要解决跨数据中心的一致性问题中间件,一种新的协议 《Research at Google:Distributed Systems and Parallel Computing》介绍：google公开对外发表的分布式系统与并行计算论文 《HDFS Architecture Guide》介绍：分布式文件系统HDFS架构 《ActorDB distributed SQL database》介绍：分布式 Key/Value数据库 《An efficient data location protocol for self-organizing storage clusters》介绍：是著名的Ceph的负载平衡策略，文中提出的几种策略都值得尝试，比较赞的一点是可以对照代码体会和实践,如果你还需要了解可以看看Ceph:一个 Linux PB 级分布式文件系统,除此以外,论文的引用部分也挺值得阅读的,同时推荐Ceph: A Scalable, High-Performance Distributed File System 《A Self-Organizing Storage Cluster for Parallel Data-Intensive Applications》介绍：Surrento的冷热平衡策略就采用了延迟写技术 《HBA: Distributed Metadata Management for Large Cluster-Based Storage Systems》介绍：对于分布式存储系统的元数据管理. 《Server-Side I/O Coordination for Parallel File Systems》介绍：服务器端的I/O协调并行文件系统处理,网络,文件存储等都会涉及到IO操作.不过里面涉及到很多技巧性的思路在实践时需要斟酌 《Distributed File Systems: Concepts and Examples》介绍：分布式文件系统概念与应用 《CSE 221: Graduate Operating Systems》介绍：加利福尼亚大学的研究生操作系统课程主页，论文很值得阅读 《S4: Distributed Stream Computing Platform》介绍：Yahoo出品的流式计算系统，目前最流行的两大流式计算系统之一（另一个是storm），Yahoo的主要广告计算平台 《Pregel: a system for large-scale graph processing》介绍：Google的大规模图计算系统，相当长一段时间是Google PageRank的主要计算系统，对开源的影响也很大（包括GraphLab和GraphChi） 《GraphLab: A New Framework for Parallel Machine Learning》介绍：CMU基于图计算的分布式机器学习框架，目前已经成立了专门的商业公司，在分布式机器学习上很有两把刷子，其单机版的GraphChi在百万维度的矩阵分解都只需要2~3分钟； 《F1: A Distributed SQL Database That Scales》介绍：这篇论文是Google 2013年发表的，介绍了F1的架构思路，13年时就开始支撑Google的AdWords业务，另外两篇介绍文章F1 - The Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business .Google NewSQL之F1 《Cockroach DB:A Scalable, Survivable, Strongly-Consistent SQL Database》介绍：CockroachDB ：一个可伸缩的、跨地域复制的，且支持事务的数据存储,InfoQ介绍,Design and Architecture of CockroachDb 《Multi-Paxos: An Implementation and Evaluation》介绍：Multi-Paxos实现与总结，此外推荐Paxos/Multi-paxos Algorithm,Multi-Paxos Example，地址:ftp://ftp.cs.washington.edu/tr/2009/09/UW-CSE-09-09-02.PDF 《Zab: High-performance broadcast for primary-backup systems》介绍：一致性协议zab分析 《A Distributed Hash Table》介绍：分布式哈希算法论文,扩展阅读Introduction to Distributed Hash Tables,Distributed Hash Tables 《Comparing the performance of distributed hash tables under churn》介绍：分布式hash表性能的Churn问题 《Brewer’s Conjecture and the Feasibility of Consistent, Available, Partition-Tolerant Web》介绍：分布式系统的CAP问题,推荐Perspectives on the CAP Theorem.对CAP理论的解析文章,PODC ppt,A plain english introduction to CAP Theorem,IEEE Computer issue on the CAP Theorem 《F2FS: A New File System for Flash Storage》介绍：闪存存储文件系统F2FS 《Better I/O Through Byte-Addressable, Persistent Memory》介绍：微软发表的关于i/o访问优化论文 《tmpfs: A Virtual Memory File System》介绍：虚拟内存文件系统tmpfs 《BTRFS: The Linux B-tree Filesystem》介绍：Linux B-tree文件系统. 《Akamai technical publication》介绍：Akamai是全球最大的云计算机平台之一，承载了全球15-30%网络流量,如果你是做CDN或者是云服务,这个里面的论文会给你很有帮助.例如这几天看facebook开源的osquery。找到通过db的方式运维,找到Keeping Track of 70,000+ Servers: The Akamai Query System这篇论文，先看论文领会思想，然后再使用工具osquery实践 《BASE: An Acid Alternative》介绍：来自eBay 的解决方案,译文Base: 一种Acid的替代方案,应用案例参考保证分布式系统数据一致性的6种方案 《A Note on Distributed Computing》介绍：Jim Waldo和Sam Kendall等人共同撰写了一篇非常有名的论文“分布式计算备忘录”，这篇论文在Reddit上被人推荐为“每个程序员都应当至少读上两篇”的论文。在这篇论文中，作者表示“忽略本地计算与分布式计算之间的区别是一种危险的思想”，特别指出了Emerald、Argus、DCOM以及CORBA的设计问题。作者将这些设计问题归纳为“三个错误的原则”： “对于某个应用来说，无论它的部署环境如何，总有一种单一的、自然的面向对象设计可以符合其需求。” “故障与性能问题与某个应用的组件实现直接相关，在最初的设计中无需考虑这些问题。” “对象的接口与使用对象的上下文无关”. 《Distributed Systems Papers》介绍：分布式系统领域经典论文列表. 《Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web》介绍：Consistent Hashing算法描述. 《SIGMOD 2016: Accepted Research Papers》介绍：SIGMOD是世界上最有名的数据库会议之一,最具有权威性,收录论文审核非常严格.2016年的SIGMOD 会议照常进行,上面收录了今年SIGMOD收录的论文,把题目输入google中加上pdf就能找到,很多论文值得阅读,SIGMOD 2015 《Notes on CPSC 465/565: Theory of Distributed Systems》介绍:耶鲁大学的分布式系统理论课程笔记 《Distributed Operating System Doc PDF》介绍:分布式系统文档资源（可下载） 《Anatomy of a database system》介绍:数据库系统剖析，这本书是由伯克利大学的Joseph M. Hellerstein和M. Stonebraker合著的一篇论文.对数据库剖析很有深度.除此以外还有一篇文章Architecture of a Database System。数据库系统架构,厦门大学的数据库实验室教授林子雨组织过翻译 《A Relational Model of Data for Large Shared Data Banks》介绍:数据库关系模型论文 《RUC Innovative data systems reaserch lab recommand papers》介绍:中国人民大学数据研究实验室推荐的数据库领域论文 《A Scalable Distributed Information Management System》介绍:构建可扩展的分布式信息管理系统 《Distributed Systems in Haskell》介绍:Haskell中的分布式系统开发 《Large-scale cluster management at Google with Borg》介绍:Google使用Borg进行大规模集群的管理,伯克利大学ppt介绍,中文版 《Lock Free Programming Practice》介绍:并发编程（Concurrency Programming）资料,主要涵盖lock free数据结构实现、内存回收方法、memory model等备份链接 密码: xc5j 《Distributed Algorithms Lecture Notes for 6.852》介绍:Nancy Lynch's的分布式算法研究生课程讲义 《Distributed Algorithms for Topic Models》介绍:分布式算法主题模型. 《RecSys - ACM Recommender Systems》介绍:世界上非常有名的推荐系统会议，我比较推荐接收的PAPER 《All Things Distributed》介绍:推荐一个博客,博主是Amazon CTO Werner Vogels,这是一个关注分布式领域的博客.大部分博文是关于在工业界应用. 《programming, database, distributed system resource list》介绍:这个Git是由阿里(alibaba)的技术专家何登成维护,主要是分布式数据库. 《Making reliable distributed systems in the presence of sodware errors》介绍:Erlang的作者Joe Armstrong撰写的论文，面对软件错误构建可靠的分布式系统.中文译版 《CS 525: Advanced Distributed Systems[Spring 2016]》介绍:伊利诺伊大学的Advanced Distributed Systems 里把各个方向重要papers（updated Spring 2015）列举出来，可以参考一下 《Distributed Algorithms》介绍:这是一本分布式算法电子书,作者是Jukka Suomela.讲述了多个计算模型,一致性,唯一标示,并发等. 《TinyLFU: A Highly Efficient Cache Admission Policy》介绍:当时是在阅读如何设计一个缓存系统时看到的，然后通过Google找到了这一篇关于缓存策略的论文，它是LFU的改良版,中文介绍.如果有兴趣可以看看Golang实现版。结合起来可能会帮助你理解 《6.S897: Large-Scale Systems》介绍:斯坦福大学给研究生开的分布式系统课程。教师是 spark 作者 matei. 能把这些内容真正理解透，分布式系统的功力就很强了。 《学习分布式系统需要怎样的知识？》介绍:[怎么学系列]学习分布式系统需要怎样的知识？ 《Distributed systems theory for the distributed systems engineer》介绍:分布式系统工程师的分布式系统理论 《A Distributed Systems Reading List》介绍:分布式系统论文阅读列表 《Distributed Systems Reading Group》介绍:麻省理工大学分布式系统小组，他们会把平时阅读到的优秀论文分享出来。虽然有些论文本页已经收录，但是里面的安排表schedule还是挺赞的 《Scalable Software Architecture》介绍:分布式系统、可扩展性与系统设计相关报告、论文与网络资源汇总. 《MapReduce&Hadoop resource》介绍:MapReduce&Hadoop相关论文，涉及分布式系统设计，性能分析，实践，优化等多个方面 《Distributed Systems: Principles and Paradigms(second edtion)》介绍:分布式系统原理与范型第二版,课后解答 《Distributed Systems Seminar's reading list for Spring 2017》介绍:分布式系统研讨会论文阅读列表 《A Critique of the CAP Theorem》介绍:这是一篇评论CAP定理的论文，学习CAP很有帮助,推荐阅读评论文章"A Critique of the CAP Theorem" 《Evolving Distributed Systems》介绍:推荐文章不断进化的分布式系统.

回 2楼(zc_0101) 的帖子 您好，       您的问题非常好，SQL SERVER提供了很多关于I/O压力的性能计数器，请选择性能计算器PhysicalDisk（LogicalDisk），根据我们的经验，如下指标的阈值可以帮助你判断IO是否存在压力： 1.  % Disk Time ：这个是磁盘时间百分比，这个平均值应该在85%以下 2.  Current Disk Queue Length：未完成磁盘请求数量，这个每个磁盘平均值应该小于2. 3.  Avg. Disk Queue Length：磁盘请求队列的平均长度，这个每个磁盘平均值也应该小于2 4.  Disk Transfers/sec：每次磁盘传输数量，这个每个磁盘的最大值应该小于100 5.  Disk Bytes/sec：每次磁盘传入字节数，这个在普通的磁盘上应该在10M左右 6.  Avg. Disk Sec/Read：从磁盘读取的平均时间，这个平均值应该小于10ms(毫秒) 7.  Avg. Disk Sec/Write：磁盘写入的平均时间，这个平均值也应该小于10ms(毫秒) 以上，请根据自己的磁盘系统判断，比如传统的机械臂磁盘和SSD有所不同。 一般磁盘的优化方向是： 1. 硬件优化：比如使用更合理的RAID阵列，使用更快的磁盘驱动器，添加更多的内存 2. 数据库设置优化：比如创建多个文件和文件组，表的INDEX和数据放到不同的DISK上，将数据库的日志放到单独的物理驱动器，使用分区表 3. 数据库应用优化：包括应用程序的设计，SQL语句的调整，表的设计的合理性，INDEX创建的合理性，涉及的范围很广 希望对您有所帮助，谢谢！ ------------------------- 回 3楼(鹰舞) 的帖子 您好，      根据您的描述，由于查询产生了副本REDO LOG延迟，出现了架构锁。我们知道SQL SERVER 2012 AlwaysOn在某些数据库行为上有较多变化。我们先看看架构锁： 架构锁分成两类： 1. SCH-M：架构更改锁，主要发生在数据库SCHEMA的修改上，从你的描述看，没有更改SCHEMA，那么可以排除这个因素 2. SCH-S：架构稳定锁，主要发生在数据库的查询编译等活动 根据你的情况，应该属于SCH-S导致的。查询编译活动主要发生有新增加了INDEX, 更新了统计信息，未参数化的SQL语句等等 对于INDEX和SQL语句方面应，我想应该不会有太多问题。 我们重点关注一下统计信息：SQL SERVER 2012 AG副本的统计信息维护有两种： 1. 主体下发到副本 2. 临时统计信息存储在TEMPDB 对于主体下发的，我们可以设置统计信息的更新行为，自动更新时，可以设置为异步的（自动更新统计信息必须首先打开）： USE [master] GO ALTER DATABASE [Test_01]     SET AUTO_UPDATE_STATISTICS_ASYNC ON WITH NO_WAIT GO 这样的话查询优化器不等待统计信息更新完成即编译查询。可以优化一下你的BLOCK。 对于临时统计信息存储在TEMPDB里面也是很重要的，再加上ALWAYSON的副本数据库默认是快照隔离，优化TEMPDB也是必要的，关于优化TEPDB这个我想大部分都知道，这里只是提醒一下。 除了从统计信息本身来解决，在查询过程中，可以降低查询的时间，以尽量减少LOCK的时间和范围，这需要优化你的SQL语句或者应用程序。 以上，希望对您有所帮助。谢谢！ ------------------------- 回 4楼(leamonjxl) 的帖子 这是一个关于死锁的问题，为了能够提供帮助一些。请根据下列建议进行： 1.    跟踪死锁 2.    分析死锁链和原因 3.    一些解决办法 关于跟踪死锁，我们首先需要打开1222标记，例如DBCC TRACEON(1222,-1), 他将收集的信息写入到死锁事件发生的服务器上的日志文件中。同时建议打开Profiler的跟踪信息： 如果发生了死锁，需要分析死锁发生的根源在哪里？我们不是很清楚你的具体发生死锁的形态是怎么样的。 关于死锁的实例也多，这里不再举例。 这里只是提出一些可以解决的思路： 1.    减少锁的争用 2.    减少资源的访问数 3.    按照相同的时间顺序访问资源 减少锁的争用，可以从几个方面入手 1.    使用锁提示，比如为查询语句添加WITH (NOLOCK), 但这还取决于你的应用是否允许，大部分分布式的系统都是可以加WITH (NOLOCK), 金融行业可能需要慎重。 2.    调整隔离级别，使用MVCC，我们的数据库默认级别是READ COMMITED. 建议修改为读提交快照隔离级别，这样的话可以尽量读写不阻塞，只不过MVCC的ROW VERSION保存到TEMPDB下面，需要维护好TEMPDB。当然如果你的整个数据库隔离级别可以设置为READUNCOMMINTED，这些就不必了。 减少资源的访问数，可以从如下几个方面入手： 1.    使用聚集索引，非聚集INDEX的叶子页面与堆或者聚集INDEX的数据页面分离。因此，如果对非聚集INDEX 操作的话，会产生两个锁，一个是基本表，一个是非聚集INDEX。而聚集INDEX就不一样，聚集INDEX的叶子页面和表的数据页面相同，他只需要一个LOCK。 2.    查询语句尽量使用覆盖INDEX, 使用全覆盖INDEX，就不需要访问基本表。如果没有全覆盖，还会通过RID或者CLUSTER INDEX访问基本表，这样产生的LOCK可能会与其他SESSION争用。 按照相同的时间顺序访问资源： 确保每个事务按照相同的物理顺序访问资源。两个事务按照相同的物理顺序访问，第一个事务会获得资源上的锁而不会被第二个事务阻塞。第二个事务想获得第一个事务上的LOCK，但被第一个事务阻塞。这样的话就不会导致循环阻塞的情况。 ------------------------- 回 4楼(leamonjxl) 的帖子 两种方式看你的业务怎么应用。这里不仅是分表的问题，还可能存在分库，分服务器的问题。取决与你的架构方案。 物理分表+视图，这是一种典型的冷热数据分离的方案，大致的做法如下： 1.    保留最近3个月的数据为当前表，也即就是我们说的热数据 2.    将其他数据按照某种规则分表，比如按照年或者季度或者月，这部分是相对冷的数据 分表后，涉及到几个问题： 第一问题是，转移数据的过程，一般是晚上业务比较闲来转移，转移按照一定的规则来做，始终保持3个月，这个定时任务本身也很消耗时间 再者，关于查询部分，我想你们的数据库服务器应该通过REPLICATION做了读写分离的吧，主库我觉得压力不会太大，主要是插入或者更新，只读需要做视图来包含全部的数据，但通过UNION ALL所有分表的数据，最后可能还是非常大，在某些情况下，性能不一定好。这个是不是业务上可以解决。比如，对于1年前的历史数据，放在单独的只读上，相对热的数据放在一起，这样压力也会减少。 分区表的话，因为涉及到10亿数据，要有好的分区方案，相对比较简单一点。但对于10亿的大表，始终是个棘手的问题，无论分多少个分区，单个服务器的资源也是有限的。可扩展性方面也存在问题，比如在只读上你没有办法做服务器级别的拆分了。这可能也会造成瓶颈。 现在很多企业都在做分库分表，这些的要解决一些高并发，数据量大的问题。不知是否考虑过类似于中间件的方案，比如阿里巴巴的TDDL类似的方案，如果你有兴趣，可以查询相关资料。 ------------------------- 回 9楼(jiangnii) 的帖子 阿里云数据库不仅提供一个数据库，还提供数据库一种服务。阿里云数据库不仅简化了基础架构的部署，还提供了数据库高可用性架构，备份服务，性能诊断服务，监控服务，专家服务等等，保证用户放心、方便、省心地使用数据库，就像水电一样。以前的运维繁琐的事，全部由阿里云接管，用户只需要关注数据库的使用和具体的业务就好。 关于优化和在云数据库上处理大数据量或复杂的数据操作方面，在云数据库上是一样的，没有什么特别的地方，不过我们的云数据库是使用SSD磁盘，这个比普通的磁盘要快很多，IO上有很大的优势。目前单个实例支持1T的数据量大小。陆续我们会推出更多的服务，比如索引诊断，连接诊断，容量分析，空间诊断等等，这些工作可能是专业的DBA才能完成的，以后我们会提供自动化的服务来为客户创造价值，希望能帮助到客户。 谢谢！ ------------------------- 回 12楼(daniellin17) 的帖子 这个问题我不知道是否是两个问题，一个是并行度，另一个是并发，我更多理解是吞吐量，单就并行度而言。 提高并行度需要考虑的因素有： 1.    可用于SQL SERVER的CPU数量 2.    SQL SERVER的版本（32位/64位） 3.    可用内存 4.    执行的查询类型 5.    给定的流中处理的行数 6.    活动的并发连接数量 7.    sys.configurations参数：affinity mask/max server memory (MB)/ max degree of parallelism/ cost threshold for parallelism 以DOP的参数控制并行度为例，设置如下： SELECT * FROM sys.configurations WITH (NOLOCK) WHERE name = 'max degree of parallelism' EXEC sp_configure 'max degree of parallelism',2 RECONFIGURE WITH OVERRIDE 经过测试，DOP设置为2是一个比较适中的状态，特别是OLTP应用。如果设置高了，会产生较多的SUSPEND进程。我们可以观察到资源等待资源类型是：CXPACKET 你可以用下列语句去测试： DBCC SQLPERF('sys.dm_os_wait_stats',CLEAR) SELECT * FROM sys.dm_os_wait_stats WITH (NOLOCK) ORDER BY 2 DESC ,3 DESC 如果是吞吐量的话。优化的范围就很广了。优化是系统性的。硬件配置我们选择的话，大多根据业务量来预估，然后考虑以下： 1.    RAID的划分，RAID1适合存放事务日志文件(顺序写)，RAID10/RAID5适合做数据盘,RAID10是条带化并镜像，RAID5条带化并奇偶校验 2.    数据库设置，比如并行度，连接数，BUFFER POOL 3.    数据库文件和日志文件的存放规则，数据库文件的多文件设置规则 4.    TEMPDB的优化原则，这个很重要的 5.    表的设计方面根据业务类型而定 6.    CLUSTERED INDEX和NONCLUSTERED INDEX的设计 7.    阻塞分析 8.    锁和死锁分析 9.    执行计划缓冲分析 10.    存储过程重编译 11.    碎片分析 12.    查询性能分析,这个有很多可以优化的方式，比如OR/UNION/类型转换/列上使用函数等等 我这里列举一个高并发的场景： 比如，我们的订单，比如搞活动的时候，订单刷刷刷地增长，单个实例可能每秒达到很高很高，我们分析到最后最常见的问题是HOT PAGE问题，其等待类型是PAGE LATCH竞争。这个过程可以这么来处理，简单列几点，可以参考很多涉及高并发的案例： 1.    数据库文件和日志文件分开，存放在不同的物理驱动器磁盘上 2.    数据库文件需要与CPU个数形成一定的比例 3.    表设计可以使用HASH来作为表分区 4.    表可以设置无序的KEY/INDEX，比如使用GUID/HASH VALUE来定义PRIMARY KEY CLUSTER INDEX 5.    我们不能将自增列设计为聚集INDEX 这个场景只是针对高并发的插入。对于查询而言，是不适合的。但这些也可能导致大量的页拆分。只是在不同的场景有不同的设计思路。这里抛砖引玉。 ------------------------- 回 13楼(zuijh) 的帖子 ECS上现在有两种磁盘，一种是传统的机械臂磁盘，另一种是SSD，请先诊断你的IO是否出现了问题，本帖中有提到如何判断磁盘出现问题的相关话题，请参考。如果确定IO出现问题，可以尝试使用ECS LOCAL SSD。当然，我们欢迎你使用云数据库的产品，云数据库提供了很多有用的功能，比如高可用性，灵活的备份方案，灵活的弹性方案，实用的监控报警等等。 ------------------------- 回 17楼(豪杰本疯子) 的帖子 我们单个主机或者单个实例的资源总是有限的，因为涉及到很大的数据量，对于存储而言是个瓶颈，我曾使用过SAN和SAS存储，SAN存储的优势确实可以解决数据的灵活扩展，但是SAN也分IPSAN和FIBER SAN，如果IPSAN的话，性能会差一些。即使是FIBER SAN，也不是很好解决性能问题，这不是它的优势，同时，我们所有DB SERVER都连接到SAN上，如果SAN有问题，问题涉及的面就很广。但是SAS毕竟空间也是有限的。最终也会到瓶颈。数据量大，是造成性能问题的直接原因，因为我们不管怎么优化，一旦数据量太大，优化的能力总是有限的，所以这个时候更多从架构上考虑。单个主机单个实例肯定是抗不过来的。 所以现在很多企业在向分布式系统发展，对于数据库而言，其实有很多形式。我们最常见的是读写分离，比如SQL SERVER而言，我们可以通过复制来完成读写分离，SQL SERVER 2012及以后的版本，我们可以使用ALWAYSON来实现读写分离，但这只能解决性能问题，那空间问题怎么解决。我们就涉及到分库分表，这个分库分表跟应用结合得紧密，现在很多公司通过中间件来实现，比如TDDL。但是中间件不是每个公司都可以玩得转的。因此可以将业务垂直拆分，那么DB也可以由此拆分开来。举个简单例子，我们一个典型的电子商务系统，有订单，有促销，有仓库，有配送，有财务，有秒杀，有商品等等，很多公司在初期，都是将这些放在一个主机一个实例上。但是这些到了一定规模或者一定数据量后，就会出现性能和硬件资源问题，这时我们可以将它们独立一部分获完全独立出来。这些都是一些好的方向。希望对你有所帮助。 ------------------------- 回 21楼(dt) 的帖子 问： 求大数据量下mysql存储，优化方案 分区好还是分表好，分的过程中需要考虑事项 mysql高并发读写的一些解决办法 答： 分区：对于应用来说比较简单,改造较少 分表: 应用需较多改造，优点是数据量太大的情况下，分表可以拆分到多个实例上，而分区不可以。 高并发优化,有两个建议: 1.    优化事务逻辑 2.    解决mysql高并发热点,这个可以看看阿里的一个热点补丁: http://www.open-open.com/doc/view/d58cadb4fb68429587634a77f93aa13f ------------------------- 回 23楼(aelven) 的帖子 对于第一个问题.需要看看你的数据库架构是什么样的?比如你的架构具有高可用行?具有读写分离的架构?具有群集的架构.数据库应用是否有较冷门的功能。高并发应该不是什么问题。可扩展性方面需要考虑。阿里云数据库提供了很多优势，比如磁盘是性能超好的SSD，自动转移的高可用性，没有任何单点，自动灵活的备份方案，实用的监控报警，性能监控服务等等，省去DBA很多基础性工作。 你第二个问题，看起来是一个高并发的场景，这种高并发的场景容易出现大量的LOCK甚至死锁，我不是很清楚你的业务，但可以建议一下，首先可以考虑快照隔离级别，实现行多版本控制，让读写不要阻塞。至于写写过程，需要加锁的粒度降低最低，同时这种高并发也容易出现死锁，关于死锁的分析，本帖有提到，请关注。 第三个问题，你用ECS搭建自己的应用也是可以的，RDS数据库提供了很多功能，上面已经讲到了。安全问题一直是我们最看重的问题，肯定有超好的防护的。 ------------------------- 回 26楼(板砖大叔) 的帖子 我曾经整理的关于索引的设计与规范，可以供你参考： ----------------------------------------------------------------------- 索引设计与规范 1.1    使用索引 SQL SERVER没有索引也可以检索数据，只不过检索数据时扫描这个表而异。存储数据的目的，绝大多数都是为了再次使用，而一般数据检索都是带条件的检索，数据查询在数据库操作中会占用较大的比例，提高查询的效率往往意味着整个数据库性能的提升。索引是特定列的有序集合。索引使用B-树结构，最小优化了定位所需要的键值的访问页面量，包含聚集索引和非聚集索引两大类。聚集索引与数据存放在一起，它决定表中数据存储的物理顺序，其叶子节点为数据行。 1.2    聚集索引 1.2.1    关于聚集索引 没聚集索引的表叫堆。堆是一种没有加工的数据，以行标示符作为指向数据存储位置的指针，数据没有顺序。聚集索引的叶子页面和表的数据页面相同，因此表行物理上按照聚集索引列排序，表数据的物理顺序只有一种，所以一个表只有一个聚集索引。 1.2.2    与非聚集索引关系 非聚集索引的一个索引行包含指向表对应行的指针，这个指针称为行定位器，行定位器的值取决于数据页保存为堆还是被聚集。若是堆，行定位器指向的堆中数据行的行号指针，若是聚集索引表，行定位器是聚集索引键值。 1.2.3    设计聚集索引注意事项     首先创建聚集索引     聚集索引上的列需要足够短     一步重建索引，不要使用先DROP再CREATE，可使用DROP_EXISTING     检索一定范围和预先排序数据时使用，因为聚集索引的叶子与数据页面相同，索引顺序也是数据物理顺序，读取数据时，磁头是按照顺序读取，而不是随机定位读取数据。     在频繁更新的列上不要设计聚集索引，他将导致所有的非聚集所有的更新，阻塞非聚集索引的查询     不要使用太长的关键字，因为非聚集索引实际包含了聚集索引值     不要在太多并发度高的顺序插入，这将导致页面分割，设置合理的填充因子是个不错的选择 1.3    非聚集索引 1.3.1    关于非聚集索引 非聚集索引不影响表页面中数据的顺序，其叶子页面和表的数据页面时分离的，需要一个行定位器来导航数据，在将聚集索引时已经有说明，非聚集索引在读取少量数据行时特别有效。非聚集索引所有可以有多个。同时非聚集有很多其他衍生出来的索引类型，比如覆盖索引，过滤索引等。 1.3.2    设计非聚集索引     频繁更新的列，不适合做聚集索引，但可以做非聚集索引     宽关键字，例如很宽的一列或者一组列，不适合做聚集索引的列可作非聚集索引列     检索大量的行不宜做非聚集索引，但是可以使用覆盖索引来消除这种影响 1.3.3    优化书签查找 书签会访问索引之外的数据，在堆表，书签查找会根据RID号去访问数据，若是聚集索引表，一般根据聚集索引去查找。在查询数据时，要分两个部分来完成，增加了读取数据的开销，增加了CPU的压力。在大表中，索引页面和数据页面一般不会临近，若数据只存在磁盘，产生直接随机从磁盘读取，这导致更多的消耗。因此，根据实际需要优化书签查找。解决书签查找有如下方法：     使用聚集索引避免书签查找     使用覆盖索引避免书签查找     使用索引连接避免数据查找 1.4    聚集与非聚集之比较 1.4.1    检索的数据行 一般地，检索数据量大的一般使用聚集索引，因为聚集索引的叶子页面与数据页面在相同。相反，检索少量的数据可能非聚集索引更有利，但注意书签查找消耗资源的力度，不过可考虑覆盖索引解决这个问题。 1.4.2    数据是否排序 如果数据需要预先排序，需要使用聚集索引，若不需要预先排序就那就选择聚集索引。 1.4.3    索引键的宽度 索引键如果太宽，不仅会影响数据查询性能，还影响非聚集索引，因此，若索引键比较小，可以作为聚集索引，如果索引键够大，考虑非聚集索引，如果很大的话，可以用INCLUDE创建覆盖索引。 1.4.4    列更新的频度 列更新频率高的话，应该避免考虑所用非聚集索引，否则可考虑聚集索引。 1.4.5    书签查找开销 如果书签查找开销较大，应该考虑聚集索引，否则可使用非聚集索引，更佳是使用覆盖索引，不过得根据具体的查询语句而看。 1.5    覆盖索引 覆盖索引可显著减少查询的逻辑读次数，使用INCLUDE语句添加列的方式更容易实现，他不仅减小索引中索引列的数据，还可以减少索引键的大小，原因是包含列只保存在索引的叶子级别上，而不是索引的叶子页面。覆盖索引充当一个伪的聚集索引。覆盖索引还能够有效的减少阻塞和死锁的发生，与聚集索引类似，因为聚集索引值发生一次锁，非覆盖索引可能发生两次，一次锁数据，一次锁索引，以确保数据的一致性。覆盖索引相当于数据的一个拷贝，与数据页面隔离，因此也只发生一次锁。 1.6    索引交叉 如果一个表有多个索引，那么可以拥有多个索引来执行一个查询，根据每个索引检索小的结果集，然后就将子结果集做一个交叉，得到满足条件的那些数据行。这种技术可以解决覆盖索引中没有包含的数据。 1.7    索引连接 几乎是跟索引交叉类似，是一个衍生品种。他将覆盖索引应用到交叉索引。如果没有单个覆盖索引查询的索引而多个索引一起覆盖查询，SQL SERVER可以使用索引连接来完全满足查询而不需要查询基础表。 1.8    过滤索引 用来在可能没有好的选择性的一个或者多个列上创建一个高选择性的关键字组。例如在处理NULL问题比较有效，创建索引时，可以像写T-SQL语句一样加个WHERE条件，以排除某部分数据而检索。 1.9    索引视图 索引视图在OLAP系统上可能有胜算，在OLTP会产生过大的开销和不可操作性，比如索引视图要求引用当前数据库的表。索引视图需要绑定基础表的架构，索引视图要求企业版，这些限制导致不可操作性。 1.10    索引设计建议 1.10.1    检查WHERE字句和连接条件列 检查WHERE条件列的可选择性和数据密度，根据条件创建索引。一般地，连接条件上应当考虑创建索引，这个涉及到连接技术，暂时不说明。 1.10.2    使用窄的索引 窄的索引有可减少IO开销，读取更少量的数据页。并且缓存更少的索引页面，减少内存中索引页面的逻辑读取大小。当然，磁盘空间也会相应地减少。 1.10.3    检查列的唯一性 数据分布比较集中的列，种类比较少的列上创建索引的有效性比较差，如果性别只有男女之分，最多还有个UNKNOWN，单独在上面创建索引可能效果不好，但是他们可以为覆盖索引做出贡献。 1.10.4    检查列的数据类型 索引的数据类型是很重要的，在整数类型上创建的索引比在字符类型上创建索引更有效。同一类型，在数据长度较小的类型上创建又比在长度较长的类型上更有效。 1.10.5    考虑列的顺序 对于包含多个列的索引，列顺序很重要。索引键值在索引上的第一上排序，然后在前一列的每个值的下一列做子排序，符合索引的第一列通常为该索引的前沿。同时要考虑列的唯一性，列宽度，列的数据类型来做权衡。 1.10.6    考虑索引的类型 使用索引类型前面已经有较多的介绍，怎么选择已经给出。不再累述。 ------------------------- 回 27楼(板砖大叔) 的帖子 这两种都可以吧。看个人的喜好，不过微软现在的统一风格是下划线，比如表sys.all_columns/sys.tables，然后你再看他的列全是下划线连接，name     /object_id    /principal_id    /schema_id    /parent_object_id      /type    /type_desc    /create_date    /modify_date 我个人的喜好也是喜欢下划线。    

转自：思否 本文作者：Michael van der Gulik 原文链接：《Why WebAssembly is a big deal》 译者：敖小剑 WebAssembly 是每个程序员都应该关注的技术。WebAssembly 会变得更流行。 WebAssembly 将取代 JavaScript。WebAssembly 将取代 HTML 和 CSS。 WebAssembly 将取代手机应用。WebAssembly 将取代桌面应用。在 10 年内，我保证每个程序员至少需要知道如何使用工具来操作 WebAssembly 并理解它是如何工作的。 你可能会说，“太离谱了！” 好吧，请继续阅读。 什么是 WebAssembly 当前形式的 WebAssembly 是 Web 浏览器的新扩展，可以运行预编译代码…快速地。在 C ++ 中编写了一些小代码，然后使用 Emscripten 编译器将该代码编译为 WebAssembly。通过一些 Javascript 粘合，就可以在 Web 浏览器中调用这一小段代码，例如，运行粒子模拟。 WebAssembly 文件，扩展名为.wasm，本身是包含可执行指令的二进制格式。要使用该文件，必须编写一个运行某些 Javascript 的 HTML 文件来获取、编译和执行 WebAssembly 文件。WebAssembly 文件在基于堆栈的虚拟机上执行，并使用共享内存与其 JavaScript 包装器进行通信。 到目前为止，这似乎并不有趣。它看起来只不过是 JavaScript 的加速器。但是，聪明的读者会对 WebAssembly 可能成为什么有所了解。 WebAssembly 将成为什么？ 第一个重要发现是 WebAssembly 是一个安全的沙盒虚拟机。可以从 Internet 运行喜欢的 WebAssembly 代码，而确保它不会接管 PC 或服务器。四个主流 Web 浏览器对它的安全性非常有信心，它已经默认实现并启用了。它的真正安全性还有待观察，但安全性是 WebAssembly 的核心设计目标。 第二个重要发现是 WebAssembly 是一个通用的编译目标。它的原始编译器是一个 C 编译器，这个编译器很好地指示了 WebAssembly 虚拟机的低级和可重定向性。许多编程语言都使用 C 语言编写虚拟机，其他一些语言甚至使用 C 本身作为编译目标。 此时，有人整理了一个可以编译为 WebAssembly 的编程语言列表。这份名单将在未来很多年中继续增长。 WebAssembly 允许使用任何编程语言编写代码，然后让其他人在任何平台上安全地运行该代码，无需安装任何内容。朋友们，这是美好梦想的开始。 部署问题 我们来谈谈如何将软件提供给用户。 为新项目选择编程语言的一个重要因素是如何将项目部署到客户。您的程序员喜欢用 Haskell，Python，Visual Basic 或其他语言编写应用程序，具体取决于他们的喜好。要使用喜欢的语言，他们需要编译应用，制作一些可安装的软件包，并以某种方式将其安装在客户端的计算机上。有许多方法可以提供软件 - 包管理器，可执行安装程序或安装服务，如 Steam，Apple App Store，Google Play 或 Microsoft store。 每一个安装机制都意味着痛苦，从应用商店安装时的轻微疼痛，到管理员要求在他的 PC 上运行一些旧的 COBOL 代码时的集群头痛。 部署是一个问题。对于开发人员和系统管理员来说，部署一直是一个痛点。我们使用的编程语言与我们所针对的平台密切相关。如果大量用户在 PC 或移动设备上，我们使用 HTML 和 Javascript。如果用户是 Apple 移动设备用户，我们使用……呃…… Swift？（我实际上不知道）。如果用户在 Android 设备上，我们使用 Java 或 Kotlin。如果用户在真实计算机上并且愿意处理掉他们的部署问题，那么我们开发人员才能在我们使用的编程语言中有更多选择。 WebAssembly 有可能解决部署问题。 有了 WebAssembly，您可以使用任何编程语言编写应用，只要这些编程语言可以支持 WebAssembly，而应用可以在任何设备和任何具有现代 Web 浏览器的操作系统上运行。 硬件垄断 想购买台式机或笔记本电脑。有什么选择？好吧，有英特尔，有 AMD。多年来一直是双寡头垄断。保持这种双寡头垄断的一个原因是 x86 架构只在这两家公司之间交叉许可，而且通常预编译的代码需要 x86 或 x86-64（也就是 AMD-64）架构。还有其他因素，例如设计世界上最快的 CPU 是一件很艰难但也很昂贵的事情。 WebAssembly 是一种可让您在任何平台上运行代码的技术（之一）。如果它成为下一个风口，硬件市场将变得商品化。应用编译为 WebAssembly，就可以在任何东西上运行 - x86，ARM，RISC-V，SPARC。即便是操作系统市场也会商品化；您所需要的只是一个支持 WebAssembly 的浏览器，以便在硬件可以运行时运行最苛刻的应用程序。 编者注：Second State 研发的专为服务端优化的 WebAssembly 引擎 SSVM 已经可以运行在高通骁龙芯片上。Github 链接：https://github.com/second-sta... 云计算 但等等，还有更多。云计算成为IT经理办公室的流行词已有一段时间，WebAssembly 可以直接迎合它。 WebAssembly 在安全沙箱中执行。可以制作一个容器，它可以在服务器上接受和执行 WebAssembly 模块，而资源开销很小。对于提供的每个服务，无需在虚拟机上运行完整的操作系统。托管提供商只提供对可以上传代码的WebAssembly 容器的访问权限。它可以是一个原始容器，接收 socket 并解析自己的 HTTP 连接，也可以是一个完整的 Web 服务容器，其中 WebAssembly 模块只需要处理预解析的HTTP请求。 这还不存在。如果有人想变得富有，那么可以考虑这个想法。 编者注：目前已经有人正在实现这个想法，Byte Alliance 计划将WebAssembly 带到浏览器之外，Second State 已经发布了为服务端设计的WebAssembly 引擎开发者预览版。 不是云计算 WebAssembly 足以取代 PC 上本地安装的大多数应用程序。我们已经使用 WebGL（又名OpenGL ES 2.0）移植了游戏。我预测不久之后，受益于WebAssembly，像 LibreOffice 这样的大型应用可以直接从网站上获得，而无需安装。 在这种情况下，在本地安装应用没什么意义。本地安装的应用和 WebAssembly 应用之间几乎没有区别。WebAssembly 应用已经可以使用屏幕，键盘和鼠标进行交互。它可以在 2D 或 OpenGL 中进行图形处理，并使用硬件对视频流进行解码。可以播放和录制声音。可以访问网络摄像头。可以使用 WebSockets。可以使用 IndexedDB 存储大量数据在本地磁盘上。这些已经是 Web 浏览器中的标准功能，并且都可以使用 JavaScript 向 WebAssembly 暴露。 目前唯一困难的地方是 WebAssembly 无法访问本地文件系统。好吧，可以通过 HTML 使用文件上传对话，但这不算。最终，总会有人为此创建 API，并可能称之为 “WASI”。 “从互联网上运行应用程序！？胡说八道！“，你说。好吧，这是使用 Qt 和 WebAssembly 实现的文本编辑器 （以及更多）。 这是一个简单的例子。复杂的例子是在 WebBrowser 中运行的 Adobe Premier Pro 或 Blender。或者考虑像 Steam 游戏一样可以直接从网络上运行。这听起来像小说，但从技术上说这并非不能发生。 它会来的。 让我们裸奔！ 目前，WebAssembly 在包含 HTML 和 Javascript 包装器的环境中执行。为什么不脱掉这些？有了 WebAssembly，为什么还要在浏览器中包含 HTML 渲染器和 JavaScript 引擎？ 通过为所有服务提供标准化 API，这些服务通常是 Web 浏览器提供的，可以创建裸 WebAssembly。就是没有 HTML和 Javascript 包装来管理的 WebAssembly。访问的网页是 .wasm 文件，浏览器会抓取并运行该文件。浏览器为WebAssembly 模块提供画布，事件处理程序以及对浏览器提供的所有服务的访问。 这目前还不存在。如果现在使用 Web 浏览器直接访问 .wasm 文件，它会询问是否要下载它。我假设将设计所需的 API 并使其工作。 结果是 Web 可以发展。网站不再局限于 HTML，CSS 和 Javascript。可以创建全新的文档描述语言。可以发明全新的布局引擎。而且，对于像我这样的 polyglots 最相关，我们可以选择任何编程语言来实现在线服务。 可访问性 但我听到了强烈抗议！可访问性怎么样？？搜索引擎怎么办？ 好吧，我还没有一个好的答案。但我可以想象几种技术解决方案。 一个解决方案是我们保留内容和表现的分离。内容以标准化格式编写，例如 HTML。演示文稿由 WebAssembly 应用管理，该应用可以获取并显示内容。这允许网页设计师使用想要的任何技术进行任意演示 - 不需要 CSS，而搜索引擎和需要不同类型的可访问性的用户仍然可以访问内容。 请记住，许多 WebAssembly 应用并不是可以通过文本访问的，例如游戏和许多应用。盲人不会从图像编辑器中获得太多好处。 另一个解决方案是发明一个 API，它可以作为 WebAssembly 模块，来提供想在屏幕上呈现的 DOM，供屏幕阅读器或搜索引擎使用。基本上会有两种表示形式：一种是在图形画布上，另一种是产生结构化文本输出。 第三种解决方案是使用屏幕阅读器或搜索引擎可以使用的元数据来增强画布。执行 WebAssembly 并在画布上呈现内容，其中包含描述渲染内容的额外元数据。例如，该元数据将包括屏幕上的区域是否是菜单以及存在哪些选项，或者区域是否想要文本输入，以及屏幕上的区域的自然排序（也称为标签顺序）是什么。基本上，曾经在 HTML 中描述的内容现在被描述为具有元数据的画布区域。同样，这只是一个想法，它可能在实践中很糟糕。 可能是什么 1995年，Sun Microsystems 发布了 Java，带有 Java applets 和大量的宣传。有史以来第一次，网页可以做一些比 和 GIF 动画更有趣的事情。开发人员可以使应用完全在用户的 Web 浏览器中运行。它们没有集成到浏览器中，而是实现为繁重的插件，需要安装整个 JVM。1995年，这不是一个小的安装。applets 也需要一段时间来加载并使用大量内存。我们现在凭借大量内存，这不再是一个问题，但在 Java 生命的第一个十年里，它让体验变得令人厌烦。 applets 也不可靠。无法保证它们会运行，尤其是在用户使用 Microsoft 的实现时。他们也不安全，这是棺材里的最后一颗钉子。 以 JVM 为荣，其他语言最终演变为在 JVM 上运行。但现在，那艘船航行了。 FutureSplash / Macromedia / Adobe Flash 也是一个竞争者，但是是专有的，具有专有工具集和专有语言的专有格式。我读到他们确实在2009年开启了文件格式。最终从浏览器中删除了支持，因为它存在安全风险。 这里的结论是，如果希望您的技术存在于每个人的机器上，那么安全性就需要正视。我真诚地希望 WebAssembly 作为标准对安全问题做出很好的反应。 需要什么？ WebAssembly 仍处于初期阶段。它目前能很好的运行代码，而规范版本是 1.0，二进制格式定型。目前正在开展SIMD 指令支持。通过 Web Workers 进行多线程处理也正在进行中。 工具可用，并将在未来几年不断改进。浏览器已经让你窥视 WebAssembly 文件。至少 Firefox 允许查看WebAssembly 字节码，设置断点并查看调用堆栈。我听说浏览器也有 profiling 支持。 语言支持包括一套不错的语言集合–C，C++和Rust是一流的公民。C＃，Go和Lua显然有稳定的支持。Python，Scala，Ruby，Java和Typescript都有实验性支持。这可能是一个傲慢的陈述，但我真的相信任何想要在21世纪存在的语言都需要能够在 WebAssembly 上编译或运行。 在访问外部设备的 API 支持方面，我所知道的唯一可用于裸 WebAssembly 的 API 是 WASI，它允许文件和流访问等核心功能，允许 WebAssembly 在浏览器外运行。否则，任何访问外部世界的 API 都需要在浏览器中的 Javascript 中实现。除了本地机器上的文件访问，打印机访问和其他新颖的硬件访问（例如非标准蓝牙或USB设备）之外，应用所需的一切几乎都可以满足。“裸WebAssembly”并不是它成功的必要条件; 它只是一个小的优化，不需要浏览器包含对 HTML，CSS 或 Javascript 的支持。 我不确定在桌面环境中让 WebAssembly 成为一等公民需要什么。需要良好的复制和粘贴支持，拖放支持，本地化和国际化，窗口管理事件以及创建通知的功能。也许这些已经可以从网络浏览器中获得; 我经常惊讶与已经可能的事情。 引发爆炸的火花是创建允许现有应用移植的环境。如果创造了“用于 WebAssembly 的 Linux 子系统”，那么可以将大量现有的开源软件移植到 WebAssembly 上。它需要模拟一个文件系统 - 可以通过将文件系统的所有只读部分都缓存为 HTTP 请求来完成，并且所有可写部分都可以在内存中，远程存储或使用浏览器可以提供的任何文件访问。图形支持可以通过移植 X11 或 Wayland 的实现来使用 WebGL（我理解已经作为 AIGLX 存在？）。 一些 SDL 游戏已经被移植到 WebAssembly - 最着名的是官方演示。 一旦 JVM 在 WebAssembly 中运行，就可以在浏览器中运行大量的 Java 软件。同样适用于其他虚拟机和使用它们的语言。 与 Windows 软件的巨大世界一样，我没有答案。WINE 和 ReactOS 都需要底层的 x86 或 x86-64 机器，所以唯一的选择是获取源代码并移植它，或者使用 x86 模拟器。 尾声 WebAssembly 即将到来。 它来得很慢，但现在所有的部分都可以在你正在使用的浏览器上使用。现在我们等待构建用于从各种编程语言中定位 WebAssembly 的基础设施。一旦构建完成，我们将摆脱 HTML，CSS 和 Javascript 的束缚。 加入阿里云钉钉群享福利：每周技术直播，定期群内有奖活动、大咖问答 阿里云开发者社区

转自：阿飞的博客 一、数据库技术选型的思考维度 我们做选型的时候首先要问： 谁选型？是负责采购的同学、 DBA 还是业务研发？ 如果选型的是采购的同学，他们更注重成本，包括存储方式、网络需求等。 如果选型的是 DBA 同学，他们关心的： ① 运维成本 首先是运维成本，包括监控告警是否完善、是否有备份恢复机制、升级和迁移的成本是否高、社区是否稳定、是否方便调优、排障是否简易等； ② 稳定性 其次，DBA会关注稳定性，包括是否支持数据多副本、服务高可用、多写多活等； ③ 性能 第三是性能，包括延迟、QPS 以及是否支持更高级的分级存储功能等； ④ 拓展性 第四是扩展性，如果业务的需求不确定，是否容易横向扩展和纵向扩容； ⑤ 安全 最后是安全，需要符合审计要求，不容易出现 SQL 注入或拖库情况。 ⑥ 其他 除了采购和 DBA之外，后台应用研发的同学同样会关注稳定性、性能、扩展性等问题，同时也非常关注数据库接口是否便于开发，是否便于修改数据库 schema 等问题。 接下来我们来看一下爱奇艺使用的数据库类型： MySQL，互联网业务必备系统； TiDB，爱奇艺的 TiDB 实践会有另外的具体介绍； Redis，KV 数据库，互联网公司标配； Couchbase，这个在爱奇艺用得比较多，但国内互联网公司用得比较少，接下来的部分会详细说明； 其他，比如 MongoDB、图数据库、自研 KV 数据库 HiKV 等； 大数据分析相关系统，比如 Hive、Impala 等等。 可以看到爱奇艺的数据库种类还是很多的，这会造成业务开发的同学可能不太清楚在他的业务场景下应该选用哪种数据库系统。 那么，我们先对这些数据库按照接口（SQL、NoSQL）和面向的业务场景（OLTP、OLAP）这两位维度进行一个简单非严谨的分类。 下图中，左上角是面向 OLTP、支持 SQL 的这样一类系统，例如 MySQL，一般支持事务不同的隔离级别， QPS 要求比较高，延时比较低，主要用于交易信息和关键数据的存储，比如订单、VIP 信息等。 左下角是 NoSQL 数据库，是一类针对特殊场景做优化的系统，schema 一般比较简单，吞吐量较高、延迟较低，一般用作缓存或者 KV 数据库。 整个右侧都是 OLAP 的大数据分析系统，包括 Clickhouse、Impala等，一般支持SQL、不支持事务，扩展性比较好，可以通过加机器增加数据的存储量，响应延迟较长。 还有一类数据库是比较中立的，在数据量比较小的时候性能比较好，在数据量较大或复杂查询的时候性能也不差，一般通过不同的存储引擎和查询引擎来满足不同的业务需求，我们把它叫做 HTAP，TiDB 就是这样一种数据库。 二、iQIYI对数据库的优化与完善 前面我们提到了很多种的数据库，那么接下来就和大家介绍一下在爱奇艺我们是怎么使用这些数据库的。 1、MySQL在爱奇艺的使用 ① MySQL 首先是 MySQL。MySQL 基本使用方式是 master-slave + 半同步，支持每周全备+每日增量备份。我们做了一些基本功能的增强，首先是增强了数据恢复工具 Xtrabackup 的性能。 之前遇到一个情况，我们有一个全量库是 300G 数据，增量库每天 70G 数据，总数据量 700G 左右。我们当时只需要恢复一个表的数据，但该工具不支持单表恢复，且整库恢复需要 5 个小时。 针对这个情况我们具体排查了原因，发现在数据恢复的过程中需要进行多次写盘的 IO 操作并且有很多串行操作，所以我们做了一些优化。例如删减过程中的一些写盘操作，减少落盘并将数据处理并行化，优化后整库恢复耗时减少到 100 分钟，而且可以直接恢复单表数据。 然后是适配 DDL 和 DML 工具到内部系统，gh-ostt 和 oak-online-alter-table 在数据量大的时候会造成 master-slave 延时，所以我们在使用工具的时候也增加了延时上的考虑，实时探测Master-Slave 库之间延时的情况，如果延时较大会暂停工具的使用，恢复到正常水平再继续。 ② MySQL高可用 第二是 MySQL 高可用。Master-slave 加上半同步这种高可用方式不太完善，所以我们参照了 MHA 并进行了改动，采用 master + agent 的方式。Agent 在每一个物理机上部署，可以监控这个物理机上的所有实例的状态，周期性地向 master 发送心跳，Master 会实时监测各个Agent的状态。 如果 MySQL故障，会启动 Binlog 补偿机制，并切换访问域名完成 failover。考虑到数据库跨机房跨地区部署的情况，MHA 的 master 我们也做了高可用设计，众多 master 会通过 raft 组成一个 raft group，类似 TiDB 的 PD 模块。目前 MySQL failover 策略支持三种方式：同机房、同地域跨机房以及跨地域。 ③ MySQL拓展能力 第三是提高MySQL扩展能力，以提供更大容量的数据存储。扩展方式有 SDK，例如开源的 ShardingSphere，在爱奇艺的使用也比较广泛。另外就是 Proxy，开源的就更多了。但是 SDK 和 Proxy 使用的问题是支持的 SQL 语句简单，扩容难度大，依赖较多且运维复杂，所以部分业务已经迁移至 TiDB。 ④ 审计 第四是审计。我们在 MySQL 上做了一个插件获取全量 SQL 操作，后端打到 Kafka，下游再接入包括 Clickhouse 等目标端进行 SQL 统计分析。除此之外还有安全策略，包括主动探索是否有 SQL 注入及是否存在拖库情况等，并触发对应的告警。 MySQL 审计插件最大的问题是如何降低对 MySQL 性能的影响，对此我们进行了一些测试，发现使用 General Log 对性能损耗较大，有 10%~20% 的降低。 于是我们通过接口来获取 MySQL 插件里的监控项，再把监控项放到 buffer 里边，用两级的 RingBuffer 来保证数据的写入不会有锁资源竞争。在这个插件里再启动一个线程，从 RingBuffer 里读取数据并把数据打包写到 FIFO 管道里。 我们在每台 MySQL 的物理机里再启动一个 Agent，从管道里阻塞地读取数据发至 Kafka。优化后我们再次进行压测，在每台机器上有 15 万的更新、删除或插入操作下不会丢失数据，性能损耗一般情况下小于 2%。 目前已经在公司内部的集群上线了一年时间，运行比较稳定，上线和下线对业务没有影响。 ⑤ 分级存储 第五是分级存储。MySQL 里会存一些过程性的数据，即只需要读写最近一段时间存入的数据，过段时间这些数据就不需要了，需要进行定时清理。 分级存储就是在 MySQL 之上又用了其他存储方式，例如 TiDB 或其他 TokuDB，两者之间可以进行数据自动搬迁和自动归档，同时前端通过 SDK + Proxy 来做统一的访问入口。这样一来，业务的开发同学只需要将数据存入 MySQL 里，读取时可能从后端接入的任意数据库读出。这种方式目前只是过渡使用，之后会根据 TiDB 的特性进行逐步迁移。 Redis在爱奇艺的使用 接下来是 Redis。Redis 也是使用 master - slave 这种方式，由于网络的复杂性我们对 Sentinel 的部署进行了一些特殊配置，在多机房的情况下每个机房配置一定数量 Sentinel 来避免脑裂。 备份恢复方面介绍一个我们的特殊场景，虽然 Redis 是一个缓存，但我们发现不少的业务同学会把它当做一个 KVDB 来使用，在某些情况下会造成数据的丢失。 所以我们做了一个 Redis 实时备份功能，启动一个进程伪装成 Redis 的 Slave 实时获取数据，再放到后端的 KV 存储里，例如 ScyllaDB，如果要恢复就可以从 ScyllaDB 里把数据拉出来。 我们在用 Redis 时最大的痛点就是它对网络的延迟或抖动非常敏感。如有抖动造成 Redis Master 超时，会由 Sentinel 重新选出一个新的节点成为 Master，再把该节点上的数据同步到所有 Slave 上，此过程中数据会放在 Master 节点的 Buffer 里，如果写入的 QPS 很高会造成 Buffer 满溢。如果 Buffer 满后 RDB 文件还没有拷贝过去，重建过程就会失败。 基于这种情况，我们对 Redis 告警做了自动化优化，如有大量 master - slave 重建失败，我们会动态调整一些参数，例如把 Buffer 临时调大等， 此外我们还做了 Redis 集群的自动扩缩容功能。 我们在做 Redis 开发时如果是 Java 语言都会用到 Jedis。用 Jedis 访问客户端分片的 Redis 集群，如果某个分片发生了故障或者 failover，Jedis 就会对所有后端的分片重建连接。如果某一分片发生问题，整个 Redis 的访问性能和 QPS 会大幅降低。针对这个情况我们优化了 Jedis，如果某个分片发生故障，就只针对这个分片进行重建。 在业务访问 Redis 时我们会对 Master 绑定一个读写域名，多个从库绑定读域名。但如果我们进行 Master failover，会将读写域名从某旧 Master 解绑，再绑定到新 Master 节点上。 DNS 本身有一个超时时间，所以数据库做完 failover 后业务程序里没有立刻获取到新的 Master 节点的 IP的话，有可能还会连到原来的机器上，造成访问失败。 我们的解决方法是把 DNS 的 TTL 缩短，但对 DNS 服务又会造成很大的压力，所以我们在 SDK 上提供 Redis 的名字服务 RNS，RNS 从 Sentinel 里获取集群的拓扑和拓扑的变化情况，如果集群 failover，Sentinel 会接到通知，客户端就可以通过 RNS 来获取新的 Master 节点的 IP 地址。我们去掉域名，通过 IP 地址来访问整个集群，屏蔽了 DNS 的超时，缩短了故障的恢复时间。 SDK 上还做了一些功能，例如 Load Balance 以及故障检测，比如某个节点延时较高的话会被临时熔断等。 客户端分片的方式会造成 Redis 的扩容非常痛苦，如果客户端已经进行了一定量的分片，之后再增加就会非常艰难。 Redis 在 3.0 版本后会提供 Redis Cluster，因为功能受限在爱奇艺应用的不是很多，例如不支持显示跨 DC 部署和访问，读写只在主库上等。 我们某些业务场景下会使用 Redis 集群，例如数据库访问只发生在本 DC，我们会在 DC 内部进行 Cluster 部署。 但有些业务在使用的过程中还是想做 failover，如果集群故障可以切换到其他集群。根据这种情况我们做了一个 Proxy，读写都通过它来进行。写入数据时 Proxy 会做一个旁路，把新增的数据写在 Kafka 里，后台启用同步程序再把 Kafka 里的数据同步到其他集群，但存在一些限制，比如我们没有做冲突检测，所以集群间数据需要业务的同学做单元化。线上环境的Redis Cluster 集群间场景跨 DC 同步 需要 50 毫秒左右的时间。 2、Couchbase在爱奇艺的使用 Redis 虽然提供 Cluster 这种部署方式，但存在一些问题。所以数据量较大的时候（经验是 160G），就不推荐 Redis 了，而是采用另一种存储方式 Couchbase。 Couchbase 在国内互联网公司用的比较少，一开始我们是把他当做一个 Memcached 来使用的，即纯粹的缓存系统。 但其实它性能还是比较强大的，是一个分布式高性能的 KV 系统，支持多种存储引擎 (bucket)。第一种是 Memcached bucket，使用方式和 Memcached 一样为 KV 存储，不支持数据持久化也没有数据副本，如果节点故障会丢失数据； 第二种是 Couchbase bucket，支持数据持久化，使用 Json 写入，有副本，我们一般会在线上配置两个副本，如果新加节点会对数据进行 rebalance，爱奇艺使用的一般是 Couchbase bucket 这种配置。 Couchbase 数据的分布如下图，数据写入时在客户端上会先进行一次哈希运算，运算完后会定位 Key 在哪一个 vBucket （相当于数据库里的某个分片）。之后客户端会根据 Cluster Map 发送信息至对应的服务端，客户端的 Cluster Map 保存的是 vBucket 和服务器的映射关系，在服务端数据迁移的过程中客户端的 Cluster Map 映射关系会动态更新，因此客户端对于服务端的 failover 操作不需要做特殊处理，但可能在 rebalance 过程中会有短暂的超时，导致的告警对业务影响不大。 Couchbase 在爱奇艺应用比较早，2012 年还没有 Redis Cluster 的时候就开始使用了。集群管理使用 erlang 语言开发，最大功能是进行集群间的复制，提供多种复制方式：单向、双向、星型、环式、链式等。 爱奇艺从最初的 1.8 版本使用到如今的 5.0 版本，正在调研的 6.0，中间也遇到了很多坑，例如 NTP 时间配置出错会导致崩溃，如果每个集群对外 XDCR 并发过高导致不稳定，同步方向变更会导致数据丢失等等，我们通过运维和一些外部工具来进行规避。 Couchbase 的集群是独立集群，集群间的数据同步通过 XDCR，我们一般配置为双向同步。对于业务来说，如果 Cluster 1 写入， Cluster 2 不写入，正常情况下客户端会写 Cluster 1。如果 Cluster 1 有故障，我们提供了一个 Java SDK，可以在配置中心把写入更改到 Cluster 2，把原来到 Cluster 1 的连接逐步断掉再与Cluster 2 新建连接。这种集群 failover 的过程对于客户端来说是相对透明和无感的。 3、爱奇艺自研数据库HiKV的使用 Couchbase 虽然性能非常高，并且数据的存储可以超过内存。但是，如果数据量超过内存 75% 这个阈值，性能就会下降地特别快。在爱奇艺，我们会把数据量控制在可用内存的范围之内，当做内存数据库使用。但是它的成本非常高，所以我们后面又开发了一个新的数据库—— HiKV。 开发 HiKV 的目的是为了把一些对性能要求没那么高的 Couchbase 应用迁移到 HiKV 上。HiKV 基于开源系统 ScyllaDB，主要使用了其分布式数据库的管理功能，增加了单机存储引擎 HiKV。 ScyllaDB 比较吸引人的是它宣称性能高于 Cassandra 十倍，又完全兼容 Cassandra 接口，设计基本一致，可以视为 C++ 版 Cassandra 系统。 ScyllaDB 性能的提升主要是使用了一些新的技术框架，例如 C++ 异步框架 seastar，主要原理是在j每台物理机的核上会 attach 一个应用线程，每个核上有自己独立的内存、网络、IO 资源，核与核之间没有数据共享但可以通信，其最大的好处是内存访问无锁，没有冲突过程。 当一个数据读或写到达 ScyllaDB 的 server 时，会按照哈希算法来判断请求的 Key 是否是该线程需要处理的，如果是则本线程处理，否则会转发到对应线程上去。 除此之外，它还支持多副本、多数据中心、多写多活，功能比较强大。 在爱奇艺，我们基于 SSD 做了一个 KV 存储引擎。Key 放在内存里，Value 放在盘上的文件里，我们在读和写文件时，只需要在内存索引里定位，再进行一次盘的 IO 开销就可以把数据读出来，相比 ScyllaDB 原本基于 LSM Tree 的存储引擎方式对 IO 的开销较少。 索引数据全部放在内存中，如果索引长度较长会限制单机可存储的数据量，于是我们通过开发定长的内存分布器，对于比较长的 Key 做摘要缩短长度至 20 字节，采用红黑树索引，限制每条记录在内存里的索引长度至为 64 字节。内存数据要定期做 checkpoint，客户端要做限流、熔断等。 HiKV 目前在爱奇艺应用范围比较大，截至目前已经替换了 30% 的 Couchbase，有效地降低了存储成本。 4、爱奇艺的数据库运维管理 爱奇艺数据库种类较多，如何高效地运维和管理这些数据库也是经历了不同的阶段。 最初我们通过 DBA 写脚本的方式管理，如果脚本出问题就找 DBA，导致了 DBA 特别忙碌。 第二个阶段我们考虑让大家自己去查问题的答案，于是在内部构建了一个私有云，通过 Web 的方式展示数据库运行状态，让业务的同学可以自己去申请集群，一些简单的操作也可以通过自服务平台实现，解放了 DBA。一些需要人工处理的大型运维操作经常会造成一些人为故障，敲错参数造成数据丢失等。 于是在第三个阶段我们把运维操作 Web 化，通过网页点击可以进行 90% 的操作。 第四个阶段让经验丰富的 DBA 把自身经验变成一些工具，比如有业务同学说 MySQL master-slave 延时了，DBA 会通过一系列操作排查问题。现在我们把这些操作串起来形成一套工具，出问题时业务的同学可以自己通过网页上的一键诊断工具去排查，自助进行处理。 除此之外我们还会定期做预警检查，对业务集群里潜在的问题进行预警报告；开发智能客服，回答问题；通过监控的数据对实例打标签，进行削峰填谷地智能调度，提高资源利用率。 三、不同场景下数据库选型建议 1、实用数据库选型树 最后来说一些具体数据库选型建议。这是 DBA 和业务一起，通过经验得出来的一些结论。 对于关系型数据库的选型来说，可以从数据量和扩展性两个维度考虑，再根据数据库有没有冷备、要不要使用 Toku 存储引擎，要不要使用 Proxy 等等进行抉择。 NoSQL 也是什么情况下使用 master-slave，什么情况下使用客户端分片、集群、Couchbase、HiKV 等，我们内部自服务平台上都有这个选型树信息。 2、一些思考 ① 需求 我们在选型时先思考需求，判断需求是否真实。 你可以从数据量、QPS、延时等方面考虑需求，但这些都是真实需求吗？是否可以通过其他方式把这个需求消耗掉，例如在数据量大的情况下可以先做数据编码或者压缩，数据量可能就降下来了。 不要把所有需求都推到数据库层面，它其实是一个兜底的系统。 ② 选择 第二个思考的点是对于某个数据库系统或是某个技术选型我们应该考虑什么？是因为热门吗？还是因为技术上比较先进？但是不是能真正地解决你的问题？如果你数据量不是很大的话就不需要选择可以存储大数据量的系统。 ③ 放弃 第三是放弃，当你放弃一个系统时真的是因为不好用吗？还是没有用好？放弃一个东西很难，但在放弃时最好有一个充分的理由，包括实测的结果。 ④ 自研 第四是自研，在需要自己开发数据库时可以参考和使用一些成熟的产品，但不要盲目自研。 ⑤ 开源 最后是开源，要有拥抱开源的态度。