分程序结构怎么玩

曾经因为看不懂数据结构和算法，而一度怀疑是自己太笨，实际上，很多人在第一次接触这门课时，都会有这种感觉，觉得数据结构和算法很抽象，晦涩难懂，宛如天书。正是这个原因，让很多初学者对这门课望而却步，希望以下分享能为初学者排忧解难。 我个人觉得，其实真正的原因是你没有找到好的学习方法，没有抓住学习的重点。实际上，数据结构和算法的东西并不多，常用的、基础的知识点更是屈指可数。只要掌握了正确的学习方法，学起来并没有看上去那么难，更不需要什么高智商、厚底子。 还记得大学里每次考前老师都要划重点吗？今天，我就给你划划我们这门课的重点，再告诉你一些我总结的学习小窍门。相信有了这些之后，你学起来就会有的放矢、事半功倍了。 什么是数据结构？什么是算法？ 大部分数据结构和算法教材，在开篇都会给这两个概念下一个明确的定义。但是，这些定义都很抽象，对理解这两个概念并没有实质性的帮助，反倒会让你陷入死抠定义的误区。毕竟，我们现在学习，并不是为了考试，所以，概念背得再牢，不会用也就没什么用。 虽然我们说没必要深挖严格的定义，但是这并不等于不需要理解概念。下面我就从广义和狭义两个层面，来帮你理解数据结构与算法这两个概念。 从广义上讲，数据结构就是指一组数据的存储结构。算法就是操作数据的一组方法。 图书馆储藏书籍你肯定见过吧？为了方便查找，图书管理员一般会将书籍分门别类进行“存储”。按照一定规律编号，就是书籍这种“数据”的存储结构。 那我们如何来查找一本书呢？有很多种办法，你当然可以一本一本地找，也可以先根据书籍类别的编号，是人文，还是科学、计算机，来定位书架，然后再依次查找。笼统地说，这些查找方法都是算法。 从狭义上讲，是指某些著名的数据结构和算法，比如队列、栈、堆、二分查找、动态规划等。这些都是前人智慧的结晶，我们可以直接拿来用。我们要讲的这些经典数据结构和算法，都是前人从很多实际操作场景中抽象出来的，经过非常多的求证和检验，可以高效地帮助我们解决很多实际的开发问题。 那数据结构和算法有什么关系呢？为什么大部分书都把这两个东西放到一块儿来讲呢？ 这是因为，数据结构和算法是相辅相成的。数据结构是为算法服务的，算法要作用在特定的数据结构之上。因此，我们无法孤立数据结构来讲算法，也无法孤立算法来讲数据结构。 比如，因为数组具有随机访问的特点，常用的二分查找算法需要用数组来存储数据。但如果我们选择链表这种数据结构，二分查找算法就无法工作了，因为链表并不支持随机访问。 数据结构是静态的，它只是组织数据的一种方式。如果不在它的基础上操作、构建算法，孤立存在的数据结构就是没用的。 现在你对数据结构与算法是不是有了比较清晰的理解了呢？有了这些储备，下面我们来看看，究竟该怎么学数据结构与算法。 看到数据结构和算法里的“算法”两个字，很多人就会联想到“数学”，觉得算法会涉及到很多深奥的数学知识。那我数学基础不是很好，学起来会不会很吃力啊？ 数据结构和算法课程确实会涉及一些数学方面的推理、证明，尤其是在分析某个算法的时间、空间复杂度的时候，但是这个你完全不需要担心。 学习的重点在什么地方？ 提到数据结构和算法，很多人就很头疼，因为这里面的内容实在是太多了。这里，我就帮你梳理一下，应该先学什么，后学什么。你可以对照看看，你属于哪个阶段，然后有针对地进行学习。 想要学习数据结构与算法，首先要掌握一个数据结构与算法中最重要的概念——复杂度分析。 这个概念究竟有多重要呢？可以这么说，它几乎占了数据结构和算法这门课的半壁江山，是数据结构和算法学习的精髓。 数据结构和算法解决的是如何更省、更快地存储和处理数据的问题，因此，我们就需要一个考量效率和资源消耗的方法，这就是复杂度分析方法。所以，如果你只掌握了数据结构和算法的特点、用法，但是没有学会复杂度分析，那就相当于只知道操作口诀，而没掌握心法。只有把心法了然于胸，才能做到无招胜有招！ 所以，复杂度分析这个内容，你也一定要花大力气来啃，必须要拿下，并且要搞得非常熟练。否则，后面的数据结构和算法也很难学好。 搞定复杂度分析，下面就要进入数据结构与算法的正文内容了。 为了让你对数据结构和算法能有个全面的认识，我画了一张图，里面几乎涵盖了所有数据结构和算法书籍中都会讲到的知识点。 但是，作为初学者，或者一个非算法工程师来说，你并不需要掌握图里面的所有知识点。很多高级的数据结构与算法，比如二分图、最大流等，这些在我们平常的开发中很少会用到。所以，你暂时可以不用看。我还是那句话，咱们学习要学会找重点。如果不分重点地学习，眉毛胡子一把抓，学起来肯定会比较吃力。 所以，结合我自己的学习心得，还有这些年的面试、开发经验，我总结了20个最常用的、最基础数据结构与算法，不管是应付面试还是工作需要，只要集中精力逐一攻克这20个知识点就足够了。 这里面有10个数据结构：数组、链表、栈、队列、散列表、二叉树、堆、跳表、图、Trie树；10个算法：递归、排序、二分查找、搜索、哈希算法、贪心算法、分治算法、回溯算法、动态规划、字符串匹配算法。 掌握了这些基础的数据结构和算法，再学更加复杂的数据结构和算法，就会非常容易、非常快。 与此同时，为了帮助大家学习算法，准备了一份学习资料，获取方式：关注我的公众号“程序媛不是程序猿”，回复“算法”即可弹出领取地址。对于新手来说很适用。 在学习数据结构和算法的过程中，你也要注意，不要只是死记硬背，不要为了学习而学习，而是要学习它的“来历”“自身的特点”“适合解决的问题”以及“实际的应用场景”。对于每一种数据结构或算法，我都会从这几个方面进行详细讲解。只要你掌握了《数据结构与算法之美》每节课里讲的内容，就能在开发中灵活应用。 学习数据结构和算法的过程，是非常好的思维训练的过程，所以，千万不要被动地记忆，要多辩证地思考，多问为什么。如果你一直这么坚持做，你会发现，等你学完之后，写代码的时候就会不由自主地考虑到很多性能方面的事情，时间复杂度、空间复杂度非常高的垃圾代码出现的次数就会越来越少。你的编程内功就真正得到了修炼。 一些可以让你事半功倍的学习技巧 前面我给你划了学习的重点，作为一个过来人，现在我就给你分享一下，学习的一些技巧。掌握了这些技巧，可以让你化被动为主动，学起来更加轻松，更加有动力！ 边学边练，适度刷题 “边学边练”这一招非常有用。建议你每周花1～2个小时的时间，集中把这周的三节内容涉及的数据结构和算法，全都自己写出来，用代码实现一遍。这样一定会比单纯地看或者听的效果要好很多！ 有面试需求的同学，可能会问了，那我还要不要去刷题呢？ 我个人的观点是可以“适度”刷题，但一定不要浪费太多时间在刷题上。我们学习的目的还是掌握，然后应用。除非你要面试Google、Facebook这样的公司，它们的算法题目非常非常难，必须大量刷题，才能在短期内提升应试正确率。如果是应对国内公司的技术面试，即便是BAT这样的公司，你只要彻底掌握这个专栏的内容，就足以应对。 多问、多思考、多互动 学习最好的方法是，找到几个人一起学习，一块儿讨论切磋，有问题及时寻求老师答疑。但是，离开大学之后，既没有同学也没有老师，这个条件就比较难具备了。 打怪升级学习法 学习的过程中，我们碰到最大的问题就是，坚持不下来。是的，很多基础课程学起来都非常枯燥。为此，我自己总结了一套“打怪升级学习法”。 游戏你肯定玩过吧？为什么很多看起来非常简单又没有乐趣的游戏，你会玩得不亦乐乎呢？这是因为，当你努力打到一定级别之后，每天看着自己的经验值、战斗力在慢慢提高，那种每天都在一点一点成长的成就感就不由自主地产生了。 知识需要沉淀，不要想试图一下子掌握所有 在学习的过程中，一定会碰到“拦路虎”。如果哪个知识点没有怎么学懂，不要着急，这是正常的。因为，想听一遍、看一遍就把所有知识掌握，这肯定是不可能的。学习知识的过程是反复迭代、不断沉淀的过程。 这些内容是我根据平时的学习和工作、面试经验积累，精心筛选出来的。只要掌握这些内容，应付日常的面试、工作，基本不会有问题。 以上内容出自近70000+程序员的算法课堂《数据结构与算法之美》，这个专栏是市面上唯一一门真正适用于工程师的专栏，专栏中列举大量实际软件开发中的场景，给你展示如何利用数据结构和算法解决真实的问题。整个专栏会涵盖100 多个算法真实项目场景案例，更难得的是它跟市面上晦涩的算法书籍不同的是，还手绘了一些清晰易懂的详解图（总共有 300 多张）。 手绘图—出自《数据结构与算法之美》 专栏已经更新完毕，72 篇文章，27 万字，这个专栏作者并非只是单纯地把某个知识点讲清楚，而是结合作者的理解、实践和经验来讲解，我相信它是一个跟所有国内、国外经典书籍都不一样的专栏，一个可以长期影响一些人的专栏。 这个专栏不会像《算法导论》那样，里面有非常复杂的数学证明和推理。作者会由浅入深，从概念到应用，一点一点给你解释清楚。你只要有高中数学水平，就完全可以学习。 当然，当然希望你最好有些编程基础，如果有项目经验就更好了。这样给你讲数据结构和算法如何提高效率、如何节省存储空间，你就会有很直观的感受。因为，对于每个概念和实现过程，作者都会从实际场景出发，不仅教你“是什么”，还会教你“为什么”，并且告诉你遇到同类型问题应该“怎么做”。 强烈推荐这个专栏给想攻克算法的同学，它改变了无数对算法恐惧的同学，我整理了一些专栏的评价给大家参考。

在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢?首先我们来看一下大数据里面的数据，就分三种类型，一种叫结构化的数据，一种叫非结构化的数据，还有一种叫半结构化的数据。 大数据拥抱云计算 在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢? 1 数据不大也包含智慧 一开始这个大数据并不大。原来才有多少数据?现在大家都去看电子书，上网看新闻了，在我们80后小时候，信息量没有那么大，也就看看书、看看报，一个星期的报纸加起来才有多少字?如果你不在一个大城市，一个普通的学校的图书馆加起来也没几个书架，是后来随着信息化的到来，信息才会越来越多。 首先我们来看一下大数据里面的数据，就分三种类型，一种叫结构化的数据，一种叫非结构化的数据，还有一种叫半结构化的数据。 结构化的数据：即有固定格式和有限长度的数据。例如填的表格就是结构化的数据，国籍：中华人民共和国，民族：汉，性别：男，这都叫结构化数据。 非结构化的数据：现在非结构化的数据越来越多，就是不定长、无固定格式的数据，例如网页，有时候非常长，有时候几句话就没了;例如语音，视频都是非结构化的数据。 半结构化数据：是一些XML或者HTML的格式的，不从事技术的可能不了解，但也没有关系。 其实数据本身不是有用的，必须要经过一定的处理。例如你每天跑步带个手环收集的也是数据，网上这么多网页也是数据，我们称为Data。数据本身没有什么用处，但数据里面包含一个很重要的东西，叫做信息(Information)。 数据十分杂乱，经过梳理和清洗，才能够称为信息。信息会包含很多规律，我们需要从信息中将规律总结出来，称为知识(Knowledge)，而知识改变命运。信息是很多的，但有人看到了信息相当于白看，但有人就从信息中看到了电商的未来，有人看到了直播的未来，所以人家就牛了。如果你没有从信息中提取出知识，天天看朋友圈也只能在互联网滚滚大潮中做个看客。 所以数据的应用分这四个步骤：数据、信息、知识、智慧。 最终的阶段是很多商家都想要的。你看我收集了这么多的数据，能不能基于这些数据来帮我做下一步的决策，改善我的产品。例如让用户看视频的时候旁边弹出广告，正好是他想买的东西;再如让用户听音乐时，另外推荐一些他非常想听的其他音乐。 用户在我的应用或者网站上随便点点鼠标，输入文字对我来说都是数据，我就是要将其中某些东西提取出来、指导实践、形成智慧，让用户陷入到我的应用里面不可自拔，上了我的网就不想离开，手不停地点、不停地买。 很多人说双十一我都想断网了，我老婆在上面不断地买买买，买了A又推荐B，老婆大人说，“哎呀，B也是我喜欢的啊，老公我要买”。你说这个程序怎么这么牛，这么有智慧，比我还了解我老婆，这件事情是怎么做到的呢? 2 数据如何升华为智慧 数据的处理分几个步骤，完成了才最后会有智慧。 第一个步骤叫数据的收集。首先得有数据，数据的收集有两个方式： 第一个方式是拿，专业点的说法叫抓取或者爬取。例如搜索引擎就是这么做的：它把网上的所有的信息都下载到它的数据中心，然后你一搜才能搜出来。比如你去搜索的时候，结果会是一个列表，这个列表为什么会在搜索引擎的公司里面?就是因为他把数据都拿下来了，但是你一点链接，点出来这个网站就不在搜索引擎它们公司了。比如说新浪有个新闻，你拿百度搜出来，你不点的时候，那一页在百度数据中心，一点出来的网页就是在新浪的数据中心了。 第二个方式是推送，有很多终端可以帮我收集数据。比如说小米手环，可以将你每天跑步的数据，心跳的数据，睡眠的数据都上传到数据中心里面。 第二个步骤是数据的传输。一般会通过队列方式进行，因为数据量实在是太大了，数据必须经过处理才会有用。可系统处理不过来，只好排好队，慢慢处理。 第三个步骤是数据的存储。现在数据就是金钱，掌握了数据就相当于掌握了钱。要不然网站怎么知道你想买什么?就是因为它有你历史的交易的数据，这个信息可不能给别人，十分宝贵，所以需要存储下来。 第四个步骤是数据的处理和分析。上面存储的数据是原始数据，原始数据多是杂乱无章的，有很多垃圾数据在里面，因而需要清洗和过滤，得到一些高质量的数据。对于高质量的数据，就可以进行分析，从而对数据进行分类，或者发现数据之间的相互关系，得到知识。 比如盛传的沃尔玛超市的啤酒和尿布的故事，就是通过对人们的购买数据进行分析，发现了男人一般买尿布的时候，会同时购买啤酒，这样就发现了啤酒和尿布之间的相互关系，获得知识，然后应用到实践中，将啤酒和尿布的柜台弄的很近，就获得了智慧。 第五个步骤是对于数据的检索和挖掘。检索就是搜索，所谓外事不决问Google，内事不决问百度。内外两大搜索引擎都是将分析后的数据放入搜索引擎，因此人们想寻找信息的时候，一搜就有了。 另外就是挖掘，仅仅搜索出来已经不能满足人们的要求了，还需要从信息中挖掘出相互的关系。比如财经搜索，当搜索某个公司股票的时候，该公司的高管是不是也应该被挖掘出来呢?如果仅仅搜索出这个公司的股票发现涨的特别好，于是你就去买了，其实其高管发了一个声明，对股票十分不利，第二天就跌了，这不坑害广大股民么?所以通过各种算法挖掘数据中的关系，形成知识库，十分重要。 3 大数据时代，众人拾柴火焰高 当数据量很小时，很少的几台机器就能解决。慢慢的，当数据量越来越大，最牛的服务器都解决不了问题时，怎么办呢?这时就要聚合多台机器的力量，大家齐心协力一起把这个事搞定，众人拾柴火焰高。 对于数据的收集：就IoT来讲，外面部署这成千上万的检测设备，将大量的温度、湿度、监控、电力等数据统统收集上来;就互联网网页的搜索引擎来讲，需要将整个互联网所有的网页都下载下来。这显然一台机器做不到，需要多台机器组成网络爬虫系统，每台机器下载一部分，同时工作，才能在有限的时间内，将海量的网页下载完毕。 对于数据的传输：一个内存里面的队列肯定会被大量的数据挤爆掉，于是就产生了基于硬盘的分布式队列，这样队列可以多台机器同时传输，随你数据量多大，只要我的队列足够多，管道足够粗，就能够撑得住。 对于数据的存储：一台机器的文件系统肯定是放不下的，所以需要一个很大的分布 式文件系统来做这件事情，把多台机器的硬盘打成一块大的文件系统。 对于数据的分析：可能需要对大量的数据做分解、统计、汇总，一台机器肯定搞不定，处理到猴年马月也分析不完。于是就有分布式计算的方法，将大量的数据分成小份，每台机器处理一小份，多台机器并行处理，很快就能算完。例如著名的Terasort对1个TB的数据排序，相当于1000G，如果单机处理，怎么也要几个小时，但并行处理209秒就完成了。 所以说什么叫做大数据?说白了就是一台机器干不完，大家一起干。可是随着数据量越来越大，很多不大的公司都需要处理相当多的数据，这些小公司没有这么多机器可怎么办呢? 4 大数据需要云计算，云计算需要大数据 说到这里，大家想起云计算了吧。当想要干这些活时，需要很多的机器一块做，真的是想什么时候要就什么时候要，想要多少就要多少。 例如大数据分析公司的财务情况，可能一周分析一次，如果要把这一百台机器或者一千台机器都在那放着，一周用一次非常浪费。那能不能需要计算的时候，把这一千台机器拿出来;不算的时候，让这一千台机器去干别的事情? 谁能做这个事儿呢?只有云计算，可以为大数据的运算提供资源层的灵活性。而云计算也会部署大数据放到它的PaaS平台上，作为一个非常非常重要的通用应用。因为大数据平台能够使得多台机器一起干一个事儿，这个东西不是一般人能开发出来的，也不是一般人玩得转的，怎么也得雇个几十上百号人才能把这个玩起来。 所以说就像数据库一样，其实还是需要有一帮专业的人来玩这个东西。现在公有云上基本上都会有大数据的解决方案了，一个小公司需要大数据平台的时候，不需要采购一千台机器，只要到公有云上一点，这一千台机器都出来了，并且上面已经部署好了的大数据平台，只要把数据放进去算就可以了。 云计算需要大数据，大数据需要云计算，二者就这样结合了。 人工智能拥抱大数据 机器什么时候才能懂人心 虽说有了大数据，人的欲望却不能够满足。虽说在大数据平台里面有搜索引擎这个东西，想要什么东西一搜就出来了。但也存在这样的情况：我想要的东西不会搜，表达不出来，搜索出来的又不是我想要的。 例如音乐软件推荐了一首歌，这首歌我没听过，当然不知道名字，也没法搜。但是软件推荐给我，我的确喜欢，这就是搜索做不到的事情。当人们使用这种应用时，会发现机器知道我想要什么，而不是说当我想要时，去机器里面搜索。这个机器真像我的朋友一样懂我，这就有点人工智能的意思了。 人们很早就在想这个事情了。最早的时候，人们想象，要是有一堵墙，墙后面是个机器，我给它说话，它就给我回应。如果我感觉不出它那边是人还是机器，那它就真的是一个人工智能的东西了。 让机器学会推理 怎么才能做到这一点呢?人们就想：我首先要告诉计算机人类的推理的能力。你看人重要的是什么?人和动物的区别在什么?就是能推理。要是把我这个推理的能力告诉机器，让机器根据你的提问，推理出相应的回答，这样多好? 其实目前人们慢慢地让机器能够做到一些推理了，例如证明数学公式。这是一个非常让人惊喜的一个过程，机器竟然能够证明数学公式。但慢慢又发现其实这个结果也没有那么令人惊喜。因为大家发现了一个问题：数学公式非常严谨，推理过程也非常严谨，而且数学公式很容易拿机器来进行表达，程序也相对容易表达。 教给机器知识 因此，仅仅告诉机器严格的推理是不够的，还要告诉机器一些知识。但告诉机器知识这个事情，一般人可能就做不来了。可能专家可以，比如语言领域的专家或者财经领域的专家。 语言领域和财经领域知识能不能表示成像数学公式一样稍微严格点呢?例如语言专家可能会总结出主谓宾定状补这些语法规则，主语后面一定是谓语，谓语后面一定是宾语，将这些总结出来，并严格表达出来不就行了吗?后来发现这个不行，太难总结了，语言表达千变万化。 人工智能这个阶段叫做专家系统。专家系统不易成功，一方面是知识比较难总结，另一方面总结出来的知识难以交给计算机。因为你自己还迷迷糊糊，觉得似乎有规律，就是说不出来，又怎么能够通过编程教给计算机呢? 算了，教不会你自己学吧 于是人们想到：机器是和人完全不一样的物种，干脆让机器自己学习好了。

1.产品2.UI3.CSS4.JS5.后端（Java/php/python）6.DBA(mysql/oracle)7.运维（OP） 8.测试（QA）9.算法（分类/聚类/关系抽取/实体识别）10.搜索（Lucene/Solr/elasticSearch）11.大数据工程师（Hadoop）12.Android13.IOS14.运营 一.产品1 工作内容：了解用户需求，做竞品调研，画产品原型，写产品文档，讲解产品需求，测试产品Bug，收集用户反馈，苦练金刚罩以防止程序员拿刀砍。2 需要技能：PPT，Word, Axure,XP,MVP，行业知识，沟通。 二. UI1 工作内容：收到产品原型，给原型上色，偶尔会自作主张调整下原型的位置，出不同的风格给老板和客户选，然后听他们的意见给出一个自己极不喜欢的风格，最好给Android，IOS或者是CSS做好标注，还有的需要直接帮他们切好图，最后要练出来象素眼，看看这些不靠谱的程序员们有没有上错色或者是有偏差。2 需要技能：PS，Illustrator，Sketch，耐性，找素材。 三. CSS1 工作内容：产品设计好原型，UI做出来了效果图，剩下的就是CSS工程师用代码把静态文件写出来的。 2 需要技能：环境【IDE（WEBStorm，Sublime，EditPlus），源码管理（SVN/Git） ，WEB服务器(nginx)】基础【PS，域名，Html，Html5，CSS，CSS3】扩展【自适应，响应式，Bootstrap，Less，Flex】 四 .JS 1 工作内容：JS工程师其实分成两类，在之前讲CSS的时候已经提到过，一个是套页面的，一个是前后端分离的。对这两个概念还是分不太清的，可以回过头去看CSS的部分。 2 需要技能：环境【IDE（WEBStorm，Sublime，EditPlus），源码管理（SVN/Git） ，WEB服务器(nginx)】基础【Http，REST，跨域，语法，组件，F12，Json，Websocket】框架【JQuery，AngularJS，Bower，RequireJS，GruntJS，ReactJS，PhoneGap】业务【金融，教育，医疗，汽车，房产等等等等各种行业】 五 .后端（Java/python/go） 1 工作内容：大部分的后端工程师都停留在功能实现的层面上。这是现在国内二流或者是三流的公司的现状，甚至是在某些一流的公司。很多时候都是架构师出了架构设计，更多的外包公司根本就是有DBA来做设计，然后后端程序员从JS到CSS到Java全写，完全就是一个通道，所有的复杂逻辑全部交给DB来做，这也是几年前DBA很受重视的原因。 2 需要技能：环境【IDE（Idea/Eclipse，Maven，jenkins,Nexus,Jetty,Shell，Host），源码管理（SVN/Git） ，WEB服务器(nginx,tomcat,Resin)】基础【Http，REST，跨域，语法，Websocket,数据库，计算机网络，操作系统，算法，数据结构】框架【Spring，AOP，Quartz，Json TagLib,tiles,activeMQ,memcache,redis,mybatis,log4j,junit等等等等等】业务【金融，教育，医疗，汽车，房产等等等等各种行业】。 六 .DBA  1 工作内容：如果你做了一个DBA，基本上会遇到两种情况。一种是你的后端工程师懂架构，知道怎么合便使用DB，知道如何防止穿透DB，那么恭喜你，你只是需要当一个DB技术兜底的顾问就好，基本上没什么活可以做，做个监控，写个统计就好了。你可以花时间在MongoDB了，Hadoop了这些，随便玩玩儿。再按照我之前说的，做好数据备份。如果需求变动比较大，往往会牵涉到一些线上数据的更改，那么就在发布的时候安静的等着，等着他们出问题。。。。如果不出问题就可以回家睡觉了。 2 需要技能：环境【Linux，Mysql，Oracle，MongoDB，Hadoop】工具【各种DB的版本，工具，备份，日志等】。 七. 运维  1 工作内容：运维的工作大概分成几个部分，我对于修真院学习运维的少年们都这么说，大概是：A。基础环境的搭建和常用软件的安装和配置（兼网管的还有各种程控机）,常用软件指的是SVN，Git，邮箱这种，更细节的内容请参考修真院对于运维职业的介绍。B。日常的发布和维护，如刚刚讲到的一样，测试环境和线上环境的发布和记录，原则上，对线上所有的变更都应该有记录。C。数据的备份和服务的监控&安全配置。各种数据，都要做好备份和回滚的手段，提前准备好各种紧急预案，服务的监制要做好。安全始终都是不怎么被重点考虑的问题，因为这个东西无底洞，你永远不知道做到什么程度算是比较安全了，所以大多数都是看着情况来。D。运维工具的编写。这一点在大的云服务器商里格外常见，大公司也是一样的。E。Hadoop相关的大数据体系架构的运维，确实有公司在用几百台机器做Hadoop，所以虽然不常见，我还是列出来吧。 2 需要技能：环境【Linux，Mysql，Oracle，MongoDB，Hadoop，nginx,apache,F5,lvs,vpn,iptable，svn,git,memcache,redis】工具【linux 常用工具，Mysql常用工具，Jenkins，zabbix,nagios】自动化运维【openstack,docker,ansible】语言【shell,python】 八 .QA  1 工作内容：QA需要了解需求，很多公司会要求QA写测试用例，我觉得是扯淡。完全是在浪费时间。通常开发三周，QA测试的时间只有一周到一周半。还有关于提前写测试用例的，都不靠谱。 2 需要技能：流程【Bug修复流程，版本发布流程】工具【禅道，BugZilla，Jira,Excel表格来统计Bug数，自动化测试】性格【严谨，耐心】 九. 算法工程师  1 工作内容：算法工程师的工作内容，大部分时间都是在调优。就是调各种参数和语料，寻找特征，验证结果，排除噪音。也会和Hadoop神马的打一些交道，mahout神马的，我那个时候还在用JavaML。现在并不知道有没有什么更好用的工具了。有的时候还要自己去标注语料---当然大部分人都不爱做这个事儿，会找漂亮的小编辑去做。2 需要技能：基础【机器学习，数据挖掘】工具【Mahout，JavaML等其他的算法工具集】 十. 搜索工程师  1 工作内容： 所以搜索现在其实分成两种。一种是传统的搜索。包括：A。抓取 B。解析C。去重D。处理E。索引F。查询另一种是做为架构的搜索。并不包括之前的抓取解析去重，只有索引和查询。A。索引B。查询 2 需要技能：环境【Linux】框架【Luence,Slor,ElasticSearch,Cassandra,MongoDB】算法【倒排索引，权重计算公式，去重算法，Facet搜索的原理，高亮算法，实时索引】 十一. 大数据工程师  1 工作内容：工作内容在前期会比较多一些，基础搭建还是一个挺讲究的事儿。系统搭建好之后呢，大概是两种，一种是向大数据部门提交任务，跑一圈给你。一种是持续的文本信息处理中增加新的处理模块，像我之前说的增加个分类啦，实体识别神马的。好吧第一种其实我也不记得是从哪得来的印象了，我是没有见到过的。架构稳定了之后，大数据部门的工作并不太多，常常会和算法工程师混到一起来。其他的应该就是大数据周边产品的开发工作了。再去解决一些Bug什么的。2 需要技能：环境【Linux】框架【Hadoo,spark,storm,pig,hive,mahout,zookeeper 】算法【mapreduce,hdfs,zookeeper】。 十二. Android工程师  1 工作内容：Android工程师的日常就是听产品经理讲需求，跟后端定接口，听QA反馈哪款机器不兼容，闹着申请各种测试机，以及悲催的用Android做IOS的控件。 2 需要技能：环境【Android Studio，Maven,Gradle】基础【数据结构，Java，计算机网络】组件【IM，地图，支付，拍照，视频，音频，统计，分享，手势密码】 十三. IOS工程师  1 工作内容：IOS工程师的工作内容真的挺简单的，听需求，定接口。做个适配，抛弃一下iphone4。还有啥。。马丹，以我为数不多的IOS知识来讲，真的不知道还有啥了。我知道的比较复杂的系统也是各种背景高斯模糊，各种渐变，各种图片滤镜处理，其他并没有什么。支付，地图，统计这些东西。 嗯。2 需要技能：环境【Xcode】基础【数据结构，Object，计算机网络】组件【IM，地图，支付，拍照，视频，音频，统计，分享，手势密码】

对于算法的学习，我也是从一个小白一步步走来，当然，现在仍然很菜，，，不过，鉴于我觉得还有一些人比我更菜了，我决定谈谈我算法学习过程走过的坑，以及自己总结的一些经验。 切勿盲目刷题：刷题前的知识积累 说实话，想要提高自己的算法，真的没啥捷径，我觉得最好的捷径就是脚踏实地着多动手去刷题，多刷题。 但是，我必须提醒的是，如果你是小白，也就是说，你连常见的数据结构，如链表、树以及常见的算法思想，如递归、枚举、动态规划这些都没学过，那么，我不建议你盲目疯狂着去刷题的。而是先去找本书先去学习这些必要的知识，然后再去刷题。 因为，如果这些基础都不懂的话，估计一道题做了几个小时，然后看答案都看不懂，做题没有任何思路，这是很难受的。久而久之，估计没啥动力了，我刚开始就是这样，一道题答案看一天，然而还是不大懂，什么回溯啊，暴力啊，还不知道是啥意思。 也就是说，假如你要去诸如leetcode这些网站刷题，那么，你要先具备一定的基础，这些基础包括： 1、常见数据结构：链表、树(如二叉树)。（是的，链表和二叉树是重点，图这些可以先放着） 2、常见算法思想：贪婪法、分治法、穷举法、动态规划，回溯法。（贪婪、穷举、分治是基础，动态规划有难度，可以先放着） 以上列出来的算是最基本的吧。就是说你刷题之前，要把这些过一遍再去刷题。如果你连这些最基本的都不知道的话，那么你再刷题的过程中，会很难受的，思路也会相对比较少。 总之，千万不要急，先把这些基本的过一遍，力求理解，再去刷题。 在这里，我推荐基本我大一时看过的书籍吧，感觉还是非常不错的，如果对于数据结构时零基础的话，那么我建议你可以看《数据结构与算法分析：C语言描述版》这本书，这本书自认为真的很 nice，当时我把这本书里面的全部都看了，并且 coding 了一遍，感觉整个人有了质的飞跃。 后面我时在一些学校的OJ刷题，当时看的一本书叫做《挑战程序设计大赛》，日本作家写的，我觉得这本书也很nice，里面有分初级，中级和高级三个模块，基础比较差的可以从初级开始看起。 当然，这两本书，你可以在这个Github上找到：https://github.com/iamshuaidi/CS-Book 总结下： 提高数据结构与算法没啥捷径，最好的捷径就是多刷题。但是，刷题的前提是你要先学会一些基本的数据结构与算法思想。 AC不是目的，我们要追求完美 如何刷题？如何对待一道算法题？ 我觉得，在做题的时候，一定要追求完美，千万不要把一道题做出来之后，提交通过，然后就赶紧下一道。我认为这意义不大，因为一道题的解法太多了，有些解法态粗糙了，我们应该要寻找最优的方法。 算法能力的提升和做题的数量是有一定的关系，但并不是线性关系。也就是说，在做题的时候，要力求一题多解，如果自己实在想不出来其他办法了，可以去看看别人是怎么做的，千万不要觉得模仿别人的做法是件丢人的事。 我做题的时候，我一看到一道题，可能第一想法就是用很粗糙的方式做，因为很多题采用暴力法都会很容易做，就是时间复杂度很高。之后，我就会慢慢思考，看看有没其他方法来降低时间复杂度或空间复杂度。最后，我会去看一下别人的做法，当然，并不是每道题都会这样执行。 衡量一道算法题的好坏无非就是时间复杂度和空间复杂度，所以我们要力求完美，就要把这两个降到最低，令他们相辅相成。 我举道例题吧： 问题： 一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法？ 这道题我在以前的分章分析过，不懂的可以先看下之前写的：递归与动态规划—基础篇1 方法1：：暴力递归 这道题不难，或许你会采取下面的做法： public int solve(int n){ if(n <= 2){ return n; }else{ return solve(n-1) + solve(n-2); } } 这种做法的时间复杂度很高，指数级别了。但是如果你提交之后侥幸通过了，然后你就接着下一道题了，那么你就要好好想想了。 方法二：空间换时间 力求完美，我们可以考虑用空间换时间：这道题如何你去仔细想一想，会发现有很多是重复执行了。不行你可以画个图 所以可以采取下面的方法： //用一个HashMap来保存已经计算过的状态 static Map<Integer,Integer> map = new HashMap(); public static int solve(int n){ if(n <= 2){ return n; }else{//是否计算过 if(map.containsKey(n)){ return map.get(n); }else{ int m = solve(n-1) + solve(n-2); map.put(n, m); return m; } } } 这样，可以大大缩短时间。也就是说，当一道题你做了之后，发现时间复杂度很高，那么可以考虑下，是否有更好的方法，是否可以用空间换时间。 **方法三：**斐波那契数列 实际上，我们可以把空间复杂度弄的更小，不需要HashMap来保存状态： public static int solve(int n){ if(n <= 2){ return n; } int f1 = 0; int f2 = 1; int sum = 0; for(int i = 1; i<= n; i++){ sum = f1 + f2; f1 = f2; f2 = sum; } return sum; } 我弄这道题给你们看，并不是在教你们这道题怎么做，而是有以下目的： 1、在刷题的时候，我们要力求完美。 2、我想不到这些方法啊，怎么办？那么你就可以去看别人的做法，之后，遇到类似的题，你就会更有思路，更知道往哪个方向想。 3、可以从简单暴力入手做一道题，在考虑空间与时间之间的衡量，一点点去优化。 挑战自己，跳出舒适区 什么叫舒适区？在刷题的时候，可能有一类题是你比较懂的，你每次一看就有思路，然后半个小时就撸好代码，提交代码，然后通过了，然后，哇，又多刷了一道题，心里很舒服。 但是，记住，前期你可以多刷这种题练手，提升自己的乐趣，但，我还是建议你慢慢跳出舒适区，去做一些自己不擅长的题，并且找段时间一直刷这种题。例如，我觉得我在递归方面的题还是挺强的， 但是，我对动态规划的题，很菜，每次都要想好久，每次遇到这种题都有点害怕，没什么信心。不过有段时间我觉得只刷动态规划的题，直接在 leetcode 选定专题，连续做了四五十道，刚开始很难受，后来就慢慢知道了套路了，一道题从两三个小时最后缩到半小时，简单的十几分钟就搞定。感觉自己对这类型的题也不惧怕的。 当然，对于动态规划的学习，大家也可以看我这篇广受好评的文章：为什么你学不过动态规划？告别动态规划，谈谈我的经验 所以，建议你，一定要学好跳出自己的舒适区。 一定要学会分类总结 有些人以为 leetcode 的题刷的越多，就一定能越厉害，其实不然，leetcode 虽然有 1000 多道题，但题型就那么几类，我们前期在刷的时候，我是建议按照题型分类刷题的，例如我这整理刷二叉树相关，然后刷链表相关，然后二分法，然后递归等等，每刷一种题型，都要研究他们的套路，如果你愿意去总结，那么 leetcode 的题，其实你刷几百道，有目的、挑选的刷，我觉得就差不多了。 我看过一本书，叫做《程序员代码面试指南：IT 名企算法与数据结构题目最优解》，这本书就非常不错，里面按照栈，队列，链表，二叉树，字符串等一个专题一个专题来刷的，并且每道题都给出了最优解，而且里面的题有一定的难度，感兴趣的，真心不错，如果你把这本书的题全部搞定，并且总结相关套路，那么你的算法一定有很大的提升。 推荐一些刷题网站 我一般是在leetcode和牛客网刷题，感觉挺不错，题目难度不是很大。 在牛客网那里，我主要刷剑指Offer,不过那里也有个在线刷leetcode，不过里面的题量比较少。牛客网刷题有个非常方便的地方就是有个讨论区，那里会有很多大佬分享他们的解题方法，不用我们去百度找题解。所以你做完后，实在想不出，可以很方便着去看别人是怎么做的。 至于leetcode，也是大部分题目官方都有给出答案，也是个不错的刷题网站。你们可以两个挑选一个，或者两个都刷。 当然，还有其他刷题的网站，不过，其他网站没刷过，不大清除如何。 至于leetcode，有中文版和英文版 leetcode有中文版 英文版 根据自己的兴趣选。 学习一些解题技巧 说实话，有些题在你没看别人的解法前，你好不知道有这么美妙优雅的解法，看了之后，卧槽，居然还可以这样。而我们在刷题的过程中，就要不断累积这些技巧，当你累计多了，你就会形成一种 神经反应，一下子就想到了某种方法。解题技巧很多，例如数组下标法、位图法、双指针等等，我自己也分享过一篇总结一些算法技巧的文章 再说数据结构发重要性 前面我主要是说了我平时都是怎么学习算法的。在数据结构方法，我只是列举了你们一定要学习链表和树(二叉堆)，但这是最基本的，刷题之前要掌握的，对于数据结构，我列举下一些比较重要的： 1、链表（如单向链表、双向链表）。 2、树（如二叉树、平衡树、红黑树）。 3、图（如最短路径的几种算法）。 4、队列、栈、矩阵。 对于这些，自己一定要动手实现一遍。你可以看书，也可以看视频，新手可以先看视频，不过前期可以看视频，之后我建议是一定要看书。 例如对于平衡树，可能你跟着书本的代码实现之后，过阵子你就忘记，不过这不要紧，虽然你忘记了，但是如果你之前用代码实现过，理解过，那么当你再次看到的时候，会很快就记起来，很快就知道思路,而且你的抽象能力等等会在不知不觉中提升起来。之后再学习红黑树啊，什么数据结构啊，都会学的很快。 对于有哪些值得学习的算法，我之前也总结过，这里推荐给大家程序员必须掌握的核心算法有哪些？，这篇文章居然 40多万阅读量了，有点受宠若惊。 最最重要 动手去做，动手去做，动手去做。重要的话说三遍。 千万不要找了一堆资源，订好了学习计划，我要留到某某天就来去做… 千万不要这样，而是当你激情来的时候，就马上去干，千万不要留到某个放假日啊什么鬼了，很多这种想法的人，最后会啥也没做的。 也不要觉得要学习的有好多啊，不知道从哪学习起。我上面说了，可以先学习最基本的，然后刷题，刷题是一个需要长期坚持的事情，一年，两年。在刷题的过程中，可以穿插和学习其他数据结构。 总结一下吧 所以我给大家的建议就是，先学习基本的数据结构以及算法思想，不要盲目刷题，接着刷题的过程中，不能得过且过，尽量追求最优解，还有就是要跳出舒适区，逼自己成长，刷题的过程中，要学会分类总结。 当然，最重要的，就是你去动手了，不然，一切免谈！ 看在熬夜写过的份上，送我个赞呗，嘻嘻。 1、老铁们，关注我的原创微信公众号「帅地玩编程」，专注于写算法 + 计算机基础知识（计算机网络+ 操作系统+数据库+Linux）。 2、给俺点个赞呗，可以让更多的人看到这篇文章，顺便激励下我，嘻嘻。 原文链接：https://blog.csdn.net/m0_37907797/article/details/104765116

iperf,具体要纤细直接去看文档， 简单给你列条测试：（TCP和UDP知只是两种传输数据的协议） 1）TCP测试 　　 服务器执行：./iperf -s -i 1 -w 1M '这裏是指定windows如果是 iperf -s则windwos默认大小为8kbyte/s 　　 客户端执行：./iperf -c host -i 1 -w 1M 　　其中-w表示TCP window size，host需替换成服务器地址。 　　 2）UDP测试 　　 服务器执行：./iperf -u -s 　　 客户端执行：./iperf -u -c 10.255.255.251 -b 900M -i 1 -w 1M -t 60 　　其中-b表示使用多少带宽，1G的线路你可以使用900M进行测试。 不给分不给力 连接速度是个很怪的概念。我们通常用连接带宽和网络延迟来表达网络连接的状态。 带宽可以用一端建立FTP服务器，另一端下载来测试。网络延时可以用PING命令来测试。 希望能帮到你。 行的。 家庭或小型办公室，如果有两台或更多的计算机，很自然地希望将他们组成一个网络。为方便叙述，以下约定将其称为局域网。在家庭环境下，可用这个网络来共享资源、玩那些需要多人参与的游戏、共用一个调制解调器享用Internet连接等等。办公室中，利用这样的网络，主要解决共享外设如打印机等，此外，办公室局域网也是多人协作工作的基础设施。 别看这样小的网络工程，在过去也是需要专业人员来进行组网配置的。那时，大部分操作的都是手工的，一般的用户都不具备相应的知识和经验。正好属于"高不成低不就"的情况，自然限制了它的发展。Windows XP的出现，打破了这种局面，这依赖它内建有强大的网络支持功能和方便的向导。用户完成物理连接后，运行连接向导，可以自己探测出网络硬件、安装相应的驱动程序或协议，并指导用户，完成所有的配置步骤。 本文介绍两种在Windows XP操作系统下的组网方案，并介绍Windows XP用于局域网中的各种很有特色的功能。 一. 目标： 组成家庭局域网：对外，可以连接Internet，允许局域网内的各个计算机共享连接。对内，可以共享网络资源和设备。 二. 采用什么网络形式？ 家庭网中的计算机可能有桌面机或便携机，例如掌上电脑或笔记本机等，也可能出现各种传输介质的接口，所以网络形式上，不宜都采用有线网络，无线接口是必须考虑的。但如果可以明确定位在纯粹的有线网上，也可不设无线接口。所以，这里提供两种方案： 1. 有线与无线混合。 2. 有线。 三. 网络硬件选择 网络适配器（网卡）可采用PCI、PC或PCMCIA接口的卡（后两者多用在便携式机或笔记本机上），Windows XP也支持用USB接口的网络适配器。究竟采用那种适配器，取决于接入网络中的计算机。无论那种适配器，都需要注意与现有计算机的接口以及HUB的协调一致，USB接口的适配器可能适应性更强一些，但对于较旧的计算机，又需要注意它是否支持USB接口。 网络连接线，常用的有同轴电缆和双绞线，这都是大家熟悉的东西，不多解释。究竟采用哪一种，就看你怎么想了。 四. 可采用的网络结构和介质 以太结构：这种结构在办公室或商业用户中最为流行，熟悉的人也很多，技术资料和维护人员也容易找到，所以不多赘述。 电话线连接：这种形式主要的特色是成本很低，物理连接也很简单，适用于大部分的家庭用户。 无线电波：利用电磁波信号来传输信号，可以不用任何连线来进行通讯，并可以在移动中使用。但需要在每台计算机上加装无线适配器，成本高是肯定了。在我国，无线形式用在计算机网络通讯的还较少。在美国，用于无线网络的是一个称为IEEE 802.11b的标准协议，用于计算机近距离网络通讯。在该协议支持下，可达到的网速是11 Mbps。 五. 方案之一 这是一个有线、无线混合方案，具体结构可以参看图1。这个例子中，用4台计算机组成了一个混合网络，PC1是主机，它与外部连接有3个通路： 1. 与Internet接连的调制解调器：用于整个网络的各个计算机共享上网之用。 2. 无线适配器：用于和本网络内的无线设备之间的通讯。 3. HUB：用于"带动"本网络内的下游计算机。 该方案中的PC1、PC2机，必须用Windows XP操作系统，有线部分采用的是以太网结构连接。图中的HPNA是home phoneline network adaptor的缩写，表示家庭电话线网络适配器。图中的PC3和移动计算机，并不要求非使用Windows XP操作系统不可，别的windows版本也行。移动计算机和主机之间的网络连接利用的是无线形式。 如果希望建立混合网络，这种方案已经具备典型的功能，并且不需要花费很大就可以扩充网络规模。 关于连通操作： 图1显示的结构只能表示物理连接关系，物理连接完成后，还需要进行连通操作，网络才可真正投入使用。连通操作包括局域网内部各个计算机之间的连通，和局域网与Internet之间的连通。前者连通建立的步骤如下： 1. 鼠标点击 开始，进入控制面板，点击"Network and Internet Connections网络和Internet连接",选择网络连接（ Network Connections），进行下一步。 2. 选择进行"两个或多个LAN的连接" 3. 右键点击一个连接. 4. 确定完成连接任务. 局域网之内的连通操作就完成了。 再说局域网与Internet之间的连通，这种情况主要考虑速度与成本两方面的兼顾。多机上网，最省事的办法是每个机器占据一条独立的电话线，但这不是一般用户能承受起的，资源的浪费也太大。另一个办法，可以使用住宅网关，但这样成本需要增加，不是最佳途径。比较好的方法是使用一个计算机作为主机服务器。这不仅技术上可行，还有很多别的优点，如： ①：由于Windows XP有内建的防火墙，主机介于Internet和终端机之间，可以利用主机的防火墙保护局域网中的分机免受来自Internet的攻击。 ②：主机是"隐匿在" Internet和局域网之间的，充当了网关的脚色，在分机上，用户感觉好像自己是直接连在Interne上一样，察觉不到中间还有主机存在。特别是可以使局域网中的每台计算机同时上网。大大减少了设备投资。 ③：除主机必须使用Windows XP操作系统之外，局域网内的计算机可使用早期的windows版本。 ④：如果局域网中需要使用不同的媒体（例如有线和无线混合），可以利用Windows XP作为过渡的网桥。 ⑤：虽然有网络资源和设备的共享功能，但也可以限制别人对私有文件和数据的访问，特别是将文件存放在主机上的时候，更具有这种优势可用。 ⑥：利用"万能即插即用"功能，可以随时扩充局域网的规模。 六. 方案之二 下面是这种方案的结构示意图。该方案适用于小型办公室。与上一个方案比较，主要是去掉了无线部分，主机与分机之间不采用电话线连接，而是采用了电缆或双绞线连接。所有分机都通过一个HUB与主机连接到Internet上，并可以支持打印机共享。这其实就是最常见的那种局域网的结构。 该方案完成物理连接之后，还需要进行下列操作： 1. 打开网络连接文件夹或找到网络连接的图标. 2. 右键点击"connection to the Internet you want to share（共享Internet连接）"然后再右键点击"Properties（属性）" 3. 选择"Advanced（高级）"任务条。 4. 选择"Allow other networkusers to connect through this computer′s Internet connection（允许另外用户通过这个计算机连接到Internet）"检查框，并选定。 5. 点击 OK.结束操作。 启用Windows XP的防火墙，必须进行设置，不设置是不起作用的。设置过程： 1.打开网络连接文件夹或找到网络连接的图标. 2.右键点击"connection to the Internet you want to share（共享Internet连接）"然后再右键点击"Properties（属性）" 3.选择"Advanced（高级）"任务条。 4. 选择"Protect my computer and network by limitingor preventing access to this computer from the Internet（利用这个计算机限制从Internet进入的访问并保护我的计算机和网络" ，在其下面有一个Internet连接防火墙的检查框，鼠标点击选定。 5. 点击 OK.结束操作。 七. 几点说明 A．主机必须采用Windows XP操作系统，局域网内的计算机可以使用早一些的windows版本，如：windows98、windows ME、windows2000等等。 B．这里提供的是典型的情况，想扩充网络规模基本上可以照此叠加。 C．本文是依据英文测试版本进行的试验，不能保证将来的正式版本。特别是中文正式版本的性能与此完全一致。 参考资料： 创建局域网及配置管理 一.概念： （一）.局域网的概念： 局域网做为网络的组成部分，发挥了不可忽视的作用。我们可以用Windows 9X把众多的计算机联系在一起，组成一个局域网，在这个局域网中，我们可以在它们之间共享程序、文档等各种资源，而不必再来回传递软盘；还可以通过网络使多台计算机共享同一硬件，如打印机、调制解调器等；同时我们也可以通过网络使用计算机发送和接收传真，方便快捷而且经济。 局域网是一个范围可大可小、简单的只有2台运行着Windows95的计算机连网（以工作组方式工作），也可以是幅员辽阔的高速ATM网和以太网混合使用、运行多种平台的大型企业。 （二）.网络的类型： 1、按网络的地理位置分类 a.局域网（LAN）：一般限定在较小的区域内，小于10km的范围，通常采用有线的方式连接起来 b.城域网（MAN）：规模局限在一座城市的范围内，10～100km的区域。 c.广域网（WAN）：网络跨越国界、洲界，甚至全球范围。 目前局域网和广域网是网络的热点。局域网是组成其他两种类型网络的基础，城域网一般都加入了广域网。广域网的典型代表是Internet网。 （二）.硬件指南：网络硬件设备 组成小型局域网的主要硬件设备有网卡、集线器等网络传输介质和中继器、网桥、路由器、网关等网络互连设备。以下主要介绍网卡、集线器等网络传输介质和中继器、网桥、路由器、网关等局域网互连设备。 1.网卡 网卡(Network Interface Card，NIC)也叫网络适配器，是连接计算机与网络的硬件设备。网卡插在计算机或服务器扩展槽中，通过网络线（如双绞线、同轴电缆或光纤）与网络交换数据、共享资源。 Realtek 10/100M，这是我们实例中所使用的网卡 二.组网： 返回顶部 （一）.硬件配置：服务器：普通PC机，主板：intel 815,硬盘：迈拓40G，CPU:PIII933，内存：512M ，显示器：ACER。 其他：双绞线一箱（300m）,16口HUB一个，RJ45头32个，网卡：Realtek 10/100M 16块。。 由于服务器需要安装两块网卡来用SyGate维护管理，两个网卡的设置请参阅如下的动画。 三.网络维护： 返回顶部 SyGate 4.0是一种支持多用户访问因特网的软件，并且是只通过一台计算机，共享因特网帐号，达到上网的目的。使用SyGate 4.0，若干个用户能同时通过一个小型网络（包括您的笔记本电脑），迅速、快捷、经济地访问因特网。SyGate 4.0能在目前诸多流行的操作系统上运行，譬如：Windows95、Windows98、Windows NT, Windows2000等操作系统；同时，SyGate 4.0还支持多数的因特网连接方式，这包括：调制解调器（模拟线路）拨入、ISDN（综合业务数字网）、线缆调制解调器（Cable Modem）、ADSL以及DirectPC等方式。 SyGate 4.0具有以下优势： 易于安装 SyGate在数分钟之内便可以安装完成，并且通常不需要其他外加的设置。和其他代理服务器软件（proxy server）不同的是，SyGate仅安装Server便可以了。 易于使用 SyGate拥有直观的图形化界面，懂得操作Windows的人员均会操作。SyGate启动后便在后台运行，不需要人工的干预。当SyGate检测到局域网内有上网 要求时，它能自动地连接到因特网上，免去了每次需要手工拨号的烦恼。用户可以不间断地、透明地浏览因特网、收发电子邮件、聊天、使用FTP以及操作其他的小程序等等。局域网内非Windows用户，如Macintosh、Solaris和Linux，均能通过TCP/IP协议上网。 四.Windows 对等网创建与维护 返回顶部 （一）.建网软件要求 在一个局域网中，Windows 95、98、NT和2000等操作系统可以并存。当然，即使你的电脑是在DOS下面跑的，也可以实现联网。由于Windows操作系统才是广泛应用的系统，本文不准备讨论DOS联网。 建网硬件要求 要组建电脑网络，无疑需要能将电脑连在一起的硬件设备。最简单的办法是，使用特制的电缆，将两台电脑的并口或者串口联接起来，通过Windows的“直接电缆连接”实现联网。这种联接电缆可以自制，也可以到电脑城购买。其缺点是，只能联接两台电脑，联网距离较短、方式古板，实际应用很不方便，通常要求将一台电脑用作服务器，另外一台用作客户端来实现联网。 但更为普遍采用的是网卡加网线的联网方式。从插槽上分，网卡有ISA和PCI两种；从速度上分，网卡又有10MB和100MB甚至传输速度更高的网卡。要求不高的话，一块PCI 10MB网卡就够用了。 五.疑难解答 返回顶部 （一）.网卡安装故障检查方法 如果无法安装网卡驱动程序或安装网卡后无法登录网络，请按下述步骤检查处理: 1.选择“控制面板”/“系统”图标，打开“系统属性”窗口； 2.在“系统属性”窗口的“设备管理”标签的“按类型查看设备列表”中，双击“网络适配器”条目前的“ ”号将其展开，其下应当列出当前网卡； 3.如果“设备管理”标签中没有“网络适配器”条目或当前网卡前有一“X”号，说明系统没能识别网卡，可能产生的原因有网卡驱动程序安装不当、网卡硬件安装不当、网卡硬件故障等等； 参考 LAN(局域网)一词指位于同一区域甚至同一建筑物内的中小型计算机网络，字典上的解释是：将计算机和字处理机等电子办公设备连接在一起构成的办公室或建筑物内的网络系统。相信大多数人都在学校里、当地图书馆或朋友家里。接触过局域网。 随着宽带互联网日益流行，许多人家里都有几台计算机，家庭局域网正在形成规范。通过局域网共享宽带互联网访问可降低成本，不需要每台计算机都连接调制解调器和单独的IP地址。但如何构建一个家庭局域网共享宽带互联网访问呢？ 网络带宽表示 网络带宽以兆位秒Mbps测量，通常不用兆字节秒MBps表示。一个字节有八个二进制位组成，多数人都熟悉MBps。当前局域网多为10base-T(10Mbps或1.25MBps)和100base-TX(100Mbps或12.5MBps)的以太网，使用类似标准电话线的RJ-45接口，通过网络电缆把集线器(或路由器、交换器)和计算机连接起来就构成了以太网。 网络布线 开始组建家庭局域网之前，应多少了解一些可用网络电缆的区别。这取决你家中PC机需要安排的位置，因为可能需要在墙上打眼，以穿过五类网络电缆。对家里地方不宽敞的人，这可能是令人畏缩的任务，甚至不太可能。如果你想避免穿墙打眼的麻烦，无线局域网也很方便，但应注意，无线局域网通常速度不够快，花费也高的多。另一种选择可考虑10Mbps电话线套件，利用你现成的电话线在计算机之间传送数据，可购买D-Link，Linksys，3Com和Netgear等公司的产品。不想采用无线局域网的人，可选择五类双绞线网络电缆。如果对电缆不熟悉，下面列出了电子工业协会EIA关于电缆分类的解释。根据电缆的速度和质量，可将电缆分为六类： 一、二类电缆：数据传输速度低于10Mbps(普通电话线) 三类电缆：数据传输速度达16 Mbps 四类电缆：数据传输速度达20 Mbps 五类电缆：数据传输速度达100 Mbps 五类电缆增强：数据传输速度达200 Mbps 六类电缆：数据传输速度达600 Mbps 五类电缆十分普通，连接以太网费用也较低。如果你计划穿墙打眼或使用超过50英尺五类电缆，应购买细电缆，自己动手将RJ-45插头接在电缆两端。注意，别忘了电缆穿过墙之后再接RI-45插头。 连接RJ-45插头 五类电缆连接RJ-45插头并不困难，但需要专用连接工具，可从当地五金商店买一把或从朋友处借用。操作时小心剪掉约1/4英寸电缆外塑料皮，露出电缆里面8根彩色线，注意放入RJ-45连接器里面电缆线的次序： 1、白绿 2、绿 3、白橙 4、兰 5、白兰 6、橙 7、白橙 8、棕 应仔细展开8条彩色编码线，放入RJ-45插孔中，用专用工具压紧。有条件时可用RJ-45测试器验证一下是否连接可靠，以免将来麻烦。 需要的硬件 首先确保每台计算机里都安装了网卡，100base-TX或10base-T网卡，型号、尺寸任意。注意，一般选PCI网卡，各网卡速率应一致。100base-TX网卡数据传输率较高，适合于大量数据传输，如数字电影或其它大的多媒体文件。 组建局域网需要使用集线器，交换器或内置集线器的路由器，集线器只不过用于将你所有的计算机连到局域网上。如果你只有2台计算机并且不打算增加数量，可以用一段电缆直接将2台计算机连起来，缺点是你试图共享宽带互联网访问仍然有麻烦。如果你想多台计算机访问宽带互联网，使用路由器是个好主意，可以选购Netgaer，D-Link和Linksys等著名网络公司的产品。 典型的以太网使用集线器或交换器，两种设备都有单独的连接器，用于将每台计算机连接到局域网上。集线器与交换器的主要差别在于吞吐量，集线器在所有在用的端口间分配吞吐量，因此4端口100base-TX集线器每个在用的端口只有25Mbps吞吐量。交换器更贵些，但允许每个端口全速运行。 假如你准备设置一个只有单个宽带互联网连接的局域网，应确保你的DSL或有线电缆供应商给你提供的是外置调制解调器。多数外置调制解调器通过网卡连接到你的计算机，你可把具有调制解调器的那台计算机设置为路由器，虽然这并不推荐。作为一个例子，你将电话插头接入宽带调制解调器，然后经RJ-45(双绞线)电缆连至集线器/交换器/路由器，从此，你的任一台计算机都可连接到互联网上。 设置Windows网络 确保你准备在局域网上使用的每台计算机，都有足够的五类电缆已连到了集线器或路由器。现在你可能已安装了适当的网卡以及相应的驱动程序，右击“网络邻居”，选择“属性”，可以看到当前已经安装的协议和网卡。要设置网络，应确保所用的网卡已安装了TCP/IP协议。如果你使用的微软操作系统是Windows98或更高版本，网络设置相当简单，Windows网络作为操作系统的基本选项之一应该已经安装了。如果你至少在一台计算机上使用的是Windows Me，你可运行家庭网络向导，将一步步引导你完成设置。记住，你需要使用相同的组名设置你网络中的每台计算机。在Windows95/98中，需要进入网络属性，并确保所有设置为缺省。你的互联网服务供应商ISP可能已经告诉你，如何设置TCP/IP，怎样连接到互联网。你可能是静态IP地址，或是动态IP地址，取决于你的ISP。静态IP地址设置需要的时间稍长一点，如果你想给互联网用户提供服务，如FTP，Web服务器或任何其它服务，静态IP地址是不错的。如果你分配的是IP地址，你的TCP/IP协议属性获得的应是自动选择的IP地址。要检查你的计算机是否已被集线器/路由器分配了一个IP地址，可使用Windows TP配置(进入开始 传输大点的东西，用iostat 1 查看io 来源于网络，供您参考

回 2楼(zc_0101) 的帖子 您好，       您的问题非常好，SQL SERVER提供了很多关于I/O压力的性能计数器，请选择性能计算器PhysicalDisk（LogicalDisk），根据我们的经验，如下指标的阈值可以帮助你判断IO是否存在压力： 1.  % Disk Time ：这个是磁盘时间百分比，这个平均值应该在85%以下 2.  Current Disk Queue Length：未完成磁盘请求数量，这个每个磁盘平均值应该小于2. 3.  Avg. Disk Queue Length：磁盘请求队列的平均长度，这个每个磁盘平均值也应该小于2 4.  Disk Transfers/sec：每次磁盘传输数量，这个每个磁盘的最大值应该小于100 5.  Disk Bytes/sec：每次磁盘传入字节数，这个在普通的磁盘上应该在10M左右 6.  Avg. Disk Sec/Read：从磁盘读取的平均时间，这个平均值应该小于10ms(毫秒) 7.  Avg. Disk Sec/Write：磁盘写入的平均时间，这个平均值也应该小于10ms(毫秒) 以上，请根据自己的磁盘系统判断，比如传统的机械臂磁盘和SSD有所不同。 一般磁盘的优化方向是： 1. 硬件优化：比如使用更合理的RAID阵列，使用更快的磁盘驱动器，添加更多的内存 2. 数据库设置优化：比如创建多个文件和文件组，表的INDEX和数据放到不同的DISK上，将数据库的日志放到单独的物理驱动器，使用分区表 3. 数据库应用优化：包括应用程序的设计，SQL语句的调整，表的设计的合理性，INDEX创建的合理性，涉及的范围很广 希望对您有所帮助，谢谢！ ------------------------- 回 3楼(鹰舞) 的帖子 您好，      根据您的描述，由于查询产生了副本REDO LOG延迟，出现了架构锁。我们知道SQL SERVER 2012 AlwaysOn在某些数据库行为上有较多变化。我们先看看架构锁： 架构锁分成两类： 1. SCH-M：架构更改锁，主要发生在数据库SCHEMA的修改上，从你的描述看，没有更改SCHEMA，那么可以排除这个因素 2. SCH-S：架构稳定锁，主要发生在数据库的查询编译等活动 根据你的情况，应该属于SCH-S导致的。查询编译活动主要发生有新增加了INDEX, 更新了统计信息，未参数化的SQL语句等等 对于INDEX和SQL语句方面应，我想应该不会有太多问题。 我们重点关注一下统计信息：SQL SERVER 2012 AG副本的统计信息维护有两种： 1. 主体下发到副本 2. 临时统计信息存储在TEMPDB 对于主体下发的，我们可以设置统计信息的更新行为，自动更新时，可以设置为异步的（自动更新统计信息必须首先打开）： USE [master] GO ALTER DATABASE [Test_01]     SET AUTO_UPDATE_STATISTICS_ASYNC ON WITH NO_WAIT GO 这样的话查询优化器不等待统计信息更新完成即编译查询。可以优化一下你的BLOCK。 对于临时统计信息存储在TEMPDB里面也是很重要的，再加上ALWAYSON的副本数据库默认是快照隔离，优化TEMPDB也是必要的，关于优化TEPDB这个我想大部分都知道，这里只是提醒一下。 除了从统计信息本身来解决，在查询过程中，可以降低查询的时间，以尽量减少LOCK的时间和范围，这需要优化你的SQL语句或者应用程序。 以上，希望对您有所帮助。谢谢！ ------------------------- 回 4楼(leamonjxl) 的帖子 这是一个关于死锁的问题，为了能够提供帮助一些。请根据下列建议进行： 1.    跟踪死锁 2.    分析死锁链和原因 3.    一些解决办法 关于跟踪死锁，我们首先需要打开1222标记，例如DBCC TRACEON(1222,-1), 他将收集的信息写入到死锁事件发生的服务器上的日志文件中。同时建议打开Profiler的跟踪信息： 如果发生了死锁，需要分析死锁发生的根源在哪里？我们不是很清楚你的具体发生死锁的形态是怎么样的。 关于死锁的实例也多，这里不再举例。 这里只是提出一些可以解决的思路： 1.    减少锁的争用 2.    减少资源的访问数 3.    按照相同的时间顺序访问资源 减少锁的争用，可以从几个方面入手 1.    使用锁提示，比如为查询语句添加WITH (NOLOCK), 但这还取决于你的应用是否允许，大部分分布式的系统都是可以加WITH (NOLOCK), 金融行业可能需要慎重。 2.    调整隔离级别，使用MVCC，我们的数据库默认级别是READ COMMITED. 建议修改为读提交快照隔离级别，这样的话可以尽量读写不阻塞，只不过MVCC的ROW VERSION保存到TEMPDB下面，需要维护好TEMPDB。当然如果你的整个数据库隔离级别可以设置为READUNCOMMINTED，这些就不必了。 减少资源的访问数，可以从如下几个方面入手： 1.    使用聚集索引，非聚集INDEX的叶子页面与堆或者聚集INDEX的数据页面分离。因此，如果对非聚集INDEX 操作的话，会产生两个锁，一个是基本表，一个是非聚集INDEX。而聚集INDEX就不一样，聚集INDEX的叶子页面和表的数据页面相同，他只需要一个LOCK。 2.    查询语句尽量使用覆盖INDEX, 使用全覆盖INDEX，就不需要访问基本表。如果没有全覆盖，还会通过RID或者CLUSTER INDEX访问基本表，这样产生的LOCK可能会与其他SESSION争用。 按照相同的时间顺序访问资源： 确保每个事务按照相同的物理顺序访问资源。两个事务按照相同的物理顺序访问，第一个事务会获得资源上的锁而不会被第二个事务阻塞。第二个事务想获得第一个事务上的LOCK，但被第一个事务阻塞。这样的话就不会导致循环阻塞的情况。 ------------------------- 回 4楼(leamonjxl) 的帖子 两种方式看你的业务怎么应用。这里不仅是分表的问题，还可能存在分库，分服务器的问题。取决与你的架构方案。 物理分表+视图，这是一种典型的冷热数据分离的方案，大致的做法如下： 1.    保留最近3个月的数据为当前表，也即就是我们说的热数据 2.    将其他数据按照某种规则分表，比如按照年或者季度或者月，这部分是相对冷的数据 分表后，涉及到几个问题： 第一问题是，转移数据的过程，一般是晚上业务比较闲来转移，转移按照一定的规则来做，始终保持3个月，这个定时任务本身也很消耗时间 再者，关于查询部分，我想你们的数据库服务器应该通过REPLICATION做了读写分离的吧，主库我觉得压力不会太大，主要是插入或者更新，只读需要做视图来包含全部的数据，但通过UNION ALL所有分表的数据，最后可能还是非常大，在某些情况下，性能不一定好。这个是不是业务上可以解决。比如，对于1年前的历史数据，放在单独的只读上，相对热的数据放在一起，这样压力也会减少。 分区表的话，因为涉及到10亿数据，要有好的分区方案，相对比较简单一点。但对于10亿的大表，始终是个棘手的问题，无论分多少个分区，单个服务器的资源也是有限的。可扩展性方面也存在问题，比如在只读上你没有办法做服务器级别的拆分了。这可能也会造成瓶颈。 现在很多企业都在做分库分表，这些的要解决一些高并发，数据量大的问题。不知是否考虑过类似于中间件的方案，比如阿里巴巴的TDDL类似的方案，如果你有兴趣，可以查询相关资料。 ------------------------- 回 9楼(jiangnii) 的帖子 阿里云数据库不仅提供一个数据库，还提供数据库一种服务。阿里云数据库不仅简化了基础架构的部署，还提供了数据库高可用性架构，备份服务，性能诊断服务，监控服务，专家服务等等，保证用户放心、方便、省心地使用数据库，就像水电一样。以前的运维繁琐的事，全部由阿里云接管，用户只需要关注数据库的使用和具体的业务就好。 关于优化和在云数据库上处理大数据量或复杂的数据操作方面，在云数据库上是一样的，没有什么特别的地方，不过我们的云数据库是使用SSD磁盘，这个比普通的磁盘要快很多，IO上有很大的优势。目前单个实例支持1T的数据量大小。陆续我们会推出更多的服务，比如索引诊断，连接诊断，容量分析，空间诊断等等，这些工作可能是专业的DBA才能完成的，以后我们会提供自动化的服务来为客户创造价值，希望能帮助到客户。 谢谢！ ------------------------- 回 12楼(daniellin17) 的帖子 这个问题我不知道是否是两个问题，一个是并行度，另一个是并发，我更多理解是吞吐量，单就并行度而言。 提高并行度需要考虑的因素有： 1.    可用于SQL SERVER的CPU数量 2.    SQL SERVER的版本（32位/64位） 3.    可用内存 4.    执行的查询类型 5.    给定的流中处理的行数 6.    活动的并发连接数量 7.    sys.configurations参数：affinity mask/max server memory (MB)/ max degree of parallelism/ cost threshold for parallelism 以DOP的参数控制并行度为例，设置如下： SELECT * FROM sys.configurations WITH (NOLOCK) WHERE name = 'max degree of parallelism' EXEC sp_configure 'max degree of parallelism',2 RECONFIGURE WITH OVERRIDE 经过测试，DOP设置为2是一个比较适中的状态，特别是OLTP应用。如果设置高了，会产生较多的SUSPEND进程。我们可以观察到资源等待资源类型是：CXPACKET 你可以用下列语句去测试： DBCC SQLPERF('sys.dm_os_wait_stats',CLEAR) SELECT * FROM sys.dm_os_wait_stats WITH (NOLOCK) ORDER BY 2 DESC ,3 DESC 如果是吞吐量的话。优化的范围就很广了。优化是系统性的。硬件配置我们选择的话，大多根据业务量来预估，然后考虑以下： 1.    RAID的划分，RAID1适合存放事务日志文件(顺序写)，RAID10/RAID5适合做数据盘,RAID10是条带化并镜像，RAID5条带化并奇偶校验 2.    数据库设置，比如并行度，连接数，BUFFER POOL 3.    数据库文件和日志文件的存放规则，数据库文件的多文件设置规则 4.    TEMPDB的优化原则，这个很重要的 5.    表的设计方面根据业务类型而定 6.    CLUSTERED INDEX和NONCLUSTERED INDEX的设计 7.    阻塞分析 8.    锁和死锁分析 9.    执行计划缓冲分析 10.    存储过程重编译 11.    碎片分析 12.    查询性能分析,这个有很多可以优化的方式，比如OR/UNION/类型转换/列上使用函数等等 我这里列举一个高并发的场景： 比如，我们的订单，比如搞活动的时候，订单刷刷刷地增长，单个实例可能每秒达到很高很高，我们分析到最后最常见的问题是HOT PAGE问题，其等待类型是PAGE LATCH竞争。这个过程可以这么来处理，简单列几点，可以参考很多涉及高并发的案例： 1.    数据库文件和日志文件分开，存放在不同的物理驱动器磁盘上 2.    数据库文件需要与CPU个数形成一定的比例 3.    表设计可以使用HASH来作为表分区 4.    表可以设置无序的KEY/INDEX，比如使用GUID/HASH VALUE来定义PRIMARY KEY CLUSTER INDEX 5.    我们不能将自增列设计为聚集INDEX 这个场景只是针对高并发的插入。对于查询而言，是不适合的。但这些也可能导致大量的页拆分。只是在不同的场景有不同的设计思路。这里抛砖引玉。 ------------------------- 回 13楼(zuijh) 的帖子 ECS上现在有两种磁盘，一种是传统的机械臂磁盘，另一种是SSD，请先诊断你的IO是否出现了问题，本帖中有提到如何判断磁盘出现问题的相关话题，请参考。如果确定IO出现问题，可以尝试使用ECS LOCAL SSD。当然，我们欢迎你使用云数据库的产品，云数据库提供了很多有用的功能，比如高可用性，灵活的备份方案，灵活的弹性方案，实用的监控报警等等。 ------------------------- 回 17楼(豪杰本疯子) 的帖子 我们单个主机或者单个实例的资源总是有限的，因为涉及到很大的数据量，对于存储而言是个瓶颈，我曾使用过SAN和SAS存储，SAN存储的优势确实可以解决数据的灵活扩展，但是SAN也分IPSAN和FIBER SAN，如果IPSAN的话，性能会差一些。即使是FIBER SAN，也不是很好解决性能问题，这不是它的优势，同时，我们所有DB SERVER都连接到SAN上，如果SAN有问题，问题涉及的面就很广。但是SAS毕竟空间也是有限的。最终也会到瓶颈。数据量大，是造成性能问题的直接原因，因为我们不管怎么优化，一旦数据量太大，优化的能力总是有限的，所以这个时候更多从架构上考虑。单个主机单个实例肯定是抗不过来的。 所以现在很多企业在向分布式系统发展，对于数据库而言，其实有很多形式。我们最常见的是读写分离，比如SQL SERVER而言，我们可以通过复制来完成读写分离，SQL SERVER 2012及以后的版本，我们可以使用ALWAYSON来实现读写分离，但这只能解决性能问题，那空间问题怎么解决。我们就涉及到分库分表，这个分库分表跟应用结合得紧密，现在很多公司通过中间件来实现，比如TDDL。但是中间件不是每个公司都可以玩得转的。因此可以将业务垂直拆分，那么DB也可以由此拆分开来。举个简单例子，我们一个典型的电子商务系统，有订单，有促销，有仓库，有配送，有财务，有秒杀，有商品等等，很多公司在初期，都是将这些放在一个主机一个实例上。但是这些到了一定规模或者一定数据量后，就会出现性能和硬件资源问题，这时我们可以将它们独立一部分获完全独立出来。这些都是一些好的方向。希望对你有所帮助。 ------------------------- 回 21楼(dt) 的帖子 问： 求大数据量下mysql存储，优化方案 分区好还是分表好，分的过程中需要考虑事项 mysql高并发读写的一些解决办法 答： 分区：对于应用来说比较简单,改造较少 分表: 应用需较多改造，优点是数据量太大的情况下，分表可以拆分到多个实例上，而分区不可以。 高并发优化,有两个建议: 1.    优化事务逻辑 2.    解决mysql高并发热点,这个可以看看阿里的一个热点补丁: http://www.open-open.com/doc/view/d58cadb4fb68429587634a77f93aa13f ------------------------- 回 23楼(aelven) 的帖子 对于第一个问题.需要看看你的数据库架构是什么样的?比如你的架构具有高可用行?具有读写分离的架构?具有群集的架构.数据库应用是否有较冷门的功能。高并发应该不是什么问题。可扩展性方面需要考虑。阿里云数据库提供了很多优势，比如磁盘是性能超好的SSD，自动转移的高可用性，没有任何单点，自动灵活的备份方案，实用的监控报警，性能监控服务等等，省去DBA很多基础性工作。 你第二个问题，看起来是一个高并发的场景，这种高并发的场景容易出现大量的LOCK甚至死锁，我不是很清楚你的业务，但可以建议一下，首先可以考虑快照隔离级别，实现行多版本控制，让读写不要阻塞。至于写写过程，需要加锁的粒度降低最低，同时这种高并发也容易出现死锁，关于死锁的分析，本帖有提到，请关注。 第三个问题，你用ECS搭建自己的应用也是可以的，RDS数据库提供了很多功能，上面已经讲到了。安全问题一直是我们最看重的问题，肯定有超好的防护的。 ------------------------- 回 26楼(板砖大叔) 的帖子 我曾经整理的关于索引的设计与规范，可以供你参考： ----------------------------------------------------------------------- 索引设计与规范 1.1    使用索引 SQL SERVER没有索引也可以检索数据，只不过检索数据时扫描这个表而异。存储数据的目的，绝大多数都是为了再次使用，而一般数据检索都是带条件的检索，数据查询在数据库操作中会占用较大的比例，提高查询的效率往往意味着整个数据库性能的提升。索引是特定列的有序集合。索引使用B-树结构，最小优化了定位所需要的键值的访问页面量，包含聚集索引和非聚集索引两大类。聚集索引与数据存放在一起，它决定表中数据存储的物理顺序，其叶子节点为数据行。 1.2    聚集索引 1.2.1    关于聚集索引 没聚集索引的表叫堆。堆是一种没有加工的数据，以行标示符作为指向数据存储位置的指针，数据没有顺序。聚集索引的叶子页面和表的数据页面相同，因此表行物理上按照聚集索引列排序，表数据的物理顺序只有一种，所以一个表只有一个聚集索引。 1.2.2    与非聚集索引关系 非聚集索引的一个索引行包含指向表对应行的指针，这个指针称为行定位器，行定位器的值取决于数据页保存为堆还是被聚集。若是堆，行定位器指向的堆中数据行的行号指针，若是聚集索引表，行定位器是聚集索引键值。 1.2.3    设计聚集索引注意事项     首先创建聚集索引     聚集索引上的列需要足够短     一步重建索引，不要使用先DROP再CREATE，可使用DROP_EXISTING     检索一定范围和预先排序数据时使用，因为聚集索引的叶子与数据页面相同，索引顺序也是数据物理顺序，读取数据时，磁头是按照顺序读取，而不是随机定位读取数据。     在频繁更新的列上不要设计聚集索引，他将导致所有的非聚集所有的更新，阻塞非聚集索引的查询     不要使用太长的关键字，因为非聚集索引实际包含了聚集索引值     不要在太多并发度高的顺序插入，这将导致页面分割，设置合理的填充因子是个不错的选择 1.3    非聚集索引 1.3.1    关于非聚集索引 非聚集索引不影响表页面中数据的顺序，其叶子页面和表的数据页面时分离的，需要一个行定位器来导航数据，在将聚集索引时已经有说明，非聚集索引在读取少量数据行时特别有效。非聚集索引所有可以有多个。同时非聚集有很多其他衍生出来的索引类型，比如覆盖索引，过滤索引等。 1.3.2    设计非聚集索引     频繁更新的列，不适合做聚集索引，但可以做非聚集索引     宽关键字，例如很宽的一列或者一组列，不适合做聚集索引的列可作非聚集索引列     检索大量的行不宜做非聚集索引，但是可以使用覆盖索引来消除这种影响 1.3.3    优化书签查找 书签会访问索引之外的数据，在堆表，书签查找会根据RID号去访问数据，若是聚集索引表，一般根据聚集索引去查找。在查询数据时，要分两个部分来完成，增加了读取数据的开销，增加了CPU的压力。在大表中，索引页面和数据页面一般不会临近，若数据只存在磁盘，产生直接随机从磁盘读取，这导致更多的消耗。因此，根据实际需要优化书签查找。解决书签查找有如下方法：     使用聚集索引避免书签查找     使用覆盖索引避免书签查找     使用索引连接避免数据查找 1.4    聚集与非聚集之比较 1.4.1    检索的数据行 一般地，检索数据量大的一般使用聚集索引，因为聚集索引的叶子页面与数据页面在相同。相反，检索少量的数据可能非聚集索引更有利，但注意书签查找消耗资源的力度，不过可考虑覆盖索引解决这个问题。 1.4.2    数据是否排序 如果数据需要预先排序，需要使用聚集索引，若不需要预先排序就那就选择聚集索引。 1.4.3    索引键的宽度 索引键如果太宽，不仅会影响数据查询性能，还影响非聚集索引，因此，若索引键比较小，可以作为聚集索引，如果索引键够大，考虑非聚集索引，如果很大的话，可以用INCLUDE创建覆盖索引。 1.4.4    列更新的频度 列更新频率高的话，应该避免考虑所用非聚集索引，否则可考虑聚集索引。 1.4.5    书签查找开销 如果书签查找开销较大，应该考虑聚集索引，否则可使用非聚集索引，更佳是使用覆盖索引，不过得根据具体的查询语句而看。 1.5    覆盖索引 覆盖索引可显著减少查询的逻辑读次数，使用INCLUDE语句添加列的方式更容易实现，他不仅减小索引中索引列的数据，还可以减少索引键的大小，原因是包含列只保存在索引的叶子级别上，而不是索引的叶子页面。覆盖索引充当一个伪的聚集索引。覆盖索引还能够有效的减少阻塞和死锁的发生，与聚集索引类似，因为聚集索引值发生一次锁，非覆盖索引可能发生两次，一次锁数据，一次锁索引，以确保数据的一致性。覆盖索引相当于数据的一个拷贝，与数据页面隔离，因此也只发生一次锁。 1.6    索引交叉 如果一个表有多个索引，那么可以拥有多个索引来执行一个查询，根据每个索引检索小的结果集，然后就将子结果集做一个交叉，得到满足条件的那些数据行。这种技术可以解决覆盖索引中没有包含的数据。 1.7    索引连接 几乎是跟索引交叉类似，是一个衍生品种。他将覆盖索引应用到交叉索引。如果没有单个覆盖索引查询的索引而多个索引一起覆盖查询，SQL SERVER可以使用索引连接来完全满足查询而不需要查询基础表。 1.8    过滤索引 用来在可能没有好的选择性的一个或者多个列上创建一个高选择性的关键字组。例如在处理NULL问题比较有效，创建索引时，可以像写T-SQL语句一样加个WHERE条件，以排除某部分数据而检索。 1.9    索引视图 索引视图在OLAP系统上可能有胜算，在OLTP会产生过大的开销和不可操作性，比如索引视图要求引用当前数据库的表。索引视图需要绑定基础表的架构，索引视图要求企业版，这些限制导致不可操作性。 1.10    索引设计建议 1.10.1    检查WHERE字句和连接条件列 检查WHERE条件列的可选择性和数据密度，根据条件创建索引。一般地，连接条件上应当考虑创建索引，这个涉及到连接技术，暂时不说明。 1.10.2    使用窄的索引 窄的索引有可减少IO开销，读取更少量的数据页。并且缓存更少的索引页面，减少内存中索引页面的逻辑读取大小。当然，磁盘空间也会相应地减少。 1.10.3    检查列的唯一性 数据分布比较集中的列，种类比较少的列上创建索引的有效性比较差，如果性别只有男女之分，最多还有个UNKNOWN，单独在上面创建索引可能效果不好，但是他们可以为覆盖索引做出贡献。 1.10.4    检查列的数据类型 索引的数据类型是很重要的，在整数类型上创建的索引比在字符类型上创建索引更有效。同一类型，在数据长度较小的类型上创建又比在长度较长的类型上更有效。 1.10.5    考虑列的顺序 对于包含多个列的索引，列顺序很重要。索引键值在索引上的第一上排序，然后在前一列的每个值的下一列做子排序，符合索引的第一列通常为该索引的前沿。同时要考虑列的唯一性，列宽度，列的数据类型来做权衡。 1.10.6    考虑索引的类型 使用索引类型前面已经有较多的介绍，怎么选择已经给出。不再累述。 ------------------------- 回 27楼(板砖大叔) 的帖子 这两种都可以吧。看个人的喜好，不过微软现在的统一风格是下划线，比如表sys.all_columns/sys.tables，然后你再看他的列全是下划线连接，name     /object_id    /principal_id    /schema_id    /parent_object_id      /type    /type_desc    /create_date    /modify_date 我个人的喜好也是喜欢下划线。    

回2楼啊里新人的帖子 在日常的业务开发中，常见使用到索引的地方大概有两类： 第一类.做业务约束需求，比如需要保证表中每行的单个字段或者某几个组合字段是唯一的，则可以在表中创建唯一索引; 比如：需要保证test表中插入user_id字段的值不能出现重复，则在设计表的时候，就可以在表中user_id字段上创建一个唯一索引： CREATE TABLE `test` (   `id` int(11) NOT NULL AUTO_INCREMENT,   `user_id` int(11) NOT NULL,   `gmt_create` datetime DEFAULT NULL,   PRIMARY KEY (`id`),   UNIQUE KEY `uk_userid` (`user_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 ; 第二类.提高SQL语句执行速度，可以根据SQL语句的查询条件在表中创建合适的索引，以此来提升SQL语句的执行速度； 此过程好比是去图书找一本书，最慢的方法就是从图书馆的每一层楼每一个书架一本本的找过去；快捷一点的方法就是先通过图书检索来确认这一本书在几楼那个书架上，然后直接去找就可以了；当然创建这个索引也需要有一定的代价，需要存储空间来存放，需要在数据行插入，更新，删除的时候维护索引： 例如： CREATE TABLE `test_record` (   `id` int(11) NOT NULL AUTO_INCREMENT,   `user_id` int(11) NOT NULL,   `gmt_create` datetime DEFAULT NULL,   PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=5635996 DEFAULT CHARSET=utf8 该表有500w的记录，我需要查询20:00后插入的记录有多少条记录： mysql> select count(*) from test_record where gmt_create>'2014-12-17 20:00:00'; +----------+ | count(*) | +----------+ |        1 | +----------+ 1 row in set (1.31 sec) 可以看到查询耗费了1.31秒返回了1行记录，如果我们在gmt_create字段上添加索引： mysql> alter table test_record add index ind_gmt_create(gmt_create); Query OK, 0 rows affected (21.87 sec) Records: 0  Duplicates: 0  Warnings: 0 mysql> select count(*) from test_record where gmt_create>'2014-12-17 20:00:00'; +----------+ | count(*) | +----------+ |        1 | +----------+ 1 row in set (0.01 sec) 查询只消耗了0.01秒中就返回了记录. 总的来说，为SQL语句（select，update，delete）创建必要的索引是必须的，这样虽然有一定的性能和空间消耗，但是是值得，尤其是在大并发的请求下，大量的数据被扫描造成系统IO和CPU资源消耗完，进而导致整个数据库不可服务. ------------------------- 怎么学好数据库是一个比较大题目，数据库不仅仅是写SQL那么简单，即使知道了SQL怎么写，还需要很清楚的知道这条SQL他大概扫描了多少数据，返回多少数据，是否需要创建索引。至于SQL优化是一个比较专业的技术活，但是可以通过学习是可以掌握的，你可以把一条sql从执行不出来优化到瞬间完成执行，这个过程的成就感是信心满满的。学习的方法可以有以下一些过程：1、自己查资料，包括书本，在线文档，google，别人的总结等等，试图自己解决2、多做实验，证明自己的想法以及判断3、如果实在不行，再去论坛问，或者问朋友4、如果问题解决了，把该问题的整个解决方法记录下来，以备后来的需要5、多关注别人的问题，或许以后自己就遇到了，并总是试图去多帮助别人6、习惯从多个方面去考虑问题，并且养成良好的总结习惯 下面是一些国内顶级数据库专家学习数据库的经验分享给大家： http://www.eygle.com/archives/2005/08/ecinieoracleouo.html 其实学习任何东西都是一样，没有太多的捷径可走，必须打好了坚实的基础，才有可以在进一步学习中得到快速提高。王国维在他的《人间词话》中曾经概括了为学的三种境界，我在这里套用一下： 古今之成大事业、大学问者，罔不经过三种之境界。"昨夜西风凋碧树。独上高楼，望尽天涯路。"此第一境界也。"衣带渐宽终不悔，为伊消得人憔悴。"此第二境界也。"众里寻他千百度，蓦然回首，那人却在灯火阑珊处。"此第三境界也。 学习Oracle，这也是你必须经历的三种境界。 第一层境界是说，学习的路是漫漫的，你必须做好充分的思想准备，如果半途而废还不如不要开始。 这里，注意一个"尽"字，在开始学习的过程中，你必须充分阅读Oracle的基础文档，概念手册、管理手册、备份恢复手册等（这些你都可以在http://tahiti.oracle.com 上找到）；OCP认证的教材也值得仔细阅读。打好基础之后你才具备了进一步提升的能力，万丈高楼都是由地而起。 第二层境界是说，尽管经历挫折、打击、灰心、沮丧，也都要坚持不放弃，具备了基础知识之后，你可以对自己感兴趣或者工作中遇到的问题进行深入的思考，由浅入深从来都不是轻而易举的，甚至很多时候你会感到自己停滞不前了，但是不要动摇，学习及理解上的突破也需要时间。 第三次境界是说，经历了那么多努力以后，你会发现，那苦苦思考的问题，那百思不得其解的算法原理，原来答案就在手边，你的思路豁然开朗，宛如拨云见月。这个时候，学习对你来说，不再是个难题，也许是种享受，也许成为艺术。 所以如果你想问我如何速成，那我是没有答案的。 不经一番寒彻骨，哪得梅花扑鼻香。 当然这三种境界在实际中也许是交叉的，在不断的学习中，不断有蓦然回首的收获。 我自己在学习的过程中，经常是采用"由点及面法"。 当遇到一个问题后，一定是深入下去，穷究根本，这样你会发现，一个简单的问题也必定会带起一大片的知识点，如果你能对很多问题进行深入思考和研究，那么在深处，你会发现，这些面逐渐接合，慢慢的延伸到oracle的所有层面，逐渐的你就能融会贯通。这时候，你会主动的去尝试全面学习Oracle，扫除你的知识盲点，学习已经成为一种需要。 由实践触发的学习才最有针对性，才更能让你深入的理解书本上的知识，正所谓：" 纸上得来终觉浅，绝知此事要躬行"。实践的经验于我们是至为宝贵的。 如果说有，那么这，就是我的捷径。 想想自己，经常是"每有所获，便欣然忘食"， 兴趣才是我们最好的老师。 Oracle的优化是一门学问，也是一门艺术，理解透彻了，你会知道，优化不过是在各种条件之下做出的均衡与折中。 内存、外存；CPU、IO...对这一切你都需要有充分的认识和相当的了解，管理数据库所需要的知识并不单纯。 作为一个数据库管理人员，你需要做的就是能够根据自己的知识以及经验在各种复杂情况下做出快速正确的判断。当问题出现时，你需要知道使用怎样的手段发现问题的根本；找到问题之后，你需要运用你的知识找到解决问题的方法。 这当然并不容易，举重若轻还是举轻若重，取决于你具备怎样的基础以及经验积累。 在网络上，Howard J. Rogers最近创造了一个新词组:Voodoo Tuning，用以形容那些没有及时更新自己的知识技能的所谓的Oracle技术专家。由于知识的陈旧或者理解的肤浅，他们提供的很多调整建议是错误的、容易使人误解的，甚至是荒诞的。他们提供的某些建议在有些情况下也许是正确的，如果你愿意回到Oracle5版或者6版的年代；但是这些建议在Oracle7.0,8.0 或者 Oracle8i以后往往是完全错误的。 后来基于类似问题触发了互联网内Oracle顶级高手的一系列深入讨论，TOM、Jonathan Lewis、HJR等人都参与其中，在我的网站上(www.eygle.com )上对这些内容及相关链接作了简要介绍，有兴趣的可以参考。 HJR给我们提了很好的一个提示:对你所需要调整的内容，你必须具有充分的认识，否则你做出的判断就有可能是错误的。 这也是我想给自己和大家的一个建议: 学习和研究Oracle，严谨和认真必不可少。 当然 你还需要勤奋，我所熟悉的在Oracle领域有所成就的技术人员，他们共同的特点就是勤奋。 如果你觉得掌握的东西没有别人多，那么也许就是因为，你不如别人勤奋。 要是你觉得这一切过于复杂了，那我还有一句简单的话送给大家: 不积跬步，无以至千里。学习正是在逐渐积累过程中的提高。 现在Itpub给我们提供了很好的交流场所，很多问题都可以在这里找到答案，互相讨论，互相学习。这是我们的幸运，我也因此非常感谢这个网络时代。 参考书籍： 如果是一个新人可以先买一些基本的入门书籍，比如MySQL：《 深入浅出MySQL——数据库开发、优化与管理维护 》，在进阶一点的就是《 高性能MySQL（第3版） 》 oracle的参考书籍： http://www.eygle.com/archives/2006/08/oracle_fundbook_recommand.html 最后建议不要在数据库中使用外键，让应用程序来保证。 ------------------------- Re:回 9楼(千鸟) 的帖子 我有一个问题想问问，现在在做一个与图书有关的项目，其中有一个功能是按图书书名搜索相似图书列表，问题不难，但是想优化一下，有如下问题想请教一下： 1、在图书数据库数据表的书名字段里，按图书书名进行关键字搜索，如何快速搜索相关的图书？   现在由于数据不多，直接用的like模糊查找验证功能而已； 如果数据量不大，是可以在数据库中完成搜索的，可以在搜索字段上创建索引，然后进行搜索查询： CREATE TABLE `book` (   `book_id` int(11) NOT NULL AUTO_INCREMENT,   `book_name` varchar(100) NOT NULL,   .............................   PRIMARY KEY (`book_id`),   KEY `ind_name` (`book_name`) ) ENGINE=InnoDB select book.*  from book , (select book_id from book where book_name like '%算法%')  book_search_id  where book.book_id=book_search_id.book_id; 但是当数据量变得很大后，就不在适合了，可以采用一些其他的第三方搜索技术比如sphinx； 2、如何按匹配的关键度进行快速排序？比如搜索“算法”，有一本书是《算法》，另一本书是《算法设计》，要求前者排在更前面。 现在的排序是根据数据表中的主键序号id进行的排序，没有达到想要的效果。 root@127.0.0.1 : test 15:57:12> select book_id,book_name from book_search where book_name like '%算%' order by book_name; +---------+--------------+ | book_id | book_name    | +---------+--------------+ |       2 | 算法       | |       1 | 算法设计 | ------------------------- 回 10楼(大黑豆) 的帖子 模糊查询分为半模糊和全模糊，也就是： select * from book where name like 'xxx%';(半模糊) select * from book where name like '%xxx%';(全模糊) 半模糊可以可以使用到索引，全模糊在上面场景是不能使用到索引的，但可以进行一些改进，比如： select book.*  from book , (select book_id from book where book_name like '%算法%')  book_search_id   where book.book_id=book_search_id.book_id; 注意这里book_id是主键，同时在book_name上创建了索引 上面的sql语句可以利用全索引扫描来完成优化，但是性能不会太好；特别在数据量大，请求频繁的业务场景下不要在数据库进行模糊查询； 非得使用数据库的话 ，建议不要在生产库进行查询，可以在只读节点进行查询，避免查询造成主业务数据库的资源消耗完，导致故障. 可以使用一些开源的搜索引擎技术，比如sphinx. ------------------------- 回 11楼(蓝色之鹰) 的帖子 我想问下,sql优化一般从那几个方面入手？多表之间的连接方式：Nested Loops，Hash Join 和 Sort Merge Join，是不是Hash Join最优连接？ SQL优化需要了解优化器原理，索引的原理，表的存储结构，执行计划等，可以买一本书来系统的进行学习，多多实验； 不同的数据库优化器的模型不一样，比如oracle支持NL，HJ，SMJ，但是mysql只支持NL，不通的连接方式适用于不同的应用场景； NL：对于被连接的数据子集较小的情况，嵌套循环连接是个较好的选择 HJ：对于列连接是做大数据集连接时的常用方式 SMJ：通常情况下散列连接的效果都比排序合并连接要好，然而如果行源已经被排过序，在执行排序合并连接时不需要再排序了，这时排序合并连接的性能会优于散列连接 ------------------------- Re:回 19楼(原远) 的帖子 有个问题：分类表TQueCategory，问题表TQuestion（T-SQL) CREATE TABLE TQueCategory ( ID INT IDENTITY(1,1) PRIMARY KEY,        --问题分类ID NAME VARCHAR(20)        --问题分类名称 ) CREATE TABLE TQuestion ( ID INT IDENTITY(1,1) PRIMARY KEY,        --问题ID CateID INT NOT NULL,        --问题分类ID TITLE VARCHAR(50),        --问题标题 CONTENT VARCHAR(500)        --问题内容 ) 当前要统计某个分类下的问题数，有两种方式： 1.每次统计，在TQuestion通过CateID进行分组统计 SELECT CateID,COUNT(1) AS QueNum FROM TQuestion GROUP BY CateID WHERE 1=1 2.在TQueCategory表增加字段QueNum，用于标识该分类下的问题数量 ALTER TABLE TQueCategory ADD QueNum INT SELECT CateID,QueNum FROM TQueCategory 问：在哪种业务应用场景下采用上面哪种方式性能比较好，为什么？ ############################################################################################### 方案 一 需要对 TQuestion 的 CateID字段 进行分组 ，可以在 CateID上创建一个索引，这样就可以索引扫描来完成查询； 方案 二 需要对 TQueCategory 进行扫描就可以得出结果，但是必须在问题表有插入，删除的时候维护quenum数量； 单单从SQL的性能来看， 分类表的数量应该是远远小于问题表的数量的，所以方案二的性能会比较好； 但是如果 TQuestion 的插入非常频繁的话，会带来对 TQueCategory的频繁更新，一次 TQuestion 的 insert或deleted就会带来一次 TQueCategory 的update，这个代价其实是蛮高的； 如果这个分类统计的查询不是非常频繁的话，建议还是使用方案一； 同时还可能还会其他的业务逻辑统计需求（例如： CateID +时间），这个时候在把逻辑放到 TQueCategory就不合适了。 ------------------------- 回 20楼(原远) 的帖子 经验之谈，仅供参考 使用外键在开发上确实省去了很多功夫，但是把业务逻辑交由数据库来完成，对后期的维护来说是很麻烦的事情，不利于维护. ------------------------- 回 21楼(玩站网) 的帖子 无关技术方面： 咨询一下，现在mysql新的版本，5.5.45后貌似修改了开源协议。 是否意味着今后我们商业化使用mysql将受到限制？ 如果甲骨文真周到那一步，rds是否会受到影响？ 一个疑惑： 为什么很少见到有人用mysql正则匹配？性能不好还是什么原因？ ######################################## MySQL有商业版 和 社区版，RDS的MySQL采用开源的社区版进行改进，由专门的RDS MySQL源码团队来维护，国内TOP 10的mysql源码贡献者大部分都在RDS，包括了@丁奇 ，@彭立勋 ，@印风 等； 不在数据库中做业务计算，是保证数据库运行稳定的一个好的设计经验； 是否影响性能与你的sql的执行频率，需要参与的计算数据量相关，当然了还包括数据库所在主机的IO，cpu，内存等资源，离开了这些谈性能是没有多大意义的； ------------------------- 回 22楼(比哥) 的帖子 分页该怎么优化才行？？？ ######################### 可以参考这个链接，里面有很多的最佳实践，其中就包括了分页语句的优化： http://bbs.aliyun.com/read/168647.html?spm=5176.7114037.1996646101.1.celwA1&pos=1 普通写法： select  *  from t where sellerid=100 limit 100000，20 普通limit M，N的翻页写法，往往在越往后翻页的过程中速度越慢，原因 mysql会读取表中的前M+N条数据，M越大，性能就越差： 优化写法： select t1.* from  t t1,             (select id from t  sellerid=100 limit 100000，20) t2 where t1.id=t2.id; 优化后的翻页写法，先查询翻页中需要的N条数据的主键id，在根据主键id 回表查询所需要的N条数据，此过程中查询N条数据的主键ID在索引中完成 注意：需要在t表的sellerid字段上创建索引 create index ind_sellerid on t(sellerid); 案例： user_A (21:42:31): 这个sql该怎么优化，执行非常的慢： | Query   |   51 | Sending data | select id, ... from t_buyer where sellerId = 765922982 and gmt_modified >= '1970-01-01 08:00:00' and gmt_modified <= '2013-06-05 17:11:31' limit 255000, 5000 SQL改写：selectt2.* from (selectid from t_buyer where sellerId = 765922982   andgmt_modified >= '1970-01-01 08:00:00'   andgmt_modified <= '2013-06-05 17:11:31' limit255000, 5000）t1,t_buyer t2 where t1.id=t2.id index：seller_id,gmt_modified user_A(21:58:43): 好像很快啊。神奇，这个原理是啥啊。牛！！！ user_A(21:59:55): 5000 rows in set (4.25 sec)， 前面要90秒。 ------------------------- 回 27楼(板砖大叔) 的帖子 这里所说的索引都是普通的b-tree索引，mysql，sqlserver，oracle 的关系数据库都是默认支持的； ------------------------- 回 32楼(veeeye) 的帖子 可以详细说明一下“最后建议不要在数据库中使用外键，让应用程序来保证。 ”的原因吗？我们公司在项目中经常使用外键，用程序来保证不是相对而言更加复杂了吗？ 这里的不建议使用外键，主要考虑到 ： 第一.维护成本上，把一些业务逻辑交由数据库来保证，当业务需求发生改动的时候，需要同时考虑应用程序和数据库，有时候一些数据库变更或者bug，可能会导致外键的失效；同时也给数据库的管理人员带来维护的麻烦，不便于管理。 第二.性能上考虑，当大量数据写入的时候，外键肯定会带来一定的性能损耗，当出现这样的问题时候，再来改造去除外键，真的就不值得了； 最后，不在数据库中参与业务的计算（存储过程，函数，触发器，外键），是保证数据库运行稳定的一个好的最佳实践。 ------------------------- 回 33楼(优雅的固执) 的帖子 ReDBA专家门诊一期：索引与sql优化 十分想请大师分享下建立索引的经验 我平时简历索引是这样的 比如订单信息的话 建立 订单号  唯一聚集索引 其他的比如   客户编号 供应商编号 商品编号 这些建立非聚集不唯一索引   ################################################## 建立索引，需要根据你的SQL语句来进行创建，不是每一个字段都需要进行创建，也不是一个索引都不创建,，可以把你的SQL语句，应用场景发出来看看。 索引的创建确实是一个非常专业的技术活，需要掌握：表的存储方式，索引的原理，数据库的优化器，统计信息，最后还需要能够读懂数据库的执行计划，以此来判断索引是否创建正确； 所以需要进行系统的学习才能掌握，附件是我在2011年的时候的一次公开课的ppt，希望对你有帮助，同时可以把你平时遇到的索引创建的疑惑发到论坛上来，大家可以一起交流。 ------------------------- 回 30楼(几几届) 的帖子 我也是这样，简单的会，仔细写也会写出来，但是就是不知道有没有更快或者更好的 #################################################### 多写写SQL，掌握SQL优化的方法，自然这些问题不在话下了。 ------------------------- 回 40楼(小林阿小林) 的帖子 mysql如何查询需要优化的语句，比如慢查询的步奏，如何找出需要通知程序员修改或者优化的sql语句 ############################################################ 可以将mysql的慢日志打开，就可以记录执行时间超过指定阀值的慢SQL到本地文件或者数据库的slow_log表中； 在RDS中默认是打开了慢日志功能的：long_query_time=1，表示会记录执行时间>=1秒的慢sql； 如何快速找到mysql瓶颈： 简单一点的方法，可以通过监控mysql所在主机的性能（CPU，IO，load等）以及mysql本身的一些状态值（connections，thread running，qps，命中率等）； RDS提供了完善的数据库监控体系，包括了CPU，IOPS，Disk，Connections，QPS，可以重点关注cpu，IO，connections，disk 4个 指标； cpu，io，connections主要体现在了性能瓶颈，disk主要体现了空间瓶颈； 有时候一条慢sql语句的频繁调用，也可能导致整个实例的cpu，io，connections达到100%；也有可能一条排序的sql语句，消耗大量的临时空间，导致实例的空间消耗完。 ------------------------- 下面是分析一个cpu 100%的案例分析：该实例的cpu已经到达100% 查看当前数据库的活动会话信息：当前数据库有较多的活跃线程在数据库中执行查看当前数据库正在执行的sql： 可以看到这条sql执行的非常缓慢：[tr=rgb(100, 204, 255)]delete from task_process where task_id='1801099' 查看这个表的索引： CREATE TABLE `task_process` (  `id` int(11) NOT NULL AUTO_INCREMENT,    ................  `task_id` int(11) NOT NULL DEFAULT '0' COMMENT '??????id',   ................  PRIMARY KEY (`id`),  KEY `index_over_task` (`is_over`,`task_id`),  KEY `index_over` (`is_over`,`is_auto`) USING BTREE,  KEY `index_process_sn` (`process_sn`,`is_over`) USING BTREE) ENGINE=InnoDB AUTO_INCREMENT=32129710； 可以看到这个表有3KW的数据，但是没有task_id字段开头的索引，导致该sql语句删除需要进行全表扫描： 在我们的诊断报告中已经将该sql语句捕获到，同时给你提出该怎样进行索引的添加。 广告：诊断报告将会在1月底发布到控制台，到时候用户可以直接查看诊断建议，来完成你的数据库优化。 ------------------------- 回 45楼(dentrite) 的帖子 datetime和int都是占用数据库4个字节，所以在空间上没有什么差别；但是为了可读性，建议还是使用datetime数据类型。 ------------------------- 回 48楼(yuantel) 的帖子 麻烦把ecs_brand和ecs_goods的表结构发出来一下看看 。 ------------------------- 回 51楼(小林阿小林) 的帖子 普通的 ECS服务器上目前还没有这样的慢SQL索引建议的工具。 不过后续有IDBCloud将会集成这样的sql诊断功能，使用他来管理ECS上的数据库就可以使用这样的功能了 。