移动查询处理怎么用

反应到高层吧 你找客服 是没用的 看起来是他们自己的漏洞 曝光吧 去微博把事情闹大 然后投诉 我在电信工作 可以告诉你投诉是有用的 要闹大 工信部 运营商最怕的东西######你跟客服投诉没？ 不停的给不同人他投诉 如果不是因为你自己的原因泄露密码的话 这个漏洞会造成恐慌的######回复 @黑狗 : 今天是一个自称是客服经理的给我电话。态度强硬。。NND，让后我到工信部网站去留言投诉了。。就算是几个钱也要抗战到底。。要不然，以后我这个卡一充值，就被使用了，没法用了。######@newzai 啊？ 你直接跟他说如果他这个事情不处理，只有反应到工信部了 或者你转接到他们班长那里 直接找班长投诉 电信的话，这种投诉很敏感的，马上就有人要处理，不然上面知道这个事情了 下面一大批人要被批######这个问题基本上可以确定，有点点内鬼。。。不停的投诉，也没啥用。移动就那吊样。店大欺客。。。###### 不懂通信，卡号复制能否达到相同的效果？？你再去补办一张手机卡，再重置密码。。 如果还有相同的事情发生，就肯定是移动有漏洞了。 ######关键是重新设置密码的短信回复到我的手机上啊。。 所以这个问题，只有移动，或者那些专家才能明白。 我也不搞硬件，不也弄移动通信这块，具体怎么回事，也不是很清楚。 所以强烈要求他们给我答案，为何被盗，WLAN的使用地点等待。###### 引用来自“蟋蟀哥哥”的答案 不懂通信，卡号复制能否达到相同的效果？？你再去补办一张手机卡，再重置密码。。 如果还有相同的事情发生，就肯定是移动有漏洞了。 再说，卡号复制的话，应该是同时有2个相同的号码注册在不同的基站。按照移动来说，这个肯定是有问题了，而且是严重的问题，告警平台应该是立刻可以发现的。 ###### 引用来自“蟋蟀哥哥”的答案 不懂通信，卡号复制能否达到相同的效果？？你再去补办一张手机卡，再重置密码。。 如果还有相同的事情发生，就肯定是移动有漏洞了。 补卡之后原来的卡片就失效不能注册进网络了 我感觉会不会手机有恶意的APK之类的比如后台偷偷发重置密码短信接受到新密码后把新密码通过网络传输给服务器 ######回复 @熊猫与猫无关 : 在被盗用的时候，我查询记录，没有发现在上网中间有短信来往，但是我的手机确收到了。。个人怀疑是那些维护的工程师使用的（据说那些维护工程师，通过修改数据库等，可以有很高的权限，以前道听途说，这个不一定正确）。######回复 @newzai : 先投诉吧，运营商先投诉保留电话录音，然后去工信部的投诉平台投诉，诉求计费错误双倍返还话费。另外调取最近手机发短信的记录，看看有没有发过修改WLAN密码请求的上行信息，另外看看有没有给陌生的号码发过信息。######我手机的WIFI是关闭的，移动通信上网也是关闭。 之前也怀疑是这个。因为我现在用的是联通，移动是保留着，基本上没安装啥软件，甚至很多内置软件都被我删除了。 也用杀毒软件查杀了，没有发现。 刚才又接收到移动客户经理的电话，NND，依旧坚持他们那边没有问题。。。###### 引用来自“熊猫与猫无关”的答案 引用来自“蟋蟀哥哥”的答案 不懂通信，卡号复制能否达到相同的效果？？你再去补办一张手机卡，再重置密码。。 如果还有相同的事情发生，就肯定是移动有漏洞了。 补卡之后原来的卡片就失效不能注册进网络了 我感觉会不会手机有恶意的APK之类的比如后台偷偷发重置密码短信接受到新密码后把新密码通过网络传输给服务器 换个手机试试先 ######换手机。。 按照移动的建议，让我停止这个业务更加直接。######让你补卡，主要是让原来的卡失效，因为怕有复制卡的存在。######回复 @蟋蟀哥哥 :发送信息给对方飞信，如果飞信不在线，是可以把消息转发到手机，反之，发送消息直接到手机，是不会转发给飞信，不管手机是否开关机，是否在线。######回复 @newzai : 看来就是从其他途径出去的了######回复 @蟋蟀哥哥 : 我发现我的飞信已经注销了。 另外我的卡都是在移动沟通100营业厅办理的，从来没有在路边摊买卡。。 网上baidu了一下，有很多CMCC WLAN密码被盗的问题。移动都坚决的否认。。######回复 @newzai : 如果你的飞信账号是你的常用密码，就可能被盗，直接把你飞行账号碰撞出来。。而且复制卡确实存在，所以不要在小摊位上买那些很便宜的卡。######回复 @蟋蟀哥哥 : 至少有2年没有登录过我的飞信帐号了。而且被盗也就是这几个月的事情。万一是这个被盗，那还得了。。。###### 引用来自“蟋蟀哥哥”的答案 让你补卡，主要是让原来的卡失效，因为怕有复制卡的存在。 复制卡异地可以注册进网络本省不行。而且你的卡啥时候办理的是SIM卡还是USIM卡，比较早的SIM卡可以复制而2009年左右开始换发的USIM卡被复制的概率很小。 ######回复 @熊猫与猫无关 : 他们会承认的话，就不是中国移动了。。但我要为我自己的权益而争取。如果他不承认，我又接受了，那明白着就是我自己的问题了，这个陷阱俺们不能掉进去。。。######回复 @newzai : 放心吧，他们打死不会承认自己系统有问题的######回复 @熊猫与猫无关 : 这不是损失多少的问题。我的目的是要达到，移动承认我的账号是被盗用，并且保证避免以后发生类似的问题。但是移动客户那边一直不承认，只说我的账号是正常登陆，而且也无法保证以后不再被盗用。。。######回复 @newzai : 你损失的数额又构不成报警的数额，所以你也只能以计费错误投诉要求返回话费。这样看来应该是有问题，不知道淘宝那么多CMCC的上网账号是不是这样来的###### @熊猫与猫无关 我修改的，就有发送短信。不是我修改的，我的手机没有这个记录，但是会收到一条WLAN密码更新的信息。这其中那边出了问题，我们这些OSCer的专业人士也搞不清楚了。。基本上我的手机中毒是可以排除的。个人怀疑是内鬼比较多。。######如果是我就不用了，直接注销。上网的方式太多，没必要用麻烦的######我手机号2年轻就开始不怎么使用了，转向使用联通了。 这个号码只是稍微保留而已。 而且这个已经不是涉及到使用和不是用的问题了。是移动太霸道的。。######我觉得移动有内鬼，贩卖WLAN账号######我也这么觉得。不过他们不会承认。 客服经理打死不会承认他们自己有问题，说本着人道主义精神，让客户满意的宗旨，退还那部分费用，而且下不为例。如果我接受了，那不明摆着接受他们的意见嘛。。。所以我没有同意，另可不要那些钱。也要争取到底。

面试官心理分析 这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5~10s，坑爹了。第一次搜索的时候，是 5~10s，后面反而就快了，可能就几百毫秒。 你就很懵，每个用户第一次访问都会比较慢，比较卡么？所以你要是没玩儿过 es，或者就是自己玩玩儿 demo，被问到这个问题容易懵逼，显示出你对 es 确实玩儿的不怎么样？ 面试题剖析 说实话，es 性能优化是没有什么银弹的，啥意思呢？就是不要期待着随手调一个参数，就可以万能的应对所有的性能慢的场景。也许有的场景是你换个参数，或者调整一下语法，就可以搞定，但是绝对不是所有场景都可以这样。 性能优化的杀手锏——filesystem cache 你往 es 里写的数据，实际上都写到磁盘文件里去了，查询的时候，操作系统会将磁盘文件里的数据自动缓存到 filesystem cache 里面去。 es 的搜索引擎严重依赖于底层的 filesystem cache，你如果给 filesystem cache 更多的内存，尽量让内存可以容纳所有的 idx segment file 索引数据文件，那么你搜索的时候就基本都是走内存的，性能会非常高。 性能差距究竟可以有多大？我们之前很多的测试和压测，如果走磁盘一般肯定上秒，搜索性能绝对是秒级别的，1秒、5秒、10秒。但如果是走 filesystem cache，是走纯内存的，那么一般来说性能比走磁盘要高一个数量级，基本上就是毫秒级的，从几毫秒到几百毫秒不等。 这里有个真实的案例。某个公司 es 节点有 3 台机器，每台机器看起来内存很多，64G，总内存就是 64 * 3 = 192G。每台机器给 es jvm heap 是 32G，那么剩下来留给 filesystem cache 的就是每台机器才 32G，总共集群里给 filesystem cache 的就是 32 * 3 = 96G 内存。而此时，整个磁盘上索引数据文件，在 3 台机器上一共占用了 1T 的磁盘容量，es 数据量是 1T，那么每台机器的数据量是 300G。这样性能好吗？ filesystem cache 的内存才 100G，十分之一的数据可以放内存，其他的都在磁盘，然后你执行搜索操作，大部分操作都是走磁盘，性能肯定差。 归根结底，你要让 es 性能要好，最佳的情况下，就是你的机器的内存，至少可以容纳你的总数据量的一半。 根据我们自己的生产环境实践经验，最佳的情况下，是仅仅在 es 中就存少量的数据，就是你要用来搜索的那些索引，如果内存留给 filesystem cache 的是 100G，那么你就将索引数据控制在 100G 以内，这样的话，你的数据几乎全部走内存来搜索，性能非常之高，一般可以在 1 秒以内。 比如说你现在有一行数据。id,name,age .... 30 个字段。但是你现在搜索，只需要根据 id,name,age 三个字段来搜索。如果你傻乎乎往 es 里写入一行数据所有的字段，就会导致说 90% 的数据是不用来搜索的，结果硬是占据了 es 机器上的 filesystem cache 的空间，单条数据的数据量越大，就会导致 filesystem cahce 能缓存的数据就越少。其实，仅仅写入 es 中要用来检索的少数几个字段就可以了，比如说就写入 es id,name,age 三个字段，然后你可以把其他的字段数据存在 mysql/hbase 里，我们一般是建议用 es + hbase 这么一个架构。 hbase 的特点是适用于海量数据的在线存储，就是对 hbase 可以写入海量数据，但是不要做复杂的搜索，做很简单的一些根据 id 或者范围进行查询的这么一个操作就可以了。从 es 中根据 name 和 age 去搜索，拿到的结果可能就 20 个 doc id，然后根据 doc id 到 hbase 里去查询每个 doc id 对应的完整的数据，给查出来，再返回给前端。 写入 es 的数据最好小于等于，或者是略微大于 es 的 filesystem cache 的内存容量。然后你从 es 检索可能就花费 20ms，然后再根据 es 返回的 id 去 hbase 里查询，查 20 条数据，可能也就耗费个 30ms，可能你原来那么玩儿，1T 数据都放 es，会每次查询都是 5~10s，现在可能性能就会很高，每次查询就是 50ms。 数据预热 假如说，哪怕是你就按照上述的方案去做了，es 集群中每个机器写入的数据量还是超过了 filesystem cache 一倍，比如说你写入一台机器 60G 数据，结果 filesystem cache 就 30G，还是有 30G 数据留在了磁盘上。 其实可以做数据预热。 举个例子，拿微博来说，你可以把一些大V，平时看的人很多的数据，你自己提前后台搞个系统，每隔一会儿，自己的后台系统去搜索一下热数据，刷到 filesystem cache 里去，后面用户实际上来看这个热数据的时候，他们就是直接从内存里搜索了，很快。 或者是电商，你可以将平时查看最多的一些商品，比如说 iphone 8，热数据提前后台搞个程序，每隔 1 分钟自己主动访问一次，刷到 filesystem cache 里去。 对于那些你觉得比较热的、经常会有人访问的数据，最好做一个专门的缓存预热子系统，就是对热数据每隔一段时间，就提前访问一下，让数据进入 filesystem cache 里面去。这样下次别人访问的时候，性能一定会好很多。 冷热分离 es 可以做类似于 mysql 的水平拆分，就是说将大量的访问很少、频率很低的数据，单独写一个索引，然后将访问很频繁的热数据单独写一个索引。最好是将冷数据写入一个索引中，然后热数据写入另外一个索引中，这样可以确保热数据在被预热之后，尽量都让他们留在 filesystem os cache 里，别让冷数据给冲刷掉。 你看，假设你有 6 台机器，2 个索引，一个放冷数据，一个放热数据，每个索引 3 个 shard。3 台机器放热数据 index，另外 3 台机器放冷数据 index。然后这样的话，你大量的时间是在访问热数据 index，热数据可能就占总数据量的 10%，此时数据量很少，几乎全都保留在 filesystem cache 里面了，就可以确保热数据的访问性能是很高的。但是对于冷数据而言，是在别的 index 里的，跟热数据 index 不在相同的机器上，大家互相之间都没什么联系了。如果有人访问冷数据，可能大量数据是在磁盘上的，此时性能差点，就 10% 的人去访问冷数据，90% 的人在访问热数据，也无所谓了。 document 模型设计 对于 MySQL，我们经常有一些复杂的关联查询。在 es 里该怎么玩儿，es 里面的复杂的关联查询尽量别用，一旦用了性能一般都不太好。 最好是先在 Java 系统里就完成关联，将关联好的数据直接写入 es 中。搜索的时候，就不需要利用 es 的搜索语法来完成 join 之类的关联搜索了。 document 模型设计是非常重要的，很多操作，不要在搜索的时候才想去执行各种复杂的乱七八糟的操作。es 能支持的操作就那么多，不要考虑用 es 做一些它不好操作的事情。如果真的有那种操作，尽量在 document 模型设计的时候，写入的时候就完成。另外对于一些太复杂的操作，比如 join/nested/parent-child 搜索都要尽量避免，性能都很差的。 分页性能优化 es 的分页是较坑的，为啥呢？举个例子吧，假如你每页是 10 条数据，你现在要查询第 100 页，实际上是会把每个 shard 上存储的前 1000 条数据都查到一个协调节点上，如果你有个 5 个 shard，那么就有 5000 条数据，接着协调节点对这 5000 条数据进行一些合并、处理，再获取到最终第 100 页的 10 条数据。 分布式的，你要查第 100 页的 10 条数据，不可能说从 5 个 shard，每个 shard 就查 2 条数据，最后到协调节点合并成 10 条数据吧？你必须得从每个 shard 都查 1000 条数据过来，然后根据你的需求进行排序、筛选等等操作，最后再次分页，拿到里面第 100 页的数据。你翻页的时候，翻的越深，每个 shard 返回的数据就越多，而且协调节点处理的时间越长，非常坑爹。所以用 es 做分页的时候，你会发现越翻到后面，就越是慢。 我们之前也是遇到过这个问题，用 es 作分页，前几页就几十毫秒，翻到 10 页或者几十页的时候，基本上就要 5~10 秒才能查出来一页数据了。 有什么解决方案吗？ 不允许深度分页（默认深度分页性能很差） 跟产品经理说，你系统不允许翻那么深的页，默认翻的越深，性能就越差。 类似于 app 里的推荐商品不断下拉出来一页一页的 类似于微博中，下拉刷微博，刷出来一页一页的，你可以用 scroll api，关于如何使用，自行上网搜索。 scroll 会一次性给你生成所有数据的一个快照，然后每次滑动向后翻页就是通过游标 scroll_id 移动，获取下一页下一页这样子，性能会比上面说的那种分页性能要高很多很多，基本上都是毫秒级的。 但是，唯一的一点就是，这个适合于那种类似微博下拉翻页的，不能随意跳到任何一页的场景。也就是说，你不能先进入第 10 页，然后去第 120 页，然后又回到第 58 页，不能随意乱跳页。所以现在很多产品，都是不允许你随意翻页的，app，也有一些网站，做的就是你只能往下拉，一页一页的翻。 初始化时必须指定 scroll 参数，告诉 es 要保存此次搜索的上下文多长时间。你需要确保用户不会持续不断翻页翻几个小时，否则可能因为超时而失败。 除了用 scroll api，你也可以用 search_after 来做，search_after 的思想是使用前一页的结果来帮助检索下一页的数据，显然，这种方式也不允许你随意翻页，你只能一页页往后翻。初始化时，需要使用一个唯一值的字段作为 sort 字段。 往期回顾： 【Java问答学堂】1期 为什么使用消息队列？消息队列有什么优点和缺点？Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？ 【Java问答学堂】2期 如何保证消息队列的高可用？ 【Java问答学堂】3期 如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？ 【Java问答学堂】4期 如何保证消息的可靠性传输？（如何处理消息丢失的问题？） 【Java问答学堂】5期 如何保证消息的顺序性？ 【Java问答学堂】6期 如何解决消息队列的延时以及过期失效问题？ 【Java问答学堂】7期 如果让你写一个消息队列，该如何进行架构设计？ 【Java问答学堂】8期 es 的分布式架构原理能说一下么（es 是如何实现分布式的啊）？ 【Java问答学堂】9期 es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？

提交注册表单到后端处理时，调用第三方短信服务(手机号码，后端生成验证码)，限制多少时间内重发。验证码可以保存数据库中有效时间，或者session中设置过期时间问题有些太开放，宽松制约。重新考虑一下需求；如你所说的确实是个问题。或者其他人解答一下手机号码注册，短信只作验证功能(省事，用户群体比较有质量，手机号码唯一性，防止恶意刷注册用户数)/邮箱验证也可以，用户体验上手机较好(后期还可以通过手机号码去分析用户) 如果每次登陆都用短信验证码(短信服务还是要钱的...这个一天登陆一多就懂) ######首先 非常感谢你这么认真的回答。 我看完后 再回复你。先谢谢你###### 1. 你们服务端生成 短信 内容 提交到他们那,验证码可以放到缓存里,用户确定的时候检查缓存.写一个公共的服务组件, Linux可用crontab Win可用定时任务,在指定时间段内 每分钟查询下数据库,提交到短信提供商.最好不要使用短信登陆. ######关于问题1 ，一般都是用户前台输入手机号，点击获取验证码按钮后先在自己服务器根据短信服务商的接口规范生成url（包括验证码的生成，生成之后保存在session或者数据库中），然后用curl发请求，收到一个唯一的短信id就表示发送成功了（但是有可能是对方服务器出了问题，收到了id用户还没收到短信，我遇到过这个问题，最后他们换了一个线路解决了）###### 引用来自“p2ng”的评论 提交注册表单到后端处理时，调用第三方短信服务(手机号码，后端生成验证码)，限制多少时间内重发。验证码可以保存数据库中有效时间，或者session中设置过期时间问题有些太开放，宽松制约。重新考虑一下需求；如你所说的确实是个问题。或者其他人解答一下手机号码注册，短信只作验证功能(省事，用户群体比较有质量，手机号码唯一性，防止恶意刷注册用户数)/邮箱验证也可以，用户体验上手机较好(后期还可以通过手机号码去分析用户) 如果每次登陆都用短信验证码(短信服务还是要钱的...这个一天登陆一多就懂) 回复1： 一般大家的普通做法是 保持数据库中还是SESSION中 还是内存中啊。  验证码好像就是临时的吧。 这个手机验证码 是需要我自定义生成吗？ 我做过登陆图形验证码。用户输入后判断下。就行。提交一次重新生成。 但这个貌似可以提交多次，直到你输入正确的短信验证码是吧？ 回复2： 举个简单例子吧： 我加入要做个提醒的功能。  我在web网站上 设置好时间，设置后内容。然后我当天那个时间收到这个短信内容。 我就是提供给会员这个事情。  比如我做一个比赛预告的WEB页面，用户点击比赛前1小时短信提醒我。  回复3： 每次短信登陆的确很麻烦也很费钱。 但类似微博就是这种的啊。 可以提供手机短信登陆的啊。 短信登陆唯一好处就是 用户注册/登陆都一样的，这样用户注册的时候就没有密码设置这一项，用户第一次实用的体验度会很好。。。。 ###### 引用来自“金马超”的评论 你们服务端生成 短信 内容 提交到他们那,验证码可以放到缓存里,用户确定的时候检查缓存.写一个公共的服务组件, Linux可用crontab Win可用定时任务,在指定时间段内 每分钟查询下数据库,提交到短信提供商.最好不要使用短信登陆. 回复1： 大体思路我明白了，只是之前没做过短信注册这个模块。 我看看第三方1069通道的 应该不难。 或者网上搜搜下 回复2： linux的crontab定时任务和win我都会，但我的意思是 一个用户 写周四下午3点 那我这边就执行一个定时任务会不会太浪费了？也太多了？ 或者你说，每分钟查下数据库 也就是每隔一分钟执行一个php脚本文件，遍历循环下？ 有的话就发 没有的 就不发。 就等于轮询？ 这样是不是很耗费服务器资源？ 有没有其他解解方法 回复3： 你的意思是 短信注册可以，然后引导用户设置密码。 但手机短信登陆不建议ma？ 但我的意思，像weibo就是手机短信验证码直接登陆 携程也是这样 还有一种是你说的只能手机+密码来登陆 那我的意思是，如果二者并行，怎么设计这个表。。。 ###### 引用来自“西南茂”的评论关于问题1 ，一般都是用户前台输入手机号，点击获取验证码按钮后先在自己服务器根据短信服务商的接口规范生成url（包括验证码的生成，生成之后保存在session或者数据库中），然后用curl发请求，收到一个唯一的短信id就表示发送成功了（但是有可能是对方服务器出了问题，收到了id用户还没收到短信，我遇到过这个问题，最后他们换了一个线路解决了） 回复1： 你的流程是   用户填手机号---》用户点击提交获取验证码--》服务器生成一个验证码---》这个验证码通过sdk 用curl发送到短信运营商---》短信运营商服务器收到后发到用户手机号上---》 用户收到输入这个验证码--》我们后台核对  OK？ ######对，差不多就是这个流程###### 引用来自“金马超”的评论 你们服务端生成 短信 内容 提交到他们那,验证码可以放到缓存里,用户确定的时候检查缓存.写一个公共的服务组件, Linux可用crontab Win可用定时任务,在指定时间段内 每分钟查询下数据库,提交到短信提供商.最好不要使用短信登陆. 引用来自“kacc850”的评论 回复1： 大体思路我明白了，只是之前没做过短信注册这个模块。 我看看第三方1069通道的 应该不难。 或者网上搜搜下 回复2： linux的crontab定时任务和win我都会，但我的意思是 一个用户 写周四下午3点 那我这边就执行一个定时任务会不会太浪费了？也太多了？ 或者你说，每分钟查下数据库 也就是每隔一分钟执行一个php脚本文件，遍历循环下？ 有的话就发 没有的 就不发。 就等于轮询？ 这样是不是很耗费服务器资源？ 有没有其他解解方法 回复3： 你的意思是 短信注册可以，然后引导用户设置密码。 但手机短信登陆不建议ma？ 但我的意思，像weibo就是手机短信验证码直接登陆 携程也是这样 还有一种是你说的只能手机+密码来登陆 那我的意思是，如果二者并行，怎么设计这个表。。。 写成一个公共的组件...   这个服务从指定的一张表里查询数据 eg  ID 内容 下发时间 手机号 ... 只要代码没问题的话  对服务器来说不会是什么太大的问题.嗯   是这样的,不建议短信登陆,可以用短信找回密码. 你们公司不是微博/携程,没人家那种财力,最好不要这么做, 而且短信这个行业也不是你想的那么简单,提交就能发的. 如果要并行的话,单独建立一张表用来记录短信登陆比较好. 用户表只放基本信息,短信登陆表 带上用户名,手机号,登陆时间,IP可有可无. 和用户表稍微关联下就行. ######硕达通短信平台，发验证码5秒到，发通知5秒到，速度快，到达率98%以上，成功计费（失败不计费）实时状态报告（成功失败一目了然）支持上下行 北京硕达通  www.shdat.com  买短信有红包！######凌凯短信：快/3秒响应 ·12年品牌塑造，三网（移动、联通、电信）通道，覆盖所有手机号码 ·3秒快速响应，行业领先（www.028lk.com）######雨林木风短信平台，三网合一，五秒达到，到达率99%，欢迎站内信哟~~~~

ECS磁盘 我想在ECS 跨服务器进行数据拷贝，有没有知道实现方法的？ Linux系统服务器重启或初始化系统之后，再登录服务器执行df -h查看磁盘挂载，发现数据不见了。这是为什么？能不能找回来？ 重启服务器后发现/alidata目录所有数据丢失。怎么才能找回来呢？ ECS Linux扩容格式化磁盘提示magic number in super-block while trying to open /dev/xvdb1 ？ Linux 实例初始化系统盘后，怎样才能重新挂载数据盘？ 如何在ECS 利用快照创建磁盘实现无损扩容数据盘？ ECS云服务器磁盘FAQ云服务器磁盘I/O速度是多少？ Linux 购买了数据盘，但是系统中看不到怎么办？ ECS系统盘和数据盘二次分区FAQ，系统盘能否再次划分出一个分区用作数据存储？ ECS系统盘和数据盘二次分区FAQ，数据盘能否再次划分出一个分区用作数据存储？ ECS系统盘和数据盘二次分区FAQ，划分了多个分区的磁盘，做快照时是针对该分区的，还是针对磁盘的？ ECS系统盘和数据盘二次分区FAQ，磁盘二次分区有哪些注意事项？ ECS系统盘和数据盘二次分区FAQ，数据盘进行二次分区后，此时回滚快照后，数据盘是几个分区？ 什么是可用区？ 怎么根据服务器应用需求选择可用区？ 按量付费云盘和云盘有什么区别？ 按量付费云盘和普通云盘的性能和数据安全性一样吗，磁盘性能会有提升吗? 可以使用用户快照创建按量付费云盘吗？ 什么是挂载点？ 一块按量付费云盘可以挂载到多个 ECS 实例上吗？ 一台 ECS 实例能同时挂载多少块按量付费云盘吗？ 按量付费云盘能够挂载到包年包月和按量付费 ECS 实例上吗？ 为什么挂载按量付费云盘时找不到我想挂载的 ECS 实例？ 购买按量付费云盘后，挂载到目标 ECS 实例的挂载点是否还需要执行磁盘挂载操作？ 我已经操作过续费变配，在续费变配期内是否还能将普通云盘转为按量付费云盘？ ECS快照 为什么我的按量付费云盘没有自动快照了？ 重新初始化磁盘时，我的快照会丢失吗？ 更换系统盘时，我的快照会丢失吗？ 卸载按量付费云盘时，我的磁盘会丢数据吗？ 我能够卸载系统盘吗？ 什么是独立云磁盘？ 什么是可用区？ 独立云磁盘跟现在的磁盘有什么区别？ 服务器应用与可用区选择的选择关系是怎么样的？ 独立云磁盘怎么收费？ 独立云磁盘能够挂载到包年包月实例上吗？ 独立云磁盘和普通云磁盘的磁盘性能和数据安全性一样吗，磁盘性能会有提升吗? 我的包年包月实例上不需要的磁盘能不能卸载？ 为什么我的独立云磁盘和我的实例一起释放了？ 为什么独立云磁盘挂载时找不到我想挂载的实例？ 为什么我在本实例列表中选择独立云磁盘挂载时找不到我想要挂载的磁盘？ 我删除磁盘的时候，快照会被保留吗？ 为什么我的独立云磁盘没有自动快照了？ 为什么我不能购买独立云磁盘？ 一台实例能挂载多少块独立云磁盘？ 卸载独立云磁盘时，我的磁盘会丢数据吗？ 我的系统盘能够卸载吗？ 什么是设备名？ 为什么我在控制台上找不到重置磁盘，更换操作系统，回滚快照的操作了？ 重新初始化磁盘时，我的快照会丢失吗？ 更换系统盘时，我的快照会丢失吗？ 为什么我的数据盘不能选择临时磁盘 独立云磁盘服务器的应用场景有哪些？ 可以使用用户快照创建独立云磁盘吗？ 独立云磁盘购买后挂载到目标实例的挂载点后，是否还需要执行磁盘挂载操作？ 本地SSD盘“本地”是指？ 本地SSD盘适合的用户场景有哪些？ SSD盘相对之前的普通云盘性能提升多少，是否可以提供具体参数？ 本地SSD盘是否支持在原ECS上进行添加或者将原云磁盘更换成本地SSD盘？ 本地SSD盘购买后是否支持升级？ SSD 云盘具备怎样的 I/O 性能？ SSD云盘的数据可靠性是怎样的？ SSD 云盘适合的应用场景有哪些？ SSD 云盘相对普通云盘性能提升多少？是否可以提供具体参数？ I/O 优化是什么概念？能将存量的 ECS 实例升级为 I/O 优化的实例吗？ 是否支持将原普通云盘更换成 SSD 云盘？ 如何购买 SSD 云盘，I/O 优化的实例及 SSD 云盘的价格是多少？ 为什么 I/O 优化的实例有时启动比较耗时？ 有些自定义镜像不支持创建 I/O 优化的实例，我该如何操作？ 购买SSD云盘后是否支持升级？ 使用了 I/O 优化实例和 SSD 云盘之后，Linux 系统在分区挂载的时候报错。 为什么我用 fio 测试性能时，会导致实例宕机？ 云盘参数和性能测试工具及方法有推荐的吗？ 我想扩容系统盘，求详细步骤！ 所有块存储都支持系统盘扩容吗？有地域限制吗？ 包年包月和按量付费的ECS实例都支持系统盘扩容吗？ 新购ECS时，系统盘开始单独收费？老用户存量的系统盘如何收费？ 新购ECS时，系统盘开始单独收费？老用户存量的系统盘如何收费？系统盘扩容是否需要停机操作？ 系统盘扩容上线后，系统盘的容量范围多少？ 哪些镜像支持系统盘扩容？ 云服务器续费变配后，不支持更换系统盘时指定系统盘容量？ 系统盘扩容之后是否支持再缩容？ 扩容系统盘应注意的问题？ 回滚磁盘报错，进行快照回滚的时候，出现如下错误提示： 执行回滚磁盘需要停止实例，并确保当前磁盘没有创建中的快照和没有更换过操作系统。 这是什么原因？ 普通云盘和SSD云盘添加挂载信息时有哪些要注意的事项？ 申请公测资格 什么是共享块存储？ 共享块存储适用于哪些行业和业务场景？ 为什么需要共享块存储？ 如何正确使用共享块存储？ 我能跨地域挂载共享块存储吗？ 共享块存储产品规格有哪些？ 我想知道阿里云产品的售卖模式和公测范围！ 公测购买入口是哪，求链接！ 有没有谁分享下共享块存储性能测试命令？ 数据盘挂载问题导致数据无法访问，我要怎么排查问题？ 我要怎样才能在Linux和Windows主机之间挂载ntfs格式云盘？ 为什么ECS实例里文件系统和快照空间大小不一致？在ECS实例内删除文件后再打快照，发现快照容量并没有变小。 ECS实例如何优化快照使用成本？ 在ECS实例里什么是快照商业化？ 在ECS实例里，快照商业化后过渡优惠期是什么时候？ 在ECS实例里，快照商业化的用户范围包括有哪些？ 在ECS实例里，如果我已经开通了 OSS，快照会自动存到我的 OSS Bucket 吗？是否需要重新再创建一个 Bucket 来存储快照？ 已经购买了 OSS 预付费存储包，同时在使用快照和 OSS 服务，那么存储包会优先抵扣哪个产品？ 快照商业化之后，我希望继续使用，需要购买哪个产品，云盘还是对象存储OSS资源包？ 快照商业化的收费模式是怎样的？ 快照费用的计算方法是怎样的？ 快照收费后，不停止自动快照是否就开始收取费用？ 快照要收费了，之前的快照要被删除吗？ 如果不想付费，之前的快照能继续使用吗？ 快照收费后，之前创建的手动快照和自动快照都会收费吗？ 快照收费前停止快照策略，需手动删除历史快照吗？正式收费后会直接删除我的历史快照吗？ 快照收费以后，账户欠费对快照有什么影响？ 如果账号欠费，有关联关系（创建过磁盘或者镜像）的快照，在欠费15天之后是否会被删除？ 快照服务和块存储服务的关系，在收费方面的关系是什么？ 快照容量是如何计算的，是等于磁盘大小吗？ ECS实例内删除文件会减少空间占用吗？ 为什么快照容量大于文件系统内看到的数据量？ 参考快照增量说明，如中间快照被删除，后面的快照能否使用？ 如何开通快照服务？ 快照和镜像的关系？ 如何在保留关联实例和磁盘的情况下，删除快照跟镜像，快照、实例、镜像之间的关系？ 快照和块存储、OSS对象存储是什么关系？ 一块云盘能否设置多个快照策略？ 快照 2.0 服务包括哪些内容？ 快照有什么用途？ 快照 2.0 服务支持的云盘类型？ 快照数量有什么限制？ 快照保留时长怎样？ 打快照对块存储 I/O 性能有多少影响？ 快照怎么收费？ 老的自动快照策略什么时候不可用？ 老的快照策略产生的快照什么时候删除？ 自动快照功能细节有哪些？ 用户的自定义快照和自动快照有冲突吗？ 我能保留其中想要的自动快照而让系统不删除吗？ 如果一个自动快照被引用（用户创建自定义镜像或者磁盘），会导致自动快照策略执行失败吗？ 我如果什么都没有设置，自动快照会启动吗？ 自动快照能够删除吗？ 自动快照具体在什么时间创建能看到吗？ 我如何区分哪些快照是自动快照和用户快照？ 更换系统盘、云服务器 ECS 到期后或手动释放磁盘时，自动快照会不会释放？ 未随磁盘释放和更换系统盘释放的自动快照会一直保留吗？ 云服务器 ECS 到期后或手动释放磁盘时，手工快照会不会释放？ 我能单独制定某几块磁盘执行或取消自动快照吗？ 云服务器 ECS 有没有自动备份？ 磁盘无快照是否能够回滚或数据恢复？ 快照回滚能否单独回滚某个分区或部分数据？ 系统盘快照回滚是否会影响数据盘？ 更换系统后，快照能否回滚？ 在回滚快照前，有哪些注意事项？ 怎样使ECS回滚快照后同步数据？ 如何通过API配置定时自定义快照？ 超出预付费存储包的流量，会怎么收费？ ECS镜像 Aliyun Linux 17.01 特性有哪些，有说明文档吗？ 云市场镜像有哪些功能？ 镜像能带来哪些便利？ 目前镜像支持哪些服务器环境和应用场景？ 镜像是否安全？ 选择了镜像后能更换吗？ 镜像安装使用过程中出问题了怎么办？ Docker私有镜像库是什么？ 自定义镜像如何查看数据盘？ 自定义镜像，如何卸载和删除 disk table 里的数据？ 如何确认已经卸载数据盘，并可以新建自定义镜像？ ECS 实例释放后，自定义镜像是否还存在？ ECS 实例释放后，快照是否还存在？ 用于创建自定义镜像的云服务器 ECS 实例到期或释放数据后，创建的自定义镜像是否受影响？使用自定义镜像开通的云服务器 ECS 实例是否受影响？ 使用自定义镜像创建的 ECS 实例是否可以更换操作系统？更换系统后原来的自定义镜像是否还可以使用？ 更换系统盘时另选操作系统，是否可以使用自定义镜像？ 已创建的自定义镜像，是否可以用于更换另一台云服务器 ECS 的系统盘数据？ 是否可以升级自定义镜像开通的云服务器 ECS 的 CPU、内存、带宽、硬盘等？ 是否可以跨地域使用自定义镜像？ 包年包月云服务器 ECS 的自定义镜像，是否可以用于开通按量付费的云服务器 ECS？ ECS Windows企业版和标准版区别 什么情况下需要复制镜像？ 可以复制哪些镜像？ 当前有哪些支持镜像复制功能的地域？ 复制一个镜像大概需要多久？ 复制镜像怎么收费的？ 在复制镜像过程中，源镜像和目标镜像有什么限制？ 怎么复制我的云账号的镜像资源到其他云账号的其他地域？ 复制镜像有镜像容量限制吗？ 如何购买镜像市场镜像？ 按次购买的镜像的使用期限是多久？ 镜像市场的镜像支持退款吗？ 镜像市场商业化后，还有免费的镜像市场镜像吗？ 在杭州买了一个镜像市场的镜像，能否在北京创建ECS实例或者更换系统盘？ ECS实例使用镜像市场的镜像，升级和续费ECS实例，需要为镜像继续付费吗？ ECS实例使用镜像市场的镜像，实例释放后，继续购买ECS实例还可以免费使用该镜像吗？ 使用镜像市场镜像创建ECS实例，该实例创建一个自定义镜像，使用该自定义镜像创建ECS实例需要为该镜像付费吗？ 来源于镜像市场的镜像复制到其他地域创建ECS实例，是否需要为该镜像付费？ 如果把来源于镜像市场的自定义镜像共享给其他账号（B）创建ECS实例，账号B是否需要为该镜像付费？ 如果使用镜像市场的镜像或者来源于镜像市场的镜像进行更换系统盘，需要付费吗？ ECS实例正在使用镜像市场的镜像，进行重置系统盘需要收费吗？ 怎么调用ECS API，使用镜像市场镜像或者来源镜像市场的自定义镜像或者共享镜像，创建ECS实例和更换系统盘？ 如果没有购买镜像市场的镜像或者来源于镜像市场的镜像，在调用ECS API 使用该镜像创建ECS实例和更换系统盘，会报错吗？ 我的ESS是自动创建机器的，并且量是不固定，设置最小值为10台，最大值为100台，那么使用镜像市场的镜像如何保证我的的需求实例能正常弹出来？ 镜像市场的镜像是否支持批量购买？ 如果之前使用的镜像市场的镜像，已不存在该商品（如：jxsc000010、jxsc000019），怎能保证已经设置的弹性伸缩组的机器的正常弹出？ 1个product code能否支持不同region的镜像？ 我买了100 product code同样值的镜像，是否可以支持在所有的地域可用？ 为什么有的ECS云服务器无法选择Windows操作系统？ 操作系统是否要收费？ 我能否自己安装或者升级操作系统？ 服务器的登录用户名密码是什么？ 能否更换或升级操作系统？ 操作系统是否有图形界面？ 如何选择操作系统？ 操作系统自带 FTP 上传吗？ 每个用户最多可以获得多少个共享镜像？ 每个镜像最多可以共享给多少个用户？ 使用共享镜像是否占用我的镜像名额？ 使用共享镜像创建实例的时候存不存在地域限制？ 我曾把自己账号中的某个自定义镜像共享给其他账号，现在我可以删除这个镜像吗 我把某个自定义镜像（M）的共享账号（A）给删除了，会有什么影响？ 使用共享镜像创建实例存在什么样的风险？ 我把自定义镜像共享给其他账号，存在什么风险？ 我能把别人共享给我的镜像再共享给他人吗？ 我把镜像共享给他人，还能使用该镜像创建实例吗？ ECS Windows服务器桌面分辨率过高导致VNC花屏处理方法通过 管理终端 进入服务器后，把 Windows 服务器桌面分辨率设置过高，确定后，WebVNC 出现花屏。 ECS创建自定义镜像创建服务器为何需要注释挂载项 勾选"IO优化实例"选项导致购买ECS实例时无法选择云市场镜像 如何为 Linux 服务器安装 GRUB 历史Linux镜像的问题修复方案 如何处理 CentOS DNS 解析超时? 什么是镜像市场的包年包月和按周付费镜像？ 预付费镜像能与哪种 ECS 实例搭配使用？ 怎么购买预付费镜像？可以单独购买吗？ 预付费镜像怎么付费？ 预付费镜像到期了就不能用了吗？怎么继续使用？ 购买预付费镜像后，如果我不想再使用这个镜像，能要求退款吗？ 退款时，费用怎么结算？ 预付费镜像能转换为按量付费镜像吗？ 预付费镜像与其它镜像之间能互换吗？更换后费用怎么计算？ 在哪里查看并管理我购买的预付费镜像？ 使用预付费镜像制作的自定义镜像会收费吗？预付费镜像过期对于自定义镜像有什么影响？ ECS 实例操作系统选择说明 阿里云支持哪些 SUSE 版本？ SUSE 操作系统提供哪些服务支持？ ECS安全组 如何检查 TCP 80 端口是否正常工作？ 什么是安全组？ 为什么在购买 ECS 实例的时候选择安全组？ 安全组配置错误会造成哪些影响？ 专有网络实例设置安全组规则时为什么不能设置公网规则？ 创建 ECS 实例时我还没创建安全组怎么办？ 为什么无法访问 25 端口？ 为什么我的安全组里自动添加了很多规则？ 为什么有些安全组规则的优先级是 110？ 为什么我在安全组里放行了 TCP 80 端口，还是无法访问 80 端口？ ECS安全组被添加内网ip地址了，是怎么回事？ 能说明下ECS安全组中规则的优先级执行匹配顺序吗？ ECS实例安全组默认的公网规则被删除导致无法ping通，ECS 服务器无法ping通，排查防火墙、网卡IP配置无误，回滚系统后仍然无法ping通。 我刚购买了ECS实例，如何选择及配置安全组？ 没有添加默认安全组访问规则-导致通过API创建的ECS实例断网，要怎么恢复？ 使用ECS安全组工具撤销之前账号间互通的操作 ECS网络 带宽与上传、下载速度峰值的有什么关系？ 弹性公网IP在哪里可以查看流量和带宽监控信息？ 我用的是ECS Ubuntu系统，要怎么单独禁用和启动内外网卡？ ECS 实例子网划分和掩码是什么？ ECS 实例网络带宽是否独享？ 带宽单线还是双线，电信还是网通？ 5 Mbps 带宽怎么理解？ 带宽的价格是多少？ 不同地域的 ECS 实例之间的内网是通的吗？ 为何新建的 ECS 实例就有 200 Kbps 左右入网流量？ 我的 ECS 实例经常能在 Web 日志中看到大量的恶意 IP 访问我的网站，疑有刷流量和恶意访问的嫌疑，询问云盾是否有屏蔽 IP 的功能？ 包月ECS新购时是否可以选择带宽按照使用流量计费？ 包月ECS带宽按流量计费是如何计费的? 目前使用的固定带宽计费，是否可以转换为带宽按流量计费？ 是否可以随时调整流量带宽峰值？ 续费变更配置时（比如到期时间为2015年3月31日，续费一个月到4月30日），如果将包月ECS按固定带宽计费改成按流量付费计费，操作以后在未生效前（3月31日前），是否还可以升级带宽？ 续费变更配置时候将包月ECS带宽按流量计费改成按固定带宽计费，为什么我的带宽服务停掉了？ 如果账号没有足够余额，欠费怎么办？ECS实例也会停掉吗？ 带宽流量欠费是否有短信通知？ 当带宽按照流量计费欠费时，是否可以对实例进行升级 CPU、内存操作？ 欠费充值后带宽是自动恢复的吗？ 包月带宽转流量计费后，流量价格是多少？ ECS 服务器出现了异地登录怎么办？ 爱哪里可以查看云服务器 ECS 公网流量统计总和？ 我的ECS 实例对外 DDoS 攻击导致被锁定了，要如何处理 ？ 什么是云服务器 ECS 的入网带宽和出网带宽？ ECS云服务器如何禁用公网IP？ ECS 实例停止（关机）后按量付费带宽仍产生流量，ECS 实例在控制台上状态为已停止，但按量付费的带宽每小时仍会产生不小的费用，且此时 ECS 实例正在遭受攻击，云盾控制台中 DDoS 防护中 ECS 的状态为清洗中。 访问ECS服务器的网站提示“由于你访问的URL可能对网站造成安全威胁，您的访问被阻断”，这是什么原因？ 服务器黑洞是什么？求科普！ 如果想确认该服务器的IP信息和地理位置，要在哪里去查询？ 我想知道客户端本地到ECS服务器是不是丢包，要怎么测试？ 内网和公共 NTP 服务器是什么？它们两个有什么区别 我能 ping 通但端口不通，这是端口的问题吗？ 如何通过防火墙策略限制对外扫描行为？ 我想用手机移动端网络路由跟踪探测，可以吗？ 云监控中的ECS带宽和ECS控制台中看到的带宽不一致是什么原因？ 云服务器ECS三张网卡有什么区别？ Ubuntu系统ECS使用“如何通过防火墙策略限制对外扫描行为”脚本之后出现无法远程、数据库连接不上。 什么业务场景需要在专有网络(VPC)类型ECS购买PublicIP？ 怎么购买专有网络(VPC)类型分配 PublicIP 的 ECS？ 专有网络(VPC)类型 ECS 的 PublicIP 和 EIP 的区别？ 专有网络(VPC)类型ECS的 PublicIP 的可以升级带宽吗？ 专有网络(VPC)类型ECS的 PublicIP 可以解绑吗？ 如果购买网络(VPC)类型 ECS 的时候，没有分配公网 IP，该怎么才能分配一个公网 IP？ 怎么查询专有网络(VPC)类型 ECS 的 PublicIP 的监控数据？ 怎么查询专有网络(VPC)类型ECS的按流量付费的 PublicIP 的账单？ 专有网络和经典网络的 PublicIP 异同？ 专有网络(VPC)类型 ECS 购买 PublicIP 的付费方式？ ECS API 如何通过 API / SDK 实现不同账号 ECS 实例的内网通信？ ECS API绑定公网IP报错：The IP is already in use分析 ECS API修改实例带宽不能指定时间范围吗？ 所在可用区不支持相应磁盘类型-导致ECS API创建实例报错 用ECS API创建实例的时候，返回如下错误信息： "Code": "InvalidDataDiskCategory.NotSupported" 如何创建有公网 IP 的 ECS 实例？ 通过API或SDK查询安全组规则无法显示所有的规则，这是怎么回事？ 如何通过OpenAPI创建ECS实例的流程状态描述？ 数据传输服务DTS实时同步功能，我想只同步表结构，要怎么做？ 如何获取控制台RequestId？ 阿里云中国站部分地域实例什么时候降价？ ECS Linux 实例怎么设置 Locale 变量？ 克隆ECS服务器的方法 其它国家和地区是否都可以提供经典网络和专有网络的类型呢？网络类型是否可以变更呢？ 各个地域的网络覆盖范围是什么呢？ 其他相关问题 不同地域的实例，价格一样吗？ 如果我使用其它国家和地区的实例搭建了一个网站，我的用户将通过域名访问网站，这个域名需要 ICP 备案吗？ 为什么有些实例规格只能在中国大陆地域购买，而在其它国家和地区无法购买？ 可否将中国大陆地域的实例迁移到其它国家和地区呢？ 如何在其它国家和地区部署 ECS 实例？ 我要买其它国家和地区的实例，需要单独申请一个国际站账号吗？ ——更多ECS相关问题—— · ECS故障处理百问合集

简介 ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。 同时ES还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，能够横向扩展至数以百计的服务器存储以及处理PB级的数据。 可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。 ES就是为高可用和可扩展而生的。一方面可以通过升级硬件来完成系统扩展，称为垂直或向上扩展（Vertical Scale/Scaling Up）。 另一方面，增加更多的服务器来完成系统扩展，称为水平扩展或者向外扩展（Horizontal Scale/Scaling Out）。尽管ES能够利用更强劲的硬件，但是垂直扩展毕竟还是有它的极限。真正的可扩展性来自于水平扩展，通过向集群中添加更多的节点来分担负载，增加可靠性。ES天生就是分布式的，它知道如何管理多个节点来完成扩展和实现高可用性。意味应用不需要做任何的改动。 Gateway，代表ES索引的持久化存储方式。在Gateway中，ES默认先把索引存储在内存中，然后当内存满的时候，再持久化到Gateway里。当ES集群关闭或重启的时候，它就会从Gateway里去读取索引数据。比如LocalFileSystem和HDFS、AS3等。 DistributedLucene Directory，它是Lucene里的一些列索引文件组成的目录。它负责管理这些索引文件。包括数据的读取、写入，以及索引的添加和合并等。 River，代表是数据源。是以插件的形式存在于ES中。　 Mapping，映射的意思，非常类似于静态语言中的数据类型。比如我们声明一个int类型的变量，那以后这个变量只能存储int类型的数据。比如我们声明一个double类型的mapping字段，则只能存储double类型的数据。 Mapping不仅是告诉ES，哪个字段是哪种类型。还能告诉ES如何来索引数据，以及数据是否被索引到等。 Search Moudle，搜索模块，支持搜索的一些常用操作 Index Moudle，索引模块，支持索引的一些常用操作 Disvcovery，主要是负责集群的master节点发现。比如某个节点突然离开或进来的情况，进行一个分片重新分片等。这里有个发现机制。 发现机制默认的实现方式是单播和多播的形式，即Zen，同时也支持点对点的实现。另外一种是以插件的形式，即EC2。 Scripting，即脚本语言。包括很多，这里不多赘述。如mvel、js、python等。　　　 Transport，代表ES内部节点，代表跟集群的客户端交互。包括 Thrift、Memcached、Http等协议 RESTful Style API，通过RESTful方式来实现API编程。 3rd plugins，代表第三方插件。 Java(Netty)，是开发框架。 JMX，是监控。 使用案例 1、将ES作为网站的主要后端系统 比如现在搭建一个博客系统，对于博客帖子的数据可以直接在ES上存储，并且使用ES来进行检索，统计。ES提供了持久化的存储、统计和很多其他数据存储的特性。 注意：但是像其他的NOSQL数据存储一样，ES是不支持事务的，如果要事务机制，还是考虑使用其他的数据库做真实库。 2、将ES添加到现有系统 有些时候不需要ES提供所有数据的存储功能，只是想在一个数据存储的基础之上使用ES。比如已经有一个复杂的系统在运行，但是现在想加一个搜索的功能，就可以使用该方案。 3、将ES作为现有解决方案的后端部分 因为ES是开源的系统，提供了直接的HTTP接口，并且现在有一个大型的生态系统在支持他。比如现在我们想部署大规模的日志框架、用于存储、搜索和分析海量的事件，考虑到现有的工具可以写入和读取ES，可以不需要进行任何开发，配置这些工具就可以去运作。 设计结构 1、逻辑设计 文档 文档是可以被索引的信息的基本单位，它包含几个重要的属性： 是自我包含的。一篇文档同时包含字段和他们的取值。 是层次型的。文档中还可以包含新的文档，一个字段的取值可以是简单的，例如location字段的取值可以是字符串，还可以包含其他字段和取值，比如可以同时包含城市和街道地址。 拥有灵活的结构。文档不依赖于预先定义的模式。也就是说并非所有的文档都需要拥有相同的字段，并不受限于同一个模式 {   "name":"meeting",   "location":"office",   "organizer":"yanping" } {   "name":"meeting",   "location":{     "name":"sheshouzuo",        "date":"2019-6-28"   },   "memebers":["leio","shiyi"] } 类型 类型是文档的逻辑容器，类似于表格是行的容器。在不同的类型中，最好放入不同的结构的文档。 字段 ES中，每个文档，其实是以json形式存储的。而一个文档可以被视为多个字段的集合。 映射 每个类型中字段的定义称为映射。例如，name字段映射为String。 索引 索引是映射类型的容器一个ES的索引非常像关系型世界中的数据库，是独立的大量文档集合。   关系型数据库与ES的结构上的对比 2、物理设计 节点 一个节点是一个ES的实例，在服务器上启动ES之后，就拥有了一个节点，如果在另一个服务器上启动ES，这就是另一个节点。甚至可以在一台服务器上启动多个ES进程，在一台服务器上拥有多个节点。多个节点可以加入同一个集群。 当ElasticSearch的节点启动后，它会利用多播(multicast)(或者单播，如果用户更改了配置)寻找集群中的其它节点，并与之建立连接。这个过程如下图所示： 节点主要有3种类型，第一种类型是client_node，主要是起到请求分发的作用，类似路由。第二种类型是master_node，是主的节点，所有的新增，删除，数据分片都是由主节点操作（elasticsearch底层是没有更新数据操作的，上层对外提供的更新实际上是删除了再新增），当然也能承担搜索操作。第三种类型是date_node，该类型的节点只能做搜索操作，具体会分配到哪个date_node，就是由client_node决定，而data_node的数据都是从master_node同步过来的 分片 一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。   为了解决这个问题，ES提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。 分片之所以重要，主要有两方面的原因：   1、允许你水平分割/扩展你的内容容量 允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量 至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由ES管理的，对于作为用户的你来说，这些都是透明的。   2、在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了。这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，ES允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。 复制之所以重要，主要有两方面的原因： （1）在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。 （2）扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行 总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制数量，但是不能改变分片的数量。   默认情况下，ES中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。一个索引的多个分片可以存放在集群中的一台主机上，也可以存放在多台主机上，这取决于你的集群机器数量。主分片和复制分片的具体位置是由ES内在的策略所决定的。 3、插件HEAD elasticsearch-head是一个界面化的集群操作和管理工具 ● node：即一个 Elasticsearch 的运行实例，使用多播或单播方式发现 cluster 并加入。 ● cluster：包含一个或多个拥有相同集群名称的 node，其中包含一个master node。 ● index：类比关系型数据库里的DB，是一个逻辑命名空间。 ● alias：可以给 index 添加零个或多个alias，通过 alias 使用index 和根据index name 访问index一样，但是，alias给我们提供了一种切换index的能力，比如重建了index，取名● customer_online_v2，这时，有了alias，我要访问新 index，只需要把 alias 添加到新 index 即可，并把alias从旧的 index 删除。不用修改代码。 ● type：类比关系数据库里的Table。其中，一个index可以定义多个type，但一般使用习惯仅配一个type。 ● mapping：类比关系型数据库中的 schema 概念，mapping 定义了 index 中的 type。mapping 可以显示的定义，也可以在 document 被索引时自动生成，如果有新的 field，Elasticsearch 会自动推测出 field 的type并加到mapping中。 ● document：类比关系数据库里的一行记录(record)，document 是 Elasticsearch 里的一个 JSON 对象，包括零个或多个field。 ● field：类比关系数据库里的field，每个field 都有自己的字段类型。 ● shard：是一个Lucene 实例。Elasticsearch 基于 Lucene，shard 是一个 Lucene 实例，被 Elasticsearch 自动管理。之前提到，index 是一个逻辑命名空间，shard 是具体的物理概念，建索引、查询等都是具体的shard在工作。shard 包括primary shard 和 replica shard，写数据时，先写到primary shard，然后，同步到replica shard，查询时，primary 和 replica 充当相同的作用。replica shard 可以有多份，也可以没有，replica shard的存在有两个作用，一是容灾，如果primary shard 挂了，数据也不会丢失，集群仍然能正常工作；二是提高性能，因为replica 和 primary shard 都能处理查询。另外，如上图右侧红框所示，shard数和replica数都可以设置，但是，shard 数只能在建立index 时设置，后期不能更改，但是，replica 数可以随时更改。但是，由于 Elasticsearch 很友好的封装了这部分，在使用Elasticsearch 的过程中，我们一般仅需要关注 index 即可，不需关注shard。   shard、node、cluster 在物理上构成了 Elasticsearch 集群，field、type、index 在逻辑上构成一个index的基本概念，在使用 Elasticsearch 过程中，我们一般关注到逻辑概念就好，就像我们在使用MySQL 时，我们一般就关注DB Name、Table和schema即可，而不会关注DBA维护了几个MySQL实例、master 和 slave 等怎么部署的一样。 ES中的索引原理 （1）传统的关系型数据库 二叉树查找效率是logN，同时插入新的节点不必移动全部节点，所以用树型结构存储索引，能同时兼顾插入和查询的性能。因此在这个基础上，再结合磁盘的读取特性(顺序读/随机读)，传统关系型数据库采用了B-Tree/B+Tree这样的数据结构做索引 （2）ES 采用倒排索引 那么，倒排索引是个什么样子呢？ 首先，来搞清楚几个概念，为此，举个例子： 假设有个user索引，它有四个字段：分别是name，gender，age，address。画出来的话，大概是下面这个样子，跟关系型数据库一样 Term（单词）：一段文本经过分析器分析以后就会输出一串单词，这一个一个的就叫做Term Term Dictionary（单词字典）：顾名思义，它里面维护的是Term，可以理解为Term的集合 Term Index（单词索引）：为了更快的找到某个单词，我们为单词建立索引 Posting List（倒排列表）：倒排列表记录了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息，每条记录称为一个倒排项(Posting)。根据倒排列表，即可获知哪些文档包含某个单词。（PS：实际的倒排列表中并不只是存了文档ID这么简单，还有一些其它的信息，比如：词频（Term出现的次数）、偏移量（offset）等，可以想象成是Python中的元组，或者Java中的对象） （PS：如果类比现代汉语词典的话，那么Term就相当于词语，Term Dictionary相当于汉语词典本身，Term Index相当于词典的目录索引） 我们知道，每个文档都有一个ID，如果插入的时候没有指定的话，Elasticsearch会自动生成一个，因此ID字段就不多说了 上面的例子，Elasticsearch建立的索引大致如下： name字段： age字段： gender字段： address字段： Elasticsearch分别为每个字段都建立了一个倒排索引。比如，在上面“张三”、“北京市”、22 这些都是Term，而[1，3]就是Posting List。Posting list就是一个数组，存储了所有符合某个Term的文档ID。 只要知道文档ID，就能快速找到文档。可是，要怎样通过我们给定的关键词快速找到这个Term呢？ 当然是建索引了，为Terms建立索引，最好的就是B-Tree索引（MySQL就是B树索引最好的例子）。 我们查找Term的过程跟在MyISAM中记录ID的过程大致是一样的 MyISAM中，索引和数据是分开，通过索引可以找到记录的地址，进而可以找到这条记录 在倒排索引中，通过Term索引可以找到Term在Term Dictionary中的位置，进而找到Posting List，有了倒排列表就可以根据ID找到文档了 （PS：可以这样理解，类比MyISAM的话，Term Index相当于索引文件，Term Dictionary相当于数据文件） （PS：其实，前面我们分了三步，我们可以把Term Index和Term Dictionary看成一步，就是找Term。因此，可以这样理解倒排索引：通过单词找到对应的倒排列表，根据倒排列表中的倒排项进而可以找到文档记录） 为了更进一步理解，用两张图来具现化这一过程： （至于里面涉及的更加高深的数据压缩技巧，以及多个field联合查询利用跳表的数据结构快速做运算来查询，这些大家有兴趣可以自己去了解）

遍历一个 List 有哪些不同的方式？每种方法的实现原理是什么？Java 中 List 遍历的最佳实践是什么？ 遍历方式有以下几种： for 循环遍历，基于计数器。在集合外部维护一个计数器，然后依次读取每一个位置的元素，当读取到最后一个元素后停止。 迭代器遍历，Iterator。Iterator 是面向对象的一个设计模式，目的是屏蔽不同数据集合的特点，统一遍历集合的接口。Java 在 Collections 中支持了 Iterator 模式。 foreach 循环遍历。foreach 内部也是采用了 Iterator 的方式实现，使用时不需要显式声明 Iterator 或计数器。优点是代码简洁，不易出错；缺点是只能做简单的遍历，不能在遍历过程中操作数据集合，例如删除、替换。 最佳实践：Java Collections 框架中提供了一个 RandomAccess 接口，用来标记 List 实现是否支持 Random Access。 如果一个数据集合实现了该接口，就意味着它支持 Random Access，按位置读取元素的平均时间复杂度为 O(1)，如ArrayList。如果没有实现该接口，表示不支持 Random Access，如LinkedList。 推荐的做法就是，支持 Random Access 的列表可用 for 循环遍历，否则建议用 Iterator 或 foreach 遍历。 说一下 ArrayList 的优缺点 ArrayList的优点如下： ArrayList 底层以数组实现，是一种随机访问模式。ArrayList 实现了 RandomAccess 接口，因此查找的时候非常快。ArrayList 在顺序添加一个元素的时候非常方便。 ArrayList 的缺点如下： 删除元素的时候，需要做一次元素复制操作。如果要复制的元素很多，那么就会比较耗费性能。插入元素的时候，也需要做一次元素复制操作，缺点同上。 ArrayList 比较适合顺序添加、随机访问的场景。 如何实现数组和 List 之间的转换？ 数组转 List：使用 Arrays. asList(array) 进行转换。List 转数组：使用 List 自带的 toArray() 方法。 代码示例： ArrayList 和 LinkedList 的区别是什么？ 数据结构实现：ArrayList 是动态数组的数据结构实现，而 LinkedList 是双向链表的数据结构实现。随机访问效率：ArrayList 比 LinkedList 在随机访问的时候效率要高，因为 LinkedList 是线性的数据存储方式，所以需要移动指针从前往后依次查找。增加和删除效率：在非首尾的增加和删除操作，LinkedList 要比 ArrayList 效率要高，因为 ArrayList 增删操作要影响数组内的其他数据的下标。内存空间占用：LinkedList 比 ArrayList 更占内存，因为 LinkedList 的节点除了存储数据，还存储了两个引用，一个指向前一个元素，一个指向后一个元素。线程安全：ArrayList 和 LinkedList 都是不同步的，也就是不保证线程安全； 综合来说，在需要频繁读取集合中的元素时，更推荐使用 ArrayList，而在插入和删除操作较多时，更推荐使用 LinkedList。 补充：数据结构基础之双向链表 双向链表也叫双链表，是链表的一种，它的每个数据结点中都有两个指针，分别指向直接后继和直接前驱。所以，从双向链表中的任意一个结点开始，都可以很方便地访问它的前驱结点和后继结点。 ArrayList 和 Vector 的区别是什么？ 这两个类都实现了 List 接口（List 接口继承了 Collection 接口），他们都是有序集合 线程安全：Vector 使用了 Synchronized 来实现线程同步，是线程安全的，而 ArrayList 是非线程安全的。性能：ArrayList 在性能方面要优于 Vector。扩容：ArrayList 和 Vector 都会根据实际的需要动态的调整容量，只不过在 Vector 扩容每次会增加 1 倍，而 ArrayList 只会增加 50%。 Vector类的所有方法都是同步的。可以由两个线程安全地访问一个Vector对象、但是一个线程访问Vector的话代码要在同步操作上耗费大量的时间。 Arraylist不是同步的，所以在不需要保证线程安全时时建议使用Arraylist。 插入数据时，ArrayList、LinkedList、Vector谁速度较快？阐述 ArrayList、Vector、LinkedList 的存储性能和特性？ ArrayList、LinkedList、Vector 底层的实现都是使用数组方式存储数据。数组元素数大于实际存储的数据以便增加和插入元素，它们都允许直接按序号索引元素，但是插入元素要涉及数组元素移动等内存操作，所以索引数据快而插入数据慢。 Vector 中的方法由于加了 synchronized 修饰，因此 Vector 是线程安全容器，但性能上较ArrayList差。 LinkedList 使用双向链表实现存储，按序号索引数据需要进行前向或后向遍历，但插入数据时只需要记录当前项的前后项即可，所以 LinkedList 插入速度较快。 多线程场景下如何使用 ArrayList？ ArrayList 不是线程安全的，如果遇到多线程场景，可以通过 Collections 的 synchronizedList 方法将其转换成线程安全的容器后再使用。例如像下面这样： 为什么 ArrayList 的 elementData 加上 transient 修饰？ ArrayList 中的数组定义如下： private transient Object[] elementData; 再看一下 ArrayList 的定义： public class ArrayList extends AbstractList implements List<E>, RandomAccess, Cloneable, java.io.Serializable 可以看到 ArrayList 实现了 Serializable 接口，这意味着 ArrayList 支持序列化。transient 的作用是说不希望 elementData 数组被序列化，重写了 writeObject 实现： 每次序列化时，先调用 defaultWriteObject() 方法序列化 ArrayList 中的非 transient 元素，然后遍历 elementData，只序列化已存入的元素，这样既加快了序列化的速度，又减小了序列化之后的文件大小。 List 和 Set 的区别 List , Set 都是继承自Collection 接口 List 特点：一个有序（元素存入集合的顺序和取出的顺序一致）容器，元素可以重复，可以插入多个null元素，元素都有索引。常用的实现类有 ArrayList、LinkedList 和 Vector。 Set 特点：一个无序（存入和取出顺序有可能不一致）容器，不可以存储重复元素，只允许存入一个null元素，必须保证元素唯一性。Set 接口常用实现类是 HashSet、LinkedHashSet 以及 TreeSet。 另外 List 支持for循环，也就是通过下标来遍历，也可以用迭代器，但是set只能用迭代，因为他无序，无法用下标来取得想要的值。 Set和List对比 Set：检索元素效率低下，删除和插入效率高，插入和删除不会引起元素位置改变。 List：和数组类似，List可以动态增长，查找元素效率高，插入删除元素效率低，因为会引起其他元素位置改变 Set接口 说一下 HashSet 的实现原理？ HashSet 是基于 HashMap 实现的，HashSet的值存放于HashMap的key上，HashMap的value统一为PRESENT，因此 HashSet 的实现比较简单，相关 HashSet 的操作，基本上都是直接调用底层 HashMap 的相关方法来完成，HashSet 不允许重复的值。 HashSet如何检查重复？HashSet是如何保证数据不可重复的？ 向HashSet 中add ()元素时，判断元素是否存在的依据，不仅要比较hash值，同时还要结合equles 方法比较。 HashSet 中的add ()方法会使用HashMap 的put()方法。 HashMap 的 key 是唯一的，由源码可以看出 HashSet 添加进去的值就是作为HashMap 的key，并且在HashMap中如果K/V相同时，会用新的V覆盖掉旧的V，然后返回旧的V。所以不会重复（ HashMap 比较key是否相等是先比较hashcode 再比较equals ）。 以下是HashSet 部分源码： hashCode（）与equals（）的相关规定： 如果两个对象相等，则hashcode一定也是相同的 两个对象相等,对两个equals方法返回true 两个对象有相同的hashcode值，它们也不一定是相等的 综上，equals方法被覆盖过，则hashCode方法也必须被覆盖 hashCode()的默认行为是对堆上的对象产生独特值。如果没有重写hashCode()，则该class的两个对象无论如何都不会相等（即使这两个对象指向相同的数据）。 ** ==与equals的区别** ==是判断两个变量或实例是不是指向同一个内存空间 equals是判断两个变量或实例所指向的内存空间的值是不是相同 ==是指对内存地址进行比较 equals()是对字符串的内容进行比较3.==指引用是否相同 equals()指的是值是否相同 HashSet与HashMap的区别 Queue BlockingQueue是什么？ Java.util.concurrent.BlockingQueue是一个队列，在进行检索或移除一个元素的时候，它会等待队列变为非空；当在添加一个元素时，它会等待队列中的可用空间。BlockingQueue接口是Java集合框架的一部分，主要用于实现生产者-消费者模式。我们不需要担心等待生产者有可用的空间，或消费者有可用的对象，因为它都在BlockingQueue的实现类中被处理了。Java提供了集中BlockingQueue的实现，比如ArrayBlockingQueue、LinkedBlockingQueue、PriorityBlockingQueue,、SynchronousQueue等。 在 Queue 中 poll()和 remove()有什么区别？ 相同点：都是返回第一个元素，并在队列中删除返回的对象。 不同点：如果没有元素 poll()会返回 null，而 remove()会直接抛出 NoSuchElementException 异常。 代码示例： Queue queue = new LinkedList (); queue. offer("string"); // add System. out. println(queue. poll()); System. out. println(queue. remove()); System. out. println(queue. size()); Map接口 说一下 HashMap 的实现原理？ HashMap概述： HashMap是基于哈希表的Map接口的非同步实现。此实现提供所有可选的映射操作，并允许使用null值和null键。此类不保证映射的顺序，特别是它不保证该顺序恒久不变。 HashMap的数据结构： 在Java编程语言中，最基本的结构就是两种，一个是数组，另外一个是模拟指针（引用），所有的数据结构都可以用这两个基本结构来构造的，HashMap也不例外。HashMap实际上是一个“链表散列”的数据结构，即数组和链表的结合体。 HashMap 基于 Hash 算法实现的 当我们往Hashmap中put元素时，利用key的hashCode重新hash计算出当前对象的元素在数组中的下标存储时，如果出现hash值相同的key，此时有两种情况。(1)如果key相同，则覆盖原始值；(2)如果key不同（出现冲突），则将当前的key-value放入链表中获取时，直接找到hash值对应的下标，在进一步判断key是否相同，从而找到对应值。理解了以上过程就不难明白HashMap是如何解决hash冲突的问题，核心就是使用了数组的存储方式，然后将冲突的key的对象放入链表中，一旦发现冲突就在链表中做进一步的对比。 需要注意Jdk 1.8中对HashMap的实现做了优化，当链表中的节点数据超过八个之后，该链表会转为红黑树来提高查询效率，从原来的O(n)到O(logn) HashMap在JDK1.7和JDK1.8中有哪些不同？HashMap的底层实现 在Java中，保存数据有两种比较简单的数据结构：数组和链表。数组的特点是：寻址容易，插入和删除困难；链表的特点是：寻址困难，但插入和删除容易；所以我们将数组和链表结合在一起，发挥两者各自的优势，使用一种叫做拉链法的方式可以解决哈希冲突。 JDK1.8之前 JDK1.8之前采用的是拉链法。拉链法：将链表和数组相结合。也就是说创建一个链表数组，数组中每一格就是一个链表。若遇到哈希冲突，则将冲突的值加到链表中即可。 JDK1.8之后 相比于之前的版本，jdk1.8在解决哈希冲突时有了较大的变化，当链表长度大于阈值（默认为8）时，将链表转化为红黑树，以减少搜索时间。 JDK1.7 VS JDK1.8 比较 JDK1.8主要解决或优化了一下问题： resize 扩容优化引入了红黑树，目的是避免单条链表过长而影响查询效率，红黑树算法请参考解决了多线程死循环问题，但仍是非线程安全的，多线程时可能会造成数据丢失问题。 HashMap的put方法的具体流程？ 当我们put的时候，首先计算 key的hash值，这里调用了 hash方法，hash方法实际是让key.hashCode()与key.hashCode()>>>16进行异或操作，高16bit补0，一个数和0异或不变，所以 hash 函数大概的作用就是：高16bit不变，低16bit和高16bit做了一个异或，目的是减少碰撞。按照函数注释，因为bucket数组大小是2的幂，计算下标index = (table.length - 1) & hash，如果不做 hash 处理，相当于散列生效的只有几个低 bit 位，为了减少散列的碰撞，设计者综合考虑了速度、作用、质量之后，使用高16bit和低16bit异或来简单处理减少碰撞，而且JDK8中用了复杂度 O（logn）的树结构来提升碰撞下的性能。 putVal方法执行流程图 ①.判断键值对数组table[i]是否为空或为null，否则执行resize()进行扩容； ②.根据键值key计算hash值得到插入的数组索引i，如果table[i]==null，直接新建节点添加，转向⑥，如果table[i]不为空，转向③； ③.判断table[i]的首个元素是否和key一样，如果相同直接覆盖value，否则转向④，这里的相同指的是hashCode以及equals； ④.判断table[i] 是否为treeNode，即table[i] 是否是红黑树，如果是红黑树，则直接在树中插入键值对，否则转向⑤； ⑤.遍历table[i]，判断链表长度是否大于8，大于8的话把链表转换为红黑树，在红黑树中执行插入操作，否则进行链表的插入操作；遍历过程中若发现key已经存在直接覆盖value即可； ⑥.插入成功后，判断实际存在的键值对数量size是否超多了最大容量threshold，如果超过，进行扩容。 HashMap的扩容操作是怎么实现的？ ①.在jdk1.8中，resize方法是在hashmap中的键值对大于阀值时或者初始化时，就调用resize方法进行扩容； ②.每次扩展的时候，都是扩展2倍； ③.扩展后Node对象的位置要么在原位置，要么移动到原偏移量两倍的位置。 在putVal()中，我们看到在这个函数里面使用到了2次resize()方法，resize()方法表示的在进行第一次初始化时会对其进行扩容，或者当该数组的实际大小大于其临界值值(第一次为12),这个时候在扩容的同时也会伴随的桶上面的元素进行重新分发，这也是JDK1.8版本的一个优化的地方，在1.7中，扩容之后需要重新去计算其Hash值，根据Hash值对其进行分发，但在1.8版本中，则是根据在同一个桶的位置中进行判断(e.hash & oldCap)是否为0，重新进行hash分配后，该元素的位置要么停留在原始位置，要么移动到原始位置+增加的数组大小这个位置上 HashMap是怎么解决哈希冲突的？ 答：在解决这个问题之前，我们首先需要知道什么是哈希冲突，而在了解哈希冲突之前我们还要知道什么是哈希才行； 什么是哈希？ Hash，一般翻译为“散列”，也有直接音译为“哈希”的，这就是把任意长度的输入通过散列算法，变换成固定长度的输出，该输出就是散列值（哈希值）；这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。 所有散列函数都有如下一个基本特性**：根据同一散列函数计算出的散列值如果不同，那么输入值肯定也不同。但是，根据同一散列函数计算出的散列值如果相同，输入值不一定相同**。 什么是哈希冲突？ 当两个不同的输入值，根据同一散列函数计算出相同的散列值的现象，我们就把它叫做碰撞（哈希碰撞）。 HashMap的数据结构 在Java中，保存数据有两种比较简单的数据结构：数组和链表。数组的特点是：寻址容易，插入和删除困难；链表的特点是：寻址困难，但插入和删除容易；所以我们将数组和链表结合在一起，发挥两者各自的优势，使用一种叫做链地址法的方式可以解决哈希冲突： 这样我们就可以将拥有相同哈希值的对象组织成一个链表放在hash值所对应的bucket下，但相比于hashCode返回的int类型，我们HashMap初始的容量大小DEFAULT_INITIAL_CAPACITY = 1 << 4（即2的四次方16）要远小于int类型的范围，所以我们如果只是单纯的用hashCode取余来获取对应的bucket这将会大大增加哈希碰撞的概率，并且最坏情况下还会将HashMap变成一个单链表，所以我们还需要对hashCode作一定的优化 hash()函数 上面提到的问题，主要是因为如果使用hashCode取余，那么相当于参与运算的只有hashCode的低位，高位是没有起到任何作用的，所以我们的思路就是让hashCode取值出的高位也参与运算，进一步降低hash碰撞的概率，使得数据分布更平均，我们把这样的操作称为扰动，在JDK 1.8中的hash()函数如下： static final int hash(Object key) { int h; return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);// 与自己右移16位进行异或运算（高低位异或） } 这比在JDK 1.7中，更为简洁，相比在1.7中的4次位运算，5次异或运算（9次扰动），在1.8中，只进行了1次位运算和1次异或运算（2次扰动）； JDK1.8新增红黑树 通过上面的链地址法（使用散列表）和扰动函数我们成功让我们的数据分布更平均，哈希碰撞减少，但是当我们的HashMap中存在大量数据时，加入我们某个bucket下对应的链表有n个元素，那么遍历时间复杂度就为O(n)，为了针对这个问题，JDK1.8在HashMap中新增了红黑树的数据结构，进一步使得遍历复杂度降低至O(logn)； 总结 简单总结一下HashMap是使用了哪些方法来有效解决哈希冲突的： 使用链地址法（使用散列表）来链接拥有相同hash值的数据；使用2次扰动函数（hash函数）来降低哈希冲突的概率，使得数据分布更平均；引入红黑树进一步降低遍历的时间复杂度，使得遍历更快； **能否使用任何类作为 Map 的 key？ **可以使用任何类作为 Map 的 key，然而在使用之前，需要考虑以下几点： 如果类重写了 equals() 方法，也应该重写 hashCode() 方法。 类的所有实例需要遵循与 equals() 和 hashCode() 相关的规则。 如果一个类没有使用 equals()，不应该在 hashCode() 中使用它。 用户自定义 Key 类最佳实践是使之为不可变的，这样 hashCode() 值可以被缓存起来，拥有更好的性能。不可变的类也可以确保 hashCode() 和 equals() 在未来不会改变，这样就会解决与可变相关的问题了。 为什么HashMap中String、Integer这样的包装类适合作为K？ 答：String、Integer等包装类的特性能够保证Hash值的不可更改性和计算准确性，能够有效的减少Hash碰撞的几率 都是final类型，即不可变性，保证key的不可更改性，不会存在获取hash值不同的情况 内部已重写了equals()、hashCode()等方法，遵守了HashMap内部的规范（不清楚可以去上面看看putValue的过程），不容易出现Hash值计算错误的情况； 如果使用Object作为HashMap的Key，应该怎么办呢？ 答：重写hashCode()和equals()方法 重写hashCode()是因为需要计算存储数据的存储位置，需要注意不要试图从散列码计算中排除掉一个对象的关键部分来提高性能，这样虽然能更快但可能会导致更多的Hash碰撞； 重写equals()方法，需要遵守自反性、对称性、传递性、一致性以及对于任何非null的引用值x，x.equals(null)必须返回false的这几个特性，目的是为了保证key在哈希表中的唯一性； HashMap为什么不直接使用hashCode()处理后的哈希值直接作为table的下标 答：hashCode()方法返回的是int整数类型，其范围为-(2 ^ 31)~(2 ^ 31 - 1)，约有40亿个映射空间，而HashMap的容量范围是在16（初始化默认值）~2 ^ 30，HashMap通常情况下是取不到最大值的，并且设备上也难以提供这么多的存储空间，从而导致通过hashCode()计算出的哈希值可能不在数组大小范围内，进而无法匹配存储位置； 那怎么解决呢？ HashMap自己实现了自己的hash()方法，通过两次扰动使得它自己的哈希值高低位自行进行异或运算，降低哈希碰撞概率也使得数据分布更平均； 在保证数组长度为2的幂次方的时候，使用hash()运算之后的值与运算（&）（数组长度 - 1）来获取数组下标的方式进行存储，这样一来是比取余操作更加有效率，二来也是因为只有当数组长度为2的幂次方时，h&(length-1)才等价于h%length，三来解决了“哈希值与数组大小范围不匹配”的问题； HashMap 的长度为什么是2的幂次方 为了能让 HashMap 存取高效，尽量较少碰撞，也就是要尽量把数据分配均匀，每个链表/红黑树长度大致相同。这个实现就是把数据存到哪个链表/红黑树中的算法。 这个算法应该如何设计呢？ 我们首先可能会想到采用%取余的操作来实现。但是，重点来了：“取余(%)操作中如果除数是2的幂次则等价于与其除数减一的与(&)操作（也就是说 hash%length==hash&(length-1)的前提是 length 是2的 n 次方；）。” 并且 采用二进制位操作 &，相对于%能够提高运算效率，这就解释了 HashMap 的长度为什么是2的幂次方。 那为什么是两次扰动呢？ 答：这样就是加大哈希值低位的随机性，使得分布更均匀，从而提高对应数组存储下标位置的随机性&均匀性，最终减少Hash冲突，两次就够了，已经达到了高位低位同时参与运算的目的； HashMap 与 HashTable 有什么区别？ 线程安全： HashMap 是非线程安全的，HashTable 是线程安全的；HashTable 内部的方法基本都经过 synchronized 修饰。（如果你要保证线程安全的话就使用 ConcurrentHashMap 吧！）； 效率： 因为线程安全的问题，HashMap 要比 HashTable 效率高一点。另外，HashTable 基本被淘汰，不要在代码中使用它； 对Null key 和Null value的支持： HashMap 中，null 可以作为键，这样的键只有一个，可以有一个或多个键所对应的值为 null。但是在 HashTable 中 put 进的键值只要有一个 null，直接抛NullPointerException。 **初始容量大小和每次扩充容量大小的不同 **： ①创建时如果不指定容量初始值，Hashtable 默认的初始大小为11，之后每次扩充，容量变为原来的2n+1。HashMap 默认的初始化大小为16。之后每次扩充，容量变为原来的2倍。②创建时如果给定了容量初始值，那么 Hashtable 会直接使用你给定的大小，而 HashMap 会将其扩充为2的幂次方大小。也就是说 HashMap 总是使用2的幂作为哈希表的大小，后面会介绍到为什么是2的幂次方。 底层数据结构： JDK1.8 以后的 HashMap 在解决哈希冲突时有了较大的变化，当链表长度大于阈值（默认为8）时，将链表转化为红黑树，以减少搜索时间。Hashtable 没有这样的机制。 推荐使用：在 Hashtable 的类注释可以看到，Hashtable 是保留类不建议使用，推荐在单线程环境下使用 HashMap 替代，如果需要多线程使用则用 ConcurrentHashMap 替代。 如何决定使用 HashMap 还是 TreeMap？ 对于在Map中插入、删除和定位元素这类操作，HashMap是最好的选择。然而，假如你需要对一个有序的key集合进行遍历，TreeMap是更好的选择。基于你的collection的大小，也许向HashMap中添加元素会更快，将map换为TreeMap进行有序key的遍历。 HashMap 和 ConcurrentHashMap 的区别 ConcurrentHashMap对整个桶数组进行了分割分段(Segment)，然后在每一个分段上都用lock锁进行保护，相对于HashTable的synchronized锁的粒度更精细了一些，并发性能更好，而HashMap没有锁机制，不是线程安全的。（JDK1.8之后ConcurrentHashMap启用了一种全新的方式实现,利用CAS算法。） HashMap的键值对允许有null，但是ConCurrentHashMap都不允许。 ConcurrentHashMap 和 Hashtable 的区别？ ConcurrentHashMap 和 Hashtable 的区别主要体现在实现线程安全的方式上不同。 底层数据结构： JDK1.7的 ConcurrentHashMap 底层采用 分段的数组+链表 实现，JDK1.8 采用的数据结构跟HashMap1.8的结构一样，数组+链表/红黑二叉树。Hashtable 和 JDK1.8 之前的 HashMap 的底层数据结构类似都是采用 数组+链表 的形式，数组是 HashMap 的主体，链表则是主要为了解决哈希冲突而存在的； 实现线程安全的方式（重要）： ① 在JDK1.7的时候，ConcurrentHashMap（分段锁） 对整个桶数组进行了分割分段(Segment)，每一把锁只锁容器其中一部分数据，多线程访问容器里不同数据段的数据，就不会存在锁竞争，提高并发访问率。（默认分配16个Segment，比Hashtable效率提高16倍。） 到了 JDK1.8 的时候已经摒弃了Segment的概念，而是直接用 Node 数组+链表+红黑树的数据结构来实现，并发控制使用 synchronized 和 CAS 来操作。（JDK1.6以后 对 synchronized锁做了很多优化） 整个看起来就像是优化过且线程安全的 HashMap，虽然在JDK1.8中还能看到 Segment 的数据结构，但是已经简化了属性，只是为了兼容旧版本；② Hashtable(同一把锁) :使用 synchronized 来保证线程安全，效率非常低下。当一个线程访问同步方法时，其他线程也访问同步方法，可能会进入阻塞或轮询状态，如使用 put 添加元素，另一个线程不能使用 put 添加元素，也不能使用 get，竞争会越来越激烈效率越低。 两者的对比图： HashTable: JDK1.7的ConcurrentHashMap： JDK1.8的ConcurrentHashMap（TreeBin: 红黑二叉树节点 Node: 链表节点）： 答：ConcurrentHashMap 结合了 HashMap 和 HashTable 二者的优势。HashMap 没有考虑同步，HashTable 考虑了同步的问题。但是 HashTable 在每次同步执行时都要锁住整个结构。 ConcurrentHashMap 锁的方式是稍微细粒度的。 ConcurrentHashMap 底层具体实现知道吗？实现原理是什么？ JDK1.7 首先将数据分为一段一段的存储，然后给每一段数据配一把锁，当一个线程占用锁访问其中一个段数据时，其他段的数据也能被其他线程访问。 在JDK1.7中，ConcurrentHashMap采用Segment + HashEntry的方式进行实现，结构如下： 一个 ConcurrentHashMap 里包含一个 Segment 数组。Segment 的结构和HashMap类似，是一种数组和链表结构，一个 Segment 包含一个 HashEntry 数组，每个 HashEntry 是一个链表结构的元素，每个 Segment 守护着一个HashEntry数组里的元素，当对 HashEntry 数组的数据进行修改时，必须首先获得对应的 Segment的锁。 该类包含两个静态内部类 HashEntry 和 Segment ；前者用来封装映射表的键值对，后者用来充当锁的角色；Segment 是一种可重入的锁 ReentrantLock，每个 Segment 守护一个HashEntry 数组里得元素，当对 HashEntry 数组的数据进行修改时，必须首先获得对应的 Segment 锁。 JDK1.8 在JDK1.8中，放弃了Segment臃肿的设计，取而代之的是采用Node + CAS + Synchronized来保证并发安全进行实现，synchronized只锁定当前链表或红黑二叉树的首节点，这样只要hash不冲突，就不会产生并发，效率又提升N倍。 结构如下： 如果该节点是TreeBin类型的节点，说明是红黑树结构，则通过putTreeVal方法往红黑树中插入节点；如果binCount不为0，说明put操作对数据产生了影响，如果当前链表的个数达到8个，则通过treeifyBin方法转化为红黑树，如果oldVal不为空，说明是一次更新操作，没有对元素个数产生影响，则直接返回旧值；如果插入的是一个新节点，则执行addCount()方法尝试更新元素个数baseCount； 辅助工具类 Array 和 ArrayList 有何区别？ Array 可以存储基本数据类型和对象，ArrayList 只能存储对象。Array 是指定固定大小的，而 ArrayList 大小是自动扩展的。Array 内置方法没有 ArrayList 多，比如 addAll、removeAll、iteration 等方法只有 ArrayList 有。 对于基本类型数据，集合使用自动装箱来减少编码工作量。但是，当处理固定大小的基本数据类型的时候，这种方式相对比较慢。 如何实现 Array 和 List 之间的转换？ Array 转 List： Arrays. asList(array) ；List 转 Array：List 的 toArray() 方法。 comparable 和 comparator的区别？ comparable接口实际上是出自java.lang包，它有一个 compareTo(Object obj)方法用来排序comparator接口实际上是出自 java.util 包，它有一个compare(Object obj1, Object obj2)方法用来排序 一般我们需要对一个集合使用自定义排序时，我们就要重写compareTo方法或compare方法，当我们需要对某一个集合实现两种排序方式，比如一个song对象中的歌名和歌手名分别采用一种排序方法的话，我们可以重写compareTo方法和使用自制的Comparator方法或者以两个Comparator来实现歌名排序和歌星名排序，第二种代表我们只能使用两个参数版的Collections.sort(). 方法如何比较元素？ TreeSet 要求存放的对象所属的类必须实现 Comparable 接口，该接口提供了比较元素的 compareTo()方法，当插入元素时会回调该方法比较元素的大小。TreeMap 要求存放的键值对映射的键必须实现 Comparable 接口从而根据键对元素进 行排 序。 Collections 工具类的 sort 方法有两种重载的形式， 第一种要求传入的待排序容器中存放的对象比较实现 Comparable 接口以实现元素的比较； 第二种不强制性的要求容器中的元素必须可比较，但是要求传入第二个参数，参数是Comparator 接口的子类型（需要重写 compare 方法实现元素的比较），相当于一个临时定义的排序规则，其实就是通过接口注入比较元素大小的算法，也是对回调模式的应用（Java 中对函数式编程的支持）。

在这个信息时代高速发展的情况下，很多人会对自己该往哪个方向发展感到迷茫，下面我就浅显的给大家介绍一下五大流行区域的发展前景。大数据的发展前景：当前大数据行业真的是人才稀缺吗?学了几年后，大数据行业会不会产能过剩?大数据行业最终需要什么样的人才?接下来就带你们看看分析结果：当前大数据行业真的是人才稀缺吗?对!未来人才缺口150万，数据分析人才最稀缺。先看大数据人才缺口有多大?根据LinkedIn(领英)发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中数据分析人才最为稀缺、供给指数最低。同时，数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。而清华大学计算机系教授武永卫去年透露了一组数据：未来3-5年，中国需要180万数据人才，但目前只有约30万人。大数据行业未来会产能过剩吗?提供大数据技术与应用服务的第三方公司面临调整，未来发展会趋集中关于“大数据概念是否被过度炒作”的讨论，其实2013年的夏季达沃斯就有过。彼时支持“炒作”观点的现场观众达54.5%。对此，持反对意见的北京大学光华管理学院副教授苏萌提出了三个理由：不同机构间的数据还未真正流动起来，目前还只是数据“孤岛”;完整的生态产业链还未形成，尽管通过行为数据分析已能够分辨出一个消费者的喜好，但从供应到购买的链条还没建成;数据分析人才仍然极度匮乏。4年之后，舆论热点已经逐渐从大数据转向人工智能，大数据行业也历经整合。近一年间，一些大数据公司相继出现裁员、业务大调整等情况，部分公司出现亏损。那都是什么公司面临危机呢?基于数据归属，涉及大数据业务的公司其实有两类：一类是自身拥有数据的甲方公司，如亚马逊、阿里巴巴等;另一类是整合数据资源，提供大数据技术与应用服务的第三方公司。目前行业整合出现盈利问题的公司多集中在第三方服务商。对此，LinkedIn(领英)中国技术副总裁王迪表示，第三方服务商提供的更多的是技术或平台，大数据更多还是让甲方公司获益。在王迪看来，大数据业务要产生规模效益，至少要具备三点：算法、计算平台以及数据本身。“第三方大数据创业公司在算法上有一技之长，而计算能力实际上已经匀化了，传统企业如果用好了，和大数据创业公司没有区别，甚至计算能力更强，而数据获取方面，很多数据在传统行业内部并没有共享出来，第三方大数据公司获取这些数据是比较困难的，最后可能谁有数据，谁产生的价值更高。”说白了，数据为王。在2013年，拿到千万级A轮融资的大数据企业不足10家，到2015年，拿到千万级以上A轮融资的企业已经超过30家。直到2016年互联网资本寒冬，大数据行业投资热度有所减退，大数据行业是否也存在产能过剩?王迪认为，目前的行业整合属于正常现象，“经过市场的优胜劣汰，第三方服务领域会出现一些做得比较好的公司，其他公司可能被淘汰或转型做一些垂直行业应用。从社会来看，总的需求量一定是增加的，而对于供给侧，经过行业自然的洗牌，最终会集中在几家优秀的行业公司。”需要什么样的大数据人才?今年3月份，教育部公布了第二批获准开设“数据科学与大数据技术”的高校名单，加上第一批获批的北京大学、对外经济贸易大学、中南大学，一共35所高校获批该专业。今年开始，部分院校将招收第一届大数据专业本科生。大数据人才培养涉及到两方面问题：交叉性学科的人才培养方案是否与市场需求相匹配;学科建设的周期与行业快速更新之间的差距怎样弥合。对于第一个问题，“电商热”时期开设的电子商务专业是一个可吸取经验的样本。2000年，教育部高教司批准了第一批高校开设电子商务本科专业。作为一个复合型专业，电子商务的本科教学涵盖了管理、技术、营销三方面的课程。电子商务领域人才需求量大，但企业却无法从电子商务专业中找到合适的人才，原因何在?职业规划专家姜萌认为，并不是某一个专业对应一个行业热点，而是一个专业集群对应一个行业热点。“比如电子商务专业，我们到电子商务公司里会发现，不是学电子商务的人在做这些工作，而是每个专业各司其职，比如计算机、设计、物流管理、营销、广告、金融等等。现在行业的复合型工作都是由一个专业集群来完成的，而不是一个人来复合一堆专业特点。”大数据专业的人才培养也同样走复合型路线，复旦大学大数据学院的招生简章显示，学院本科人才培养以统计学、计算机科学和数学为三大基础支撑性学科，以生物学、医学、环境科学、经济学、社会学、管理学等为应用拓展性学科，具备典型的交叉学科特征。LinkedIn(领英)中国技术副总裁王迪指出，“从企业应用的角度来看，大数据行业里从事相关职能的同学背景是各异的，大数据作为一个人才培养方向还在探索中，在这个阶段，高校尝试开设硕士课程是很好的实践，但开设一类的本科专业还为时过早。”另一方面，专业人才培养的周期较长，而行业热点不断更新轮替，中间产生的时间差使得新兴专业的志愿填报具备了一定风险。王迪认为，“从今天的产业实践上看，大数据领域依然是从现有专业中挑选人才，教育和市场发展总是有一定差距的，学生本科四年，加上硕士阶段已经是七年之后的事情了，产业已经演进了很多，而教学大纲并不会跟进得那么快。”因此，尽管大数据的应用前景毋庸置疑，但在人才培养层面，复合型人才培养方案会不会重走电子商务专业的老路?学校教育如何赶上行业发展速度?这些都是值得进一步商榷的问题。面对热门专业，志愿填报需要注意啥?了解了大数据行业、公司和大数据专业后，姜萌对于考生填报像大数据相关的热门专业，提出了几条建议：报考热的专业和就业热的专业并不一定是重合的，比如软件、计算机、金融，这些专业的就业率实际并没有那么高，地质勘探、石油、遥感等专业，虽然报考上是冷门，但行业需求大，就业率更高。选择热门专业，更需要考虑就业质量。专业就业好，是统计学意义，指的是平均收入水平高，比如金融专业的收入，比其他纯文科专业的平均收入较高，但落实到个体层面，就业情况就不一样了，尤其像金融专业是典型的名校高学历好就业，但对于考试成绩较低的同学来说，如果去一些普通院校、专科院校学习金融，最后就业情况可能还不如会计专业。志愿填报，除了专业，城市因素也很重要：如果想从事金融、互联网的工作，更适合去一线城市，如果是去三、四线城市的学生可以考虑应用面比较广的专业，就是各行各业都能用到的专业，比如会计专业，专科层次的会计和985层次的会计都有就业渠道。如果先选择报考城市，也可以针对所在城市的行业特点选择专业，比如沿海城市外贸相对发达，选择国际贸易、外语类专业就业情况更好，比如武汉有光谷，选择光电类专业更好就业。最终家长和考生更需要考虑个人与专业匹配的问题，金融、计算机等热门专业不是所有人都适合学，好专业不见得对所有个体都是好的。java的发展前景：由于Java的诸多优点，Java的发展前景十分广泛。比如，在我们中国的市场，Java无论在企业级应用，还是在面向大众的服务方面都取得了不少进展，在中国的电信、金融等关键性业务中发挥着举足轻重的作用。由于SUN、TBM、Oracle等国际厂商相继推出各种基于Java技术的应用服务器以及各种应用软件，推动了Java在金融、电信、制造等领域日益广泛的应用，如清华大学计算机系利用Java、XML和Web技术研制开发了多个软件平台，东方科技的TongWeb、中创的Inforweb等J2EE应用服务器。由此可见，在巨大市场需求下，企业对于Java人才的渴求已经是不争的事实。你问我火了这么多年的Java语言的发展前景怎么样？那来看看吧Java在WEB、移动设备以及云计算方面前景广阔，随着云计算以及移动领域的扩张，更多的企业在考虑将其应用部署在Java平台上。无论是本地主机，公共云，Java都是目前最适合的选择。;另外在Oracle的技术投资担保下，Java也是企业在云应用方面回避微软平台、在移动应用方面回避苹果公司的一个最佳选择。Java可以参与制作大部分网络应用程序系统，而且与如今流行的WWW浏览器结合很好，这一优点将促进Java的更大范围的推广。因为在未来的社会，信息将会传送的更加快速，这将推动程序向WEB程序方向发展，由于Java具有编写WEB程序的能力，并且Java与浏览器结合良好，这将使得Java前景充满光明的发展。Python的发展前景：Python程序员的发展前景是怎样的？随着Python的技术的流行， Python在为人们带来工作与生活上的便捷后，关注者们开始慢慢关心Python的发展前景与方向。从自身特性看Python发展Python自身强大的优势决定其不可限量的发展前景。Python作为一种通用语言，几乎可以用在任何领域和场合，角色几乎是无限的。Python具有简单、易学、免费、开源、可移植、可扩展、可嵌入、面向对象等优点，它的面向对象甚至比java和C#、.net更彻底。它是一种很灵活的语言，能帮你轻松完成编程工作。强大的类库支持，使编写文件处理、正则表达式，网络连接等程序变得相当容易。能运行在多种计算机平台和操作系统中，如各位unix，windows，MacOS,OS/2等等，并可作为一种原型开发语言，加快大型程序的开发速度。从企业应用来看Python发展Python被广泛的用在Web开发、运维自动化、测试自动化、数据挖掘等多个行业和领域。一项专业调查显示，75%的受访者将Python视为他们的主要开发语言，反之，其他25%受访者则将其视为辅助开发语言。将Python作为主要开发语言的开发者数量逐年递增，这表明Python正在成为越来越多开发者的开发语言选择。目前，国内不少大企业都已经使用Python如豆瓣、搜狐、金山、腾讯、盛大、网易、百度、阿里、淘宝、热酷、土豆、新浪、果壳等;国外的谷歌、NASA、YouTube、Facebook、工业光魔、红帽等都在应用Python完成各种各样的任务。从市场需求与薪资看Python发展Python得到越来越多公司的青睐，使得Python人才需求逐年增加，从市场整体需求来看，Python在招聘市场上的流行程度也是在逐步上升的，工资水平也是水涨船高。据统计Python平均薪资水平在12K，随着经验的提升，薪资也是逐年增长。学习Python的程序员，除去Python开发工程师、Python高级工程师、Python自动化测试外，也能够朝着Python游戏开发工程师、SEO工程师、Linux运维工程师等方向发展，发展方向较为多元化。随着Python的流行，带动的是它的普及以及市场需求量，所以现在学习Python是个不错的时机。区块链的发展前景：区块链开发 ? 155---0116---2665 ?可是区块链技术到底是什么，大多数人都是模糊没有概念。通俗来讲，如果我们把数据库假设成一本账本，读写数据库就可以看做一种记账的行为，区块链技术的原理就是在一段时间内找出记账最快最好的人，由这个人来记账，然后将账本的这一页信息发给整个系统里的其他所有人。区块链技术也称分布式账本（或账簿）技术，属于互联网数据库技术，由参与者共同完成数据库记录，特点是去中心化和公开透明。此外，在每个区块的信息写入并获得认可后，整个区块链数据库完整保存在互联网的节点中，难以被修改，因此数据库的安全性极高。人们普遍认为，区块链技术是实现数字产品（如货币和知识产权）快速、安全和透明地对等（P2P）转账或转让的重要手段。在以色列Zen Protocol公司，区块链应用软件开发专家阿希尔·曼宁介绍说，他们公司正在开发Zen区块链平台，其将用于支持金融产品在无中介的环境下自动和自由交易。通常，人们将钱存放在银行，依靠银行管理自己的资金。但是，在支配资金时往往会受到银行规定的限制，或在汇款时存在耗时长、费用高等问题。区块链技术平台将让人们首次拥有自己管理和支配钱财的能力，他相信去中心化金融管理体系具有广阔的市场，有望极大地改变传统的金融市场。2018年伊始这一轮区块链的热潮，主要起源于虚拟货币的炒作热情。站在风口，区块链技术被认为是继蒸汽机、电力、互联网之后，下一代颠覆性的核心技术。很多人不禁要问“区块链又和比特币又是什么关系？”记者查询了大量资料发现，比特币2009年被一位名叫中本聪的人提出，之后比特币这套去中心化的机制一直稳定运行，这引起很多人对这套历史上并不存在的运行机制强烈关注。于是人们把从比特币技术抽象提取出来的技术运用于其他领域，称之为区块链。这过程就好像人们先发明了面条，然后人们发现其背后面粉不仅可以做面条还可以做馒头、面包。比特币是面条，区块链是面粉。也就是说，区块链和比特币的关系即比特币算是区块链技术的一种应用，或者说一种使用了区块链技术的产品形态。而说到区块链不得不说的就是ICO，它是一种公开发行的初始数字货币。对于投资人来说，出于对市场信号的敏感和长期关注价值投资项目，目前炙手可热的区块链也成为诸多投资人关注的新兴项目之一。“区块链对于我们来说就是省去了中间环节，节约了交易成本，节省了交易时间，但是目前来看各方面环境还不够成熟，有待观望。”一位投资人这样说道。记者发现，在春节期间，不少互金圈的朋友熬夜到凌晨进入某个探讨区块链的微信群热聊，此群还吸引了不少知名人士，诸如明星加入，同时还有大咖在群里解读区块链的投资方式和未来发展等等。一时间，关于区块链的讨论群接二连三出现，也引发了各个行业对区块链的关注。出于对于区块链技术懵懂的状态，记者追问了身边的一些互金圈的朋友，为何如此痴迷区块链？多数朋友认为“区块链能赚钱，抱着试试看的心态，或许能像之前比特币一样从中获取收益。”显然，区块链技术具有广阔的应用潜力，但是在其逐步进入社会改善民众生活的过程中，也面临许多的问题，需要积极去寻求相应的对策，最终让其发挥出潜力。只有这样，10年或20年后人们才能真正享受区块链技术创造的美好环境。人工智能的发展前景：人工智能产业是智能产业发展的核心，是其他智能科技产品发展的基础，国内外的高科技公司以及风险投资机构纷纷布局人工智能产业链。科技部部长万钢3月10日表示，加快实施新一代人工智能科学基础的关键技术系统集成研发，使那些研发成果尽快能够进入到开放平台，在开放使用中再一次把它增强完善。万钢称，马上就要发布人工智能项目指南和细则，来突破基础前沿理论关键部分的技术。人工智能发展趋势据前瞻产业研究院《人工智能行业市场前瞻与投资战略规划分析报告》指出，2017年中国人工智能核心产业规模超过700亿元，随着国家规划的出台，各地人工智能相关建设将逐步启动，预计到2020年，中国人工智能核心产业规模将超过1600亿元，增长率达到26.2%。报告认为，从产业投资回报率分析，智能安防、智能驾驶等领域的快速发展都将刺激计算机视觉分析类产品的需求，使得计算机视觉领域具备投资价值；而随着中国软件集成水平和人们生活水平的提高，提供教育、医疗、娱乐等专业化服务的服务机器人和智能无人设备具备投资价值。人工智能现状当前，人工智能受到的关注度持续提升，大量的社会资本和智力、数据资源的汇集驱动人工智能技术研究不断向前推进。从发展层次来看，人工智能技术可分为计算智能、感知智能和认知智能。当前，计算智能和感知智能的关键技术已经取得较大突破，弱人工智能应用条件基本成熟。但是，认知智能的算法尚未突破，前景仍不明朗。今年，随着智力资源的不断汇集，人工智能核心技术的研究重点可能将从深度学习转为认知计算，即推动弱人工智能向强人工智能不断迈进。一方面，在人工智能核心技术方面，在百度等大型科技公司和北京大学、清华大学等重点院校的共同推动下，以实现强人工智能为目标的类脑智能有望率先突破。另一方面，在人工智能支撑技术方面，量子计算、类脑芯片等核心技术正处在从科学实验向产业化应用的转变期，以数据资源汇集为主要方向的物联网技术将更加成熟，这些技术的突破都将有力推动人工智能核心技术的不断演进。工业大数据2022 年我国工业大数据有望突破 1200 亿元， 复合增速 42%。 工业大数据是提升制造智能化水平，推动中国制造业转型升级的关键动力，具体包括企业信息化数据、工业物联网数据，以及外部跨界数据。其中，企业信息化和工业物联网中机器产生的海量时序数据是工业数据的主要来源。工业大数据不仅可以优化现有业务，实现提质增效，而且还有望推动企业业务定位和盈利模式发生重大改变，向个性化定制、智能化生产、网络化协同、服务化延伸等智能化场景转型。预计到 2022 年，中国工业大数据市场规模有望突破 1200亿元，年复合增速 42%。IT的未来是人工智能这是一个指数级增长的时代。过去几十年，信息技术的进步相当程度上归功于芯片上晶体管数目的指数级增加，及由此带来的计算力的极大提升。这就是所谓的摩尔定律。在互联网时代，互联的终端数也是超线性的增长，而网络的效力大致与联网终端数的平方成正比。今天，大数据时代产生的数据正在呈指数级增加。在指数级增长的时代，我们可能会高估技术的短期效应，而低估技术的长期效应。历史的经验告诉我们，技术的影响力可能会远远的超过我们的想象。未来的计算能力人工智能需要强大的计算能力。计算机的性能过去30年提高了一百万倍。随着摩尔定律逐渐趋于物理极限，未来几年，我们期待一些新的技术突破。先谈一下类脑计算。传统计算机系统，长于逻辑运算，不擅长模式识别与形象思维。构建模仿人脑的类脑计算机芯片，我们今天可以以极低的功耗，模拟100万个神经元，2亿5千万个神经突触。未来几年，我们会看到类脑计算机的进一步的发展与应用随着互联网的普及、传感器的泛在、大数据的涌现、电子商务的发展、信息社区的兴起，数据和知识在人类社会、物理空间和信息空间之间交叉融合、相互作用，人工智能发展所处信息环境和数据基础发展了巨大的变化。伴随着科学基础和实现载体取得新的突破，类脑计算、深度学习、强化学习等一系列的技术萌芽预示着内在动力的成长，人工智能的发展已进入一个新的阶段。发展发展前景好，代表你现在学习会比后来者起步快，占有更大的优势，当然，你也要明白兴趣是最好的老师，选择自己感兴趣的相信你学的会更加而牢固。记住，最重要的一点：方向最重要！！！希望大家多多关注. ，加微信zhanglindashuju 可以获取更多资料哦作者：失色的瞳孔链接：https://juejin.im/post/5b1a6531e51d45067e6fc24a来源：掘金著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。