json数据存到数据库

json没有数据类型可言，全是string，你存一个date，在json中只会记录{a:'2016-4-27 11:49:16'}，怎么记录数据类型？json跨语言跨平台，要是数据类型都能记录下来，还怎么跨语言，跨平台？楼主这是对json定义迷糊了啊你要是只要显示时间可以用DateFormatter先格式化成字符串再传到前台,json数据格式有三种：数字，布尔，字符如果是时间的化，用字符就ok了mysql数据库用varchar存数据oracle数据库用varchar2存数据

你没说清楚json格式的数据 不会解析？ 任何语言都有解析json的类包。 调用一下 生成对象 在挨个属性插入到数据库就行 没有捷径。 是要把json格式数据直接插入到数据库？ 那json就当是字符串就好了 直接存。 如果是调用存储过程 json是参数 希望在存储过程中解析？ 那SQL 原生方法是解析不了的 不过网上有例子

mongodb存的是json格式的数据，如果要存储到关系数据库中，建议使用PostgreSQL，PostgreSQL原生支持JSON，jsonb。还有非常丰富的统计功能，例如窗口查询，聚合，机器学习，文本分析，流式计算。

小技巧，可以在用户点击下拉列表的时候再加载，因为有的只是好奇打开你的页面看一下，不一定会点那些下拉列表。 如果实在过多，而且又比较固定，不是经常变化的，可以把配置读取出来放在web服务器里面用xml保存起来，要的时候就从xml读取，命明显会比从数据库加载快。 其他的，我没什么好办法了，楼下继续补充~######Thanks!###### 如果要减少数据库压力，可以考虑写配置文件。。。 如果是怕ajax请求，那你可以讲数据在页面生成的时候就直接生成。。。######Thanks###### 学dwr的那种，批处理，一次请求，不过估计对你有难度。。。如果你直接用的dwr，这个难度当我白说。 1楼说的xml，你还不如直接生成js文件好了，json格式的也行，xml真的不感冒，还得解析。 最土的，如果你不会ajax，你怎么办？请求的时候直接读了数据写到页面上！一点ajax的东西都没有。######哦，准备用ajax一次性把所有需要用到的的下拉数据都用json格式传到页面...就这样######亲，时效性不强的话，放缓存里，我就是这样干的。######哦 目前就是这么干的...先去缓存找，没找到再去数据库查，查完之后再放缓存里。嗯哼，就这样

小技巧，可以在用户点击下拉列表的时候再加载，因为有的只是好奇打开你的页面看一下，不一定会点那些下拉列表。 如果实在过多，而且又比较固定，不是经常变化的，可以把配置读取出来放在web服务器里面用xml保存起来，要的时候就从xml读取，命明显会比从数据库加载快。 其他的，我没什么好办法了，楼下继续补充~######Thanks!###### 如果要减少数据库压力，可以考虑写配置文件。。。 如果是怕ajax请求，那你可以讲数据在页面生成的时候就直接生成。。。######Thanks###### 学dwr的那种，批处理，一次请求，不过估计对你有难度。。。如果你直接用的dwr，这个难度当我白说。1楼说的xml，你还不如直接生成js文件好了，json格式的也行，xml真的不感冒，还得解析。最土的，如果你不会ajax，你怎么办？请求的时候直接读了数据写到页面上！一点ajax的东西都没有。######哦，准备用ajax一次性把所有需要用到的的下拉数据都用json格式传到页面...就这样######亲，时效性不强的话，放缓存里，我就是这样干的。######哦目前就是这么干的...先去缓存找，没找到再去数据库查，查完之后再放缓存里。嗯哼，就这样

用Android Studio，新建一个LoginActivity，然后自己看，官方的代码，嗯。 要是自己写的话，登录：两个EditText，用户名和密码，一个Button点击登录，点击事件为获取两个EditText的信息，发送post请求给服务器，等服务器验证，服务器怎么验证我们不管，交给写服务器的人去做了。其实也就是把你传给他的数据在数据库中查找，对应的用户名下密码是不是你传给他的。然后根据判断的结果给你返回一个信息，一般是json，然后约定好什么信息是什么意思，交给你解析出来，你判断结果是成功或者失败，成功的话就startAcitivity进入主页，否则就Toast提示密码错误之类的。 注册：一样的道理，按钮发送数据，服务器验证一下，再把你发送的信息存进数据库，然后返回给你结果，注册成功，或者用户已经存在注册失败，之类的结果。然后你再根据结果回调的接口startActivity啊Toast啊什么的。或者直接跳转到登录界面，也就是startAcitivity的Intent是你的登录界面，还可以穿进去一个刚刚注册的用户名(intent.putExtra())

首先，我们先来聊聊各类数据模型。下列相关信息参考自Emil Eifrem的博文及NoSQL数据库说明。文档类数据库传承:受Lotus Notes启发而来。数据模型:文档汇总，包括键-值汇总。实例: CouchDB, MongoDB优势: 数据建模自然、程序员易于上手、开发流程短、兼容网页模式、便于达成CRUD（即添加、查询、更新及删除的简称）。图形类数据库传承:来自 Euler 及图形理论。数据模型:节点及关系，二者结合能够保持键-值间的成对状态实例: AllegroGraph, InfoGrid, Neo4j优势:轻松玩转复杂的图形问题、处理速度快关系类数据库传承:源自 E. F. Codd在大型共享数据库中所提出的数据关系模型理论数据模型:以关系组为基础实例: VoltDB, Clustrix, MySQL优势:性能强大、联机事务处理系统扩展性好、支持SQL访问、视图直观、擅长处理交易关系、与程序员间的交互效果优异面向对象类数据库传承:源自图形数据库方面的研究成果数据模型: 对象实例: Objectivity, Gemstone优势:擅长处理复杂的对象模型、快速的键-值访问及键-功能访问并且兼具图形数据库的各类功能键-值存储传承: Amazon Dynamo中的paper概念及分布式hash表数据模型:对成对键-值的全局化汇总实例: Membase, Riak优势:尺寸掌控得当、擅长处理持续的小规模读写需求、速度快、程序员易于上手BigTable Clones传承自:谷歌BigTable中的paper概念数据模型:纵列群，即在某个表格模型中，每行在理论上至少可以有一套单独的纵列配置实例: HBase, Hypertable, Cassandra优势:尺寸掌控得当、擅长应对大规模写入负载、可用性高、支持多数据中心、支持映射简化数据结构类服务传承: 不明实例: Redis数据模型: 执行过程基于索引、列表、集合及字符串值优势:为数据库应用引入前所未有的新鲜血液网格类数据库传承:源自数据网格及元组空间研究数据模型:基于空间的构架实例: GigaSpaces, Coherence优势:优良的性能表现及上佳的交易处理扩展性我们该为自己的应用程序选择哪套方案？选择的关键在于重新思考我们的应用程序如何依据不同数据模型及不同产品进行有针对性的协同工作。即用正确的数据模型处理对应的现实任务、用正确的产品解决对应的现实问题。要探究哪类数据模型能够切实为我们的应用程序提供帮助，可以参考“到底NoSQL能在我们的工作中发挥什么作用？”一文。在这篇文章中，我试着将各种不同特性、不同功能的常用创建系统中的那些非常规的应用实例综合起来。将应用实例中的客观需求与我们的选择联系起来。这样大家就能够逆向分析出我们的基础架构中适合引入哪些产品。至于具体结论是NoSQL还是SQL，这已经不重要了。关注数据模型、产品特性以及自身需要。产品总是将各种不同的功能集中起来，因此我们很难单纯从某一类数据模型构成方式的角度直接找到最合用的那款。对功能及特性的需求存在优先级，只要对这种优先级具备较为清晰的了解，我们就能够做出最佳选择。如果我们的应用程序需要…复杂的交易：因为没人愿意承受数据丢失，或者大家更倾向于一套简单易用的交易编程模式，那么请考虑使用关系类或网格类数据库。例如:一套库存系统可能需要完整的ACID（即数据库事务执行四要素：原子性、一致性、隔离性及持久性）。顾客选中了一件产品却被告知没有库存了，这类情况显然容易引起麻烦。因为大多数时候，我们想要的并不是额外补偿、而只是选中的那件货品。若是以扩展性为优先，那么NoSQL或SQL都能应对自如。这种情况下我们需要关注那些支持向外扩展、分类处理、实时添加及移除设备、负载平衡、自动分类及整理并且容错率较高的系统。要求持续保有数据库写入功能，则需要较高的可用性。在这种情况下不妨关注BigTable类产品，其在一致性方面表现出众。如有大量的小规模持续读写要求，也就是说工作负载处于波动状态，可以关注文档类、键-值类或是那些提供快速内存访问功能的数据库。引入固态硬盘作为存储媒介也是不错的选择。以社交网络为实施重点的话，我们首先想到的就是图形类数据库；其次则是Riak这种关系类数据库。具备简单SQL功能的常驻内存式关系数据库基本上就可以满足小型数据集合的需求。Redis的集合及列表操作也能发挥作用。如果我们的应用程序需要…在访问模式及数据类型多种多样的情况下，文档类数据库比较值得考虑。这类数据库不仅灵活性好，性能表现也可圈可点。需要完备的脱机报告与大型数据集的话，首选产品是Hadoop，其次则是支持映射简化的其它产品。不过仅仅支持映射简化还不足以提供如Hadoop一样上佳的处理能力。如果业务跨越数个数据中心，Bigtable Clone及其它提供分布式选项的产品能够应对由地域距离引起的延迟现象，并具备较好的分区兼容性。要建立CRUD应用程序，首选文档类数据库。这类产品简化了从外部访问复杂数据的过程。需要内置搜索功能的话，推荐Riak。要对数据结构中的诸如列表、集合、队列及发布/订阅信息进行操作，Redis是不二之选。其具备的分布式锁定、覆盖式日志及其它各种功能都会在这类应用状态下大放异彩。将数据以便于处理的形式反馈给程序员（例如以JSON、HTTP、REST、Javascript这类形式），文档类数据库能够满足这类诉求，键-值类数据库效果次之。如果我们的应用程序需要…以直观视图的形式进行同步交易，并且具备实时数据反馈功能，VoltDB算得上一把好手。其数据汇总以及时间窗口化的表现都非常抢眼。若是需要企业级的支持及服务水平协议，我们需要着眼于特殊市场。Membase就是这样一个例子。要记录持续的数据流，却找不到必要的一致性保障？BigTable Clone交出了令人满意的答卷，因为其工作基于分布式文件系统，所以可以应对大量的写入操作。要让操作过程变得尽可能简单，答案一定在托管或平台即服务类方案之中。它们存在的目的正是处理这类要求。要向企业级客户做出推荐？不妨考虑关系类数据库，因为它们的长项就是具备解决繁杂关系问题的技术。如果需要利用动态方式建立对象之间的关系以使其具有动态特性，图形类数据库能帮上大忙。这类产品往往不需要特定的模式及模型，因此可以通过编程逐步建立。S3这类存储服务则是为支持大型媒体信息而生。相比之下NoSQL系统则往往无法处理大型二进制数据块，尽管MongoDB本身具备文件服务功能。如果我们的应用程序需要…有高效批量上传大量数据的需求？我们还是得找点有对应功能的产品。大多数产品都无法胜任，因为它们不支持批量操作。文档类数据库或是键－值类数据库能够利用流畅的模式化系统提供便捷的上传途径，因为这两类产品不仅支持可选区域、添加区域及删除区域，而且无需建立完整的模式迁移框架。要实现完整性限制，就得选择一款支持SQL DLL的产品，并在存储过程或是应用程序代码中加以运行。对于协同工作极为依赖的时候就要选择图形类数据库，因为这类产品支持在不同实体间的迅速切换。数据的移动距离较短且不必经过网络时，可以在预存程序中做出选择。预存程序在关系类、网格类、文档类甚至是键-值类数据库中都能找到。如果我们的应用程序需要…键-值存储体系擅长处理BLOB类数据的缓存及存储问题。缓存可以用于应对网页或复杂对象的存储，这种方案能够降低延迟、并且比起使用关系类数据库来说成本也较低。对于数据安全及工作状态要求较高的话可以尝试使用定制产品，并且在普遍的工作范畴（例如向上扩展、调整、分布式缓存、分区及反规范化等等）之外一定要为扩展性（或其它方面）准备解决方案。多样化的数据类型意味着我们的数据不能简单用表格来管理或是用纵列来划分，其复杂的结构及用户组成（也可能还有其它各种因素）只有文档类、键-值类以及Bigtable Clone这些数据库才能应付。上述各类数据库都具备极为灵活的数据类型处理能力。有时其它业务部门会需要进行快速关系查询，引入这种查询方式可以使我们不必为了偶尔的查看而重建一切信息。任何支持SQL的数据库都能实现这类查询。至于在云平台上运行并自动充分利用云平台的功能——这种美好的愿望目前还只能是愿望。如果我们的应用程序需要…支持辅助索引，以便通过不同的关键词查找数据，这要由关系类数据库及Cassandra推出的新辅助索引系统共同支持才能实现。创建一套处于不断增长中的数据集合（真正天文数量级的数据）然而访问量却并不大，那么Bigtable Clone是最佳选择，因为它会将数据妥善安排在分布式文件系统当中。需要整合其它类型的服务并确保数据库提供延后写入同步功能？那最好的实现方式是捕捉数据库的各种变化并将其反馈到其它系统中以保障运作的一致性。通过容错性检查了解系统对供电中断、隔离及其它故障情况的适应程度。若是当前的某项技术尚无人问津、自己却感觉大有潜力可挖，不妨在这条路上坚持走下去。这种情况有时会带来意料之外的美好前景。尝试在移动平台上工作并关注CouchDB及移动版couchbase。哪种方案更好？25%的状态改善尚不足以让我们下决心选择NoSQL。选择标准是否恰当取决于实际情况。这类标准对你的方案有指导意义吗？如果你的公司尚处于起步阶段，并且需要尽快推出自己的产品，这时不要再犹豫不决了。无论是SQL还是NoSQL都可以作为参考。

　　直接读写文件，再把读出来的文件内容格式化成json，再用JDBC、Mybatis或者其他框架将json数据存入数据库。 假设实体类是这样的： public class ElectSet {public String xueqi;public String xuenian;public String startTime;public String endTime;public int menshu;public String isReadDB;//{"xueqi":,"xuenian":,"startTime":,"endTime":,"renshu":,"isReadDB":}public String getXueqi() { return xueqi;}public void setXueqi(String xueqi) { this.xueqi = xueqi;}public String getXuenian() { return xuenian;}public void setXuenian(String xuenian) { this.xuenian = xuenian;}public String getStartTime() { return startTime;}public void setStartTime(String startTime) { this.startTime = startTime;}public String getEndTime() { return endTime;}public void setEndTime(String endTime) { this.endTime = endTime;}public int getMenshu() { return menshu;}public void setMenshu(int menshu) { this.menshu = menshu;}public String getIsReadDB() { return isReadDB;}public void setIsReadDB(String isReadDB) { this.isReadDB = isReadDB;} }有一个json格式的文件，存的信息如下： Sets.json:{"xuenian":"2007-2008","xueqi":"1","startTime":"2009-07-19 08:30","endTime":"2009-07-22 18:00","menshu":"10","isReadDB":"Y"}具体操作： /* 取出文件内容，填充对象*/ public ElectSet findElectSet(String path){ ElectSet electset=new ElectSet(); String sets=ReadFile(path);//获得json文件的内容 JSONObject jo=JSONObject.fromObject(sets);//格式化成json对象 //System.out.println("------------" jo); //String name = jo.getString("xuenian"); //System.out.println(name); electset.setXueqi(jo.getString("xueqi")); electset.setXuenian(jo.getString("xuenian")); electset.setStartTime(jo.getString("startTime")); electset.setEndTime(jo.getString("endTime")); electset.setMenshu(jo.getInt("menshu")); electset.setIsReadDB(jo.getString("isReadDB")); return electset;}//设置属性，并保存public boolean setElect(String path,String sets){ try { writeFile(path,sets); return true; } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); return false; }}//读文件，返回字符串public String ReadFile(String path){ File file = new File(path); BufferedReader reader = null; String laststr = ""; try { //System.out.println("以行为单位读取文件内容，一次读一整行："); reader = new BufferedReader(new FileReader(file)); String tempString = null; int line = 1; //一次读入一行，直到读入null为文件结束 while ((tempString = reader.readLine()) != null) { //显示行号 System.out.println("line " line ": " tempString); laststr = laststr tempString; line ; } reader.close(); } catch (IOException e) { e.printStackTrace(); } finally { if (reader != null) { try { reader.close(); } catch (IOException e1) { } } } return laststr; }将获取到的字符串，入库即可。ps：来源网络

转自：阿飞的博客 一、数据库技术选型的思考维度 我们做选型的时候首先要问： 谁选型？是负责采购的同学、 DBA 还是业务研发？ 如果选型的是采购的同学，他们更注重成本，包括存储方式、网络需求等。 如果选型的是 DBA 同学，他们关心的： ① 运维成本 首先是运维成本，包括监控告警是否完善、是否有备份恢复机制、升级和迁移的成本是否高、社区是否稳定、是否方便调优、排障是否简易等； ② 稳定性 其次，DBA会关注稳定性，包括是否支持数据多副本、服务高可用、多写多活等； ③ 性能 第三是性能，包括延迟、QPS 以及是否支持更高级的分级存储功能等； ④ 拓展性 第四是扩展性，如果业务的需求不确定，是否容易横向扩展和纵向扩容； ⑤ 安全 最后是安全，需要符合审计要求，不容易出现 SQL 注入或拖库情况。 ⑥ 其他 除了采购和 DBA之外，后台应用研发的同学同样会关注稳定性、性能、扩展性等问题，同时也非常关注数据库接口是否便于开发，是否便于修改数据库 schema 等问题。 接下来我们来看一下爱奇艺使用的数据库类型： MySQL，互联网业务必备系统； TiDB，爱奇艺的 TiDB 实践会有另外的具体介绍； Redis，KV 数据库，互联网公司标配； Couchbase，这个在爱奇艺用得比较多，但国内互联网公司用得比较少，接下来的部分会详细说明； 其他，比如 MongoDB、图数据库、自研 KV 数据库 HiKV 等； 大数据分析相关系统，比如 Hive、Impala 等等。 可以看到爱奇艺的数据库种类还是很多的，这会造成业务开发的同学可能不太清楚在他的业务场景下应该选用哪种数据库系统。 那么，我们先对这些数据库按照接口（SQL、NoSQL）和面向的业务场景（OLTP、OLAP）这两位维度进行一个简单非严谨的分类。 下图中，左上角是面向 OLTP、支持 SQL 的这样一类系统，例如 MySQL，一般支持事务不同的隔离级别， QPS 要求比较高，延时比较低，主要用于交易信息和关键数据的存储，比如订单、VIP 信息等。 左下角是 NoSQL 数据库，是一类针对特殊场景做优化的系统，schema 一般比较简单，吞吐量较高、延迟较低，一般用作缓存或者 KV 数据库。 整个右侧都是 OLAP 的大数据分析系统，包括 Clickhouse、Impala等，一般支持SQL、不支持事务，扩展性比较好，可以通过加机器增加数据的存储量，响应延迟较长。 还有一类数据库是比较中立的，在数据量比较小的时候性能比较好，在数据量较大或复杂查询的时候性能也不差，一般通过不同的存储引擎和查询引擎来满足不同的业务需求，我们把它叫做 HTAP，TiDB 就是这样一种数据库。 二、iQIYI对数据库的优化与完善 前面我们提到了很多种的数据库，那么接下来就和大家介绍一下在爱奇艺我们是怎么使用这些数据库的。 1、MySQL在爱奇艺的使用 ① MySQL 首先是 MySQL。MySQL 基本使用方式是 master-slave + 半同步，支持每周全备+每日增量备份。我们做了一些基本功能的增强，首先是增强了数据恢复工具 Xtrabackup 的性能。 之前遇到一个情况，我们有一个全量库是 300G 数据，增量库每天 70G 数据，总数据量 700G 左右。我们当时只需要恢复一个表的数据，但该工具不支持单表恢复，且整库恢复需要 5 个小时。 针对这个情况我们具体排查了原因，发现在数据恢复的过程中需要进行多次写盘的 IO 操作并且有很多串行操作，所以我们做了一些优化。例如删减过程中的一些写盘操作，减少落盘并将数据处理并行化，优化后整库恢复耗时减少到 100 分钟，而且可以直接恢复单表数据。 然后是适配 DDL 和 DML 工具到内部系统，gh-ostt 和 oak-online-alter-table 在数据量大的时候会造成 master-slave 延时，所以我们在使用工具的时候也增加了延时上的考虑，实时探测Master-Slave 库之间延时的情况，如果延时较大会暂停工具的使用，恢复到正常水平再继续。 ② MySQL高可用 第二是 MySQL 高可用。Master-slave 加上半同步这种高可用方式不太完善，所以我们参照了 MHA 并进行了改动，采用 master + agent 的方式。Agent 在每一个物理机上部署，可以监控这个物理机上的所有实例的状态，周期性地向 master 发送心跳，Master 会实时监测各个Agent的状态。 如果 MySQL故障，会启动 Binlog 补偿机制，并切换访问域名完成 failover。考虑到数据库跨机房跨地区部署的情况，MHA 的 master 我们也做了高可用设计，众多 master 会通过 raft 组成一个 raft group，类似 TiDB 的 PD 模块。目前 MySQL failover 策略支持三种方式：同机房、同地域跨机房以及跨地域。 ③ MySQL拓展能力 第三是提高MySQL扩展能力，以提供更大容量的数据存储。扩展方式有 SDK，例如开源的 ShardingSphere，在爱奇艺的使用也比较广泛。另外就是 Proxy，开源的就更多了。但是 SDK 和 Proxy 使用的问题是支持的 SQL 语句简单，扩容难度大，依赖较多且运维复杂，所以部分业务已经迁移至 TiDB。 ④ 审计 第四是审计。我们在 MySQL 上做了一个插件获取全量 SQL 操作，后端打到 Kafka，下游再接入包括 Clickhouse 等目标端进行 SQL 统计分析。除此之外还有安全策略，包括主动探索是否有 SQL 注入及是否存在拖库情况等，并触发对应的告警。 MySQL 审计插件最大的问题是如何降低对 MySQL 性能的影响，对此我们进行了一些测试，发现使用 General Log 对性能损耗较大，有 10%~20% 的降低。 于是我们通过接口来获取 MySQL 插件里的监控项，再把监控项放到 buffer 里边，用两级的 RingBuffer 来保证数据的写入不会有锁资源竞争。在这个插件里再启动一个线程，从 RingBuffer 里读取数据并把数据打包写到 FIFO 管道里。 我们在每台 MySQL 的物理机里再启动一个 Agent，从管道里阻塞地读取数据发至 Kafka。优化后我们再次进行压测，在每台机器上有 15 万的更新、删除或插入操作下不会丢失数据，性能损耗一般情况下小于 2%。 目前已经在公司内部的集群上线了一年时间，运行比较稳定，上线和下线对业务没有影响。 ⑤ 分级存储 第五是分级存储。MySQL 里会存一些过程性的数据，即只需要读写最近一段时间存入的数据，过段时间这些数据就不需要了，需要进行定时清理。 分级存储就是在 MySQL 之上又用了其他存储方式，例如 TiDB 或其他 TokuDB，两者之间可以进行数据自动搬迁和自动归档，同时前端通过 SDK + Proxy 来做统一的访问入口。这样一来，业务的开发同学只需要将数据存入 MySQL 里，读取时可能从后端接入的任意数据库读出。这种方式目前只是过渡使用，之后会根据 TiDB 的特性进行逐步迁移。 Redis在爱奇艺的使用 接下来是 Redis。Redis 也是使用 master - slave 这种方式，由于网络的复杂性我们对 Sentinel 的部署进行了一些特殊配置，在多机房的情况下每个机房配置一定数量 Sentinel 来避免脑裂。 备份恢复方面介绍一个我们的特殊场景，虽然 Redis 是一个缓存，但我们发现不少的业务同学会把它当做一个 KVDB 来使用，在某些情况下会造成数据的丢失。 所以我们做了一个 Redis 实时备份功能，启动一个进程伪装成 Redis 的 Slave 实时获取数据，再放到后端的 KV 存储里，例如 ScyllaDB，如果要恢复就可以从 ScyllaDB 里把数据拉出来。 我们在用 Redis 时最大的痛点就是它对网络的延迟或抖动非常敏感。如有抖动造成 Redis Master 超时，会由 Sentinel 重新选出一个新的节点成为 Master，再把该节点上的数据同步到所有 Slave 上，此过程中数据会放在 Master 节点的 Buffer 里，如果写入的 QPS 很高会造成 Buffer 满溢。如果 Buffer 满后 RDB 文件还没有拷贝过去，重建过程就会失败。 基于这种情况，我们对 Redis 告警做了自动化优化，如有大量 master - slave 重建失败，我们会动态调整一些参数，例如把 Buffer 临时调大等， 此外我们还做了 Redis 集群的自动扩缩容功能。 我们在做 Redis 开发时如果是 Java 语言都会用到 Jedis。用 Jedis 访问客户端分片的 Redis 集群，如果某个分片发生了故障或者 failover，Jedis 就会对所有后端的分片重建连接。如果某一分片发生问题，整个 Redis 的访问性能和 QPS 会大幅降低。针对这个情况我们优化了 Jedis，如果某个分片发生故障，就只针对这个分片进行重建。 在业务访问 Redis 时我们会对 Master 绑定一个读写域名，多个从库绑定读域名。但如果我们进行 Master failover，会将读写域名从某旧 Master 解绑，再绑定到新 Master 节点上。 DNS 本身有一个超时时间，所以数据库做完 failover 后业务程序里没有立刻获取到新的 Master 节点的 IP的话，有可能还会连到原来的机器上，造成访问失败。 我们的解决方法是把 DNS 的 TTL 缩短，但对 DNS 服务又会造成很大的压力，所以我们在 SDK 上提供 Redis 的名字服务 RNS，RNS 从 Sentinel 里获取集群的拓扑和拓扑的变化情况，如果集群 failover，Sentinel 会接到通知，客户端就可以通过 RNS 来获取新的 Master 节点的 IP 地址。我们去掉域名，通过 IP 地址来访问整个集群，屏蔽了 DNS 的超时，缩短了故障的恢复时间。 SDK 上还做了一些功能，例如 Load Balance 以及故障检测，比如某个节点延时较高的话会被临时熔断等。 客户端分片的方式会造成 Redis 的扩容非常痛苦，如果客户端已经进行了一定量的分片，之后再增加就会非常艰难。 Redis 在 3.0 版本后会提供 Redis Cluster，因为功能受限在爱奇艺应用的不是很多，例如不支持显示跨 DC 部署和访问，读写只在主库上等。 我们某些业务场景下会使用 Redis 集群，例如数据库访问只发生在本 DC，我们会在 DC 内部进行 Cluster 部署。 但有些业务在使用的过程中还是想做 failover，如果集群故障可以切换到其他集群。根据这种情况我们做了一个 Proxy，读写都通过它来进行。写入数据时 Proxy 会做一个旁路，把新增的数据写在 Kafka 里，后台启用同步程序再把 Kafka 里的数据同步到其他集群，但存在一些限制，比如我们没有做冲突检测，所以集群间数据需要业务的同学做单元化。线上环境的Redis Cluster 集群间场景跨 DC 同步 需要 50 毫秒左右的时间。 2、Couchbase在爱奇艺的使用 Redis 虽然提供 Cluster 这种部署方式，但存在一些问题。所以数据量较大的时候（经验是 160G），就不推荐 Redis 了，而是采用另一种存储方式 Couchbase。 Couchbase 在国内互联网公司用的比较少，一开始我们是把他当做一个 Memcached 来使用的，即纯粹的缓存系统。 但其实它性能还是比较强大的，是一个分布式高性能的 KV 系统，支持多种存储引擎 (bucket)。第一种是 Memcached bucket，使用方式和 Memcached 一样为 KV 存储，不支持数据持久化也没有数据副本，如果节点故障会丢失数据； 第二种是 Couchbase bucket，支持数据持久化，使用 Json 写入，有副本，我们一般会在线上配置两个副本，如果新加节点会对数据进行 rebalance，爱奇艺使用的一般是 Couchbase bucket 这种配置。 Couchbase 数据的分布如下图，数据写入时在客户端上会先进行一次哈希运算，运算完后会定位 Key 在哪一个 vBucket （相当于数据库里的某个分片）。之后客户端会根据 Cluster Map 发送信息至对应的服务端，客户端的 Cluster Map 保存的是 vBucket 和服务器的映射关系，在服务端数据迁移的过程中客户端的 Cluster Map 映射关系会动态更新，因此客户端对于服务端的 failover 操作不需要做特殊处理，但可能在 rebalance 过程中会有短暂的超时，导致的告警对业务影响不大。 Couchbase 在爱奇艺应用比较早，2012 年还没有 Redis Cluster 的时候就开始使用了。集群管理使用 erlang 语言开发，最大功能是进行集群间的复制，提供多种复制方式：单向、双向、星型、环式、链式等。 爱奇艺从最初的 1.8 版本使用到如今的 5.0 版本，正在调研的 6.0，中间也遇到了很多坑，例如 NTP 时间配置出错会导致崩溃，如果每个集群对外 XDCR 并发过高导致不稳定，同步方向变更会导致数据丢失等等，我们通过运维和一些外部工具来进行规避。 Couchbase 的集群是独立集群，集群间的数据同步通过 XDCR，我们一般配置为双向同步。对于业务来说，如果 Cluster 1 写入， Cluster 2 不写入，正常情况下客户端会写 Cluster 1。如果 Cluster 1 有故障，我们提供了一个 Java SDK，可以在配置中心把写入更改到 Cluster 2，把原来到 Cluster 1 的连接逐步断掉再与Cluster 2 新建连接。这种集群 failover 的过程对于客户端来说是相对透明和无感的。 3、爱奇艺自研数据库HiKV的使用 Couchbase 虽然性能非常高，并且数据的存储可以超过内存。但是，如果数据量超过内存 75% 这个阈值，性能就会下降地特别快。在爱奇艺，我们会把数据量控制在可用内存的范围之内，当做内存数据库使用。但是它的成本非常高，所以我们后面又开发了一个新的数据库—— HiKV。 开发 HiKV 的目的是为了把一些对性能要求没那么高的 Couchbase 应用迁移到 HiKV 上。HiKV 基于开源系统 ScyllaDB，主要使用了其分布式数据库的管理功能，增加了单机存储引擎 HiKV。 ScyllaDB 比较吸引人的是它宣称性能高于 Cassandra 十倍，又完全兼容 Cassandra 接口，设计基本一致，可以视为 C++ 版 Cassandra 系统。 ScyllaDB 性能的提升主要是使用了一些新的技术框架，例如 C++ 异步框架 seastar，主要原理是在j每台物理机的核上会 attach 一个应用线程，每个核上有自己独立的内存、网络、IO 资源，核与核之间没有数据共享但可以通信，其最大的好处是内存访问无锁，没有冲突过程。 当一个数据读或写到达 ScyllaDB 的 server 时，会按照哈希算法来判断请求的 Key 是否是该线程需要处理的，如果是则本线程处理，否则会转发到对应线程上去。 除此之外，它还支持多副本、多数据中心、多写多活，功能比较强大。 在爱奇艺，我们基于 SSD 做了一个 KV 存储引擎。Key 放在内存里，Value 放在盘上的文件里，我们在读和写文件时，只需要在内存索引里定位，再进行一次盘的 IO 开销就可以把数据读出来，相比 ScyllaDB 原本基于 LSM Tree 的存储引擎方式对 IO 的开销较少。 索引数据全部放在内存中，如果索引长度较长会限制单机可存储的数据量，于是我们通过开发定长的内存分布器，对于比较长的 Key 做摘要缩短长度至 20 字节，采用红黑树索引，限制每条记录在内存里的索引长度至为 64 字节。内存数据要定期做 checkpoint，客户端要做限流、熔断等。 HiKV 目前在爱奇艺应用范围比较大，截至目前已经替换了 30% 的 Couchbase，有效地降低了存储成本。 4、爱奇艺的数据库运维管理 爱奇艺数据库种类较多，如何高效地运维和管理这些数据库也是经历了不同的阶段。 最初我们通过 DBA 写脚本的方式管理，如果脚本出问题就找 DBA，导致了 DBA 特别忙碌。 第二个阶段我们考虑让大家自己去查问题的答案，于是在内部构建了一个私有云，通过 Web 的方式展示数据库运行状态，让业务的同学可以自己去申请集群，一些简单的操作也可以通过自服务平台实现，解放了 DBA。一些需要人工处理的大型运维操作经常会造成一些人为故障，敲错参数造成数据丢失等。 于是在第三个阶段我们把运维操作 Web 化，通过网页点击可以进行 90% 的操作。 第四个阶段让经验丰富的 DBA 把自身经验变成一些工具，比如有业务同学说 MySQL master-slave 延时了，DBA 会通过一系列操作排查问题。现在我们把这些操作串起来形成一套工具，出问题时业务的同学可以自己通过网页上的一键诊断工具去排查，自助进行处理。 除此之外我们还会定期做预警检查，对业务集群里潜在的问题进行预警报告；开发智能客服，回答问题；通过监控的数据对实例打标签，进行削峰填谷地智能调度，提高资源利用率。 三、不同场景下数据库选型建议 1、实用数据库选型树 最后来说一些具体数据库选型建议。这是 DBA 和业务一起，通过经验得出来的一些结论。 对于关系型数据库的选型来说，可以从数据量和扩展性两个维度考虑，再根据数据库有没有冷备、要不要使用 Toku 存储引擎，要不要使用 Proxy 等等进行抉择。 NoSQL 也是什么情况下使用 master-slave，什么情况下使用客户端分片、集群、Couchbase、HiKV 等，我们内部自服务平台上都有这个选型树信息。 2、一些思考 ① 需求 我们在选型时先思考需求，判断需求是否真实。 你可以从数据量、QPS、延时等方面考虑需求，但这些都是真实需求吗？是否可以通过其他方式把这个需求消耗掉，例如在数据量大的情况下可以先做数据编码或者压缩，数据量可能就降下来了。 不要把所有需求都推到数据库层面，它其实是一个兜底的系统。 ② 选择 第二个思考的点是对于某个数据库系统或是某个技术选型我们应该考虑什么？是因为热门吗？还是因为技术上比较先进？但是不是能真正地解决你的问题？如果你数据量不是很大的话就不需要选择可以存储大数据量的系统。 ③ 放弃 第三是放弃，当你放弃一个系统时真的是因为不好用吗？还是没有用好？放弃一个东西很难，但在放弃时最好有一个充分的理由，包括实测的结果。 ④ 自研 第四是自研，在需要自己开发数据库时可以参考和使用一些成熟的产品，但不要盲目自研。 ⑤ 开源 最后是开源，要有拥抱开源的态度。

ajax异步的，单单settimeout不行，得获取返回之后ajax递归###### 频繁轮询用webSocket比较好 ###### 后台：xls 文件处理逻辑 public Map updateFile(){ map= new hashmap(); int count = xls.count(); for(int i=0;i<count;i++){ //处理每一条数据 session.setAttribute("上传进度百分比",(int)((i+1+0.0)/count*100)); } return map; } 后台:/abc/a  public Map getJd(){ map = new hashmap(); map.put("data",session.getAttribute("上传进度百分比")); return map; } 前台js： var id = setInterval(function(){ $.post('/abc/a',function(d){ //d是json:返回0-100的数字 var data=d.data; 进度条对象.set进度(data); if(data==100){ 进度条对象.close(); clearInterval(id); } }); },500); ######回复 @blue_think : servlet 3.0有异步请求######回复 @blue_think : 我不同意你的说法，请看我对这个回复的引用。######session和cookies关联。之前试过如果程序没处理完，session根本获取不到，能获取到的时候已经100%了。所以如果不是用flush强制输出，不然就是进度存到数据库，或者写入到实际文件中。###### 刚好今天写了一个。 我需要检测核销订单的状态（数据库），然后页面上进行相应的变化。 //ajax短轮询获取后台核销的状态 function getStates(){ jQuery.ajax({ type: "POST", url: "#springUrl('/microVerification/getStates.in')", data: { orderNo: "$!order.orderNo", }, dataType: "json", success: function (data) { if(data.result == "already"){ //检测到已核销 $("#yet").hide(); $("#already").show(); return; }else if(data.result == "yet"){ //检测到未核销，继续调用 setTimeout(function () { getStates(); }, 5000); }else{ //出错了 } }, error: function () { //alert("没有订单"); } }); } ######setTimeout  ###### 不知道你这个处理程序一般是多长时间。 你可以在后台处理数据，程间隔一段时间flush()一次处理结果到客户端，只到全部处理完成再response.end()掉这个链接。 客户端用xmlhttprequest监听onreadystatechange事件，获取xmlhttprequest的readystate，为3的时候就可以开始不断的获取到responseText的数据（实时，但是不一定是完整的）。 比如你的后台每次这样flush进度。第一次"1,"，第二次"2,"，第三次"3,"。这样客户端三次readystatechange获取的结果就是： 第一次 "1," 第二次 "1,2," 第三次 "1,2,3," 以此类推。 但是这样又有一个缺点就是，这个http连接可能会被浏览器本身关闭，因为早期的一些ie浏览器，会忽略keep-alive这个头，大约1分钟就自己关了，所以如果你的处理时间很长，比如要几分钟的话，这个方案可能就不是很合适。 ######这个不难，后台程序要将当前进度放到session中，Ajax定时去获取进度并显示；达到100%时要在session中保持一定时间（一般是启动一个Timer任务定时删除），以在下次Ajax获取时再自动删除掉这个session数据或者达到定时时间时自动删除session数据（避免内存泄漏），后者是防止前台离开或刷新页面而停止了Ajax请求。###### 假设你的上传Excel， 以及解析Excel都是ok的。 当程序一条条插入数据库时，正常情况下这个时间间隔是非常非常短的也就几毫秒（不排除当时连接数据库很慢很慢）。假设你页面ajax每一秒去轮训一下这个状态， 正常情况下， 你拿到的这个状态值也就处理完了。 所以这种显示百分比也就骗骗人了！ ######回复 @Solid : 优化一下的话，就把list变成count，一个是100，一个从0开始。######赞同，百分百就是骗人的，千万别为了这个而浪费大好时光。 从Excel里取出数据，定义两个变量（list）到session，一个记录初始化时的条数，另一个List设置为空，在插入数据库时往这个List里也插入一条数据，Ajax请求不要操作数据库，直接访问两个List的size的比值，这个比值就是进度条数据了。###### 进度条都是假的~也就是用户体验好些而已。。 跟分页类似，首先先要获取数据多少条，一次导入多少条。。比如：1000/100 = 10 把进度条分10份，ajax一次，传page。后台根据page导入。导入成功，页面相应，进度条走1，ajax传page+1 ######楼上的可以试试. 

您在这里混的API，mysql_*并且mysqli_*不混合。您应该坚持使用mysqli_（无论如何看起来还是这样），因为mysql_*不赞成使用函数，并且在PHP7中将其完全删除了。 您的实际问题是某个地方的字符集问题。这里有一些指针可以帮助您为应用程序获取正确的字符集。这涵盖了开发PHP / MySQL应用程序时可能会遇到的大多数一般问题。 您整个应用程序中的所有属性都必须设置为UTF-8 将文档另存为UTF-8（不带BOM）（如果您使用的是Notepad ++，则为Format-> Convert to UTF-8 w/o BOM） PHP和HTML中的标头都应设置为UTF-8 HTML（内部标签）： PHP（在文件顶部，在任何输出之前）： header('Content-Type: text/html; charset=utf-8'); 连接到数据库后，将连接对象的字符集设置为UTF-8，如下所示（直接在连接之后） mysqli_set_charset($conn, "utf8"); /* Procedural approach / $conn->set_charset("utf8"); / Object-oriented approach / 这是针对的mysqli_，还有与mysql_*和PDO 类似的（请参见此答案的底部）。 还要确保将数据库和表设置为UTF-8，您可以像这样进行操作： ALTER DATABASE databasename CHARACTER SET utf8 COLLATE utf8_unicode_ci; ALTER TABLE tablename CONVERT TO CHARACTER SET utf8 COLLATE utf8_unicode_ci; （任何已存储的数据都不会转换为正确的字符集，因此您需要使用干净的数据库来执行此操作，如果字符损坏则需要在执行此操作后更新数据）。 如果使用json_encode()，则可能需要应用该JSON_UNESCAPED_UNICODE标志，否则它将特殊字符转换为等效的十六进制字符。 请记住，一切的代码需要被设置为UFT-8的整条管线，否则你可能在你的应用体验破字。 除了此列表之外，可能还有一些具有用于指定字符集的特定参数的函数。手册将告诉您这一点（例如htmlspecialchars()）。 还有一些针对多字节字符的特殊功能，例如：strtolower()不会降低多字节字符，因为您必须使用它mb_strtolower()，请参见此实时演示。 注1：请注意，其某处标记为utf-8（带破折号），某处标记为（无破折号utf8）。重要的是要知道什么时候使用，因为它们通常是不可互换的。例如，HTML和PHP需要utf-8，而MySQL则不需要。 注2：在MySQL中，“字符集”和“排序规则”不是同一回事，请参见编码和排序规则之间的区别？。两者都应设置为utf-8；通常排序规则应为utf8_general_ci或utf8_unicode_ci，请参见UTF-8：常规？斌吗 Unicode？。 注意3：如果您使用表情符号，则需要在数据库和连接中使用utf8mb4字符集而不是standard 来指定MySQL utf8。HTML和PHP将只有UTF-8。 使用mysql_和PDO 设置UTF-8 PDO：这是在对象的DSN中完成的。注意该charset属性， $pdo = new PDO("mysql:host=localhost;dbname=database;charset=utf8", "user", "pass"); mysql_：这样做非常类似于mysqli_*，但是它没有将连接对象作为第一个参数。 mysql_set_charset('utf8');来源：stack overflow

确实是这样，你有\n，windows机器换行用\r\n所以没有这个问题吧。###### 引用来自“曹操”的答案 确实是这样，你有\n，windows机器换行用\r\n所以没有这个问题吧。 请问一下 这个\n是怎么来的呢....唯有这个空格好奇怪 为嘛变成了换行了呢 ###### 引用来自“歪SIR”的答案 引用来自“曹操”的答案 确实是这样，你有\n，windows机器换行用\r\n所以没有这个问题吧。 请问一下 这个\n是怎么来的呢....唯有这个空格好奇怪 为嘛变成了换行了呢 如果你数据库中存的是 <a />，读取出来居然有换行，那就很奇怪，不明白。 ######<?php //THIS IS test.php if( isset($_REQUEST['data']) )     $data = $_REQUEST['data']; else     $data = '';     $data = stripslashes( $data ); $fooArray = array('data'=>$data,); $fooJSON = json_encode($fooArray); echo $fooJSON; ?>######<!DOCTYPE HTML> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8"> <script src="http://lib.sinaapp.com/js/jquery/1.5.2/jquery.min.js"></script> <script type="text/javascript"> $(function(){ $('#fooButton').click(function(){     var updateData = $('#fooTextarea').val()         $.ajax({         url:'test.php',            type:'POST',         dataType:'JSON',         data:{data:updateData},         success:function( data ){             alert(data['data']);         }     });     }); });//END OF JQUERY </script> </head> <body>     <div id="main_wrap">             <div id="child_wrap">                 <textarea id="fooTextarea"></textarea>         <input type="button" id="fooButton" value="Update" />         </div>             </div> </body> </html> ###### 引用来自“曹操”的答案 引用来自“歪SIR”的答案 引用来自“曹操”的答案 确实是这样，你有\n，windows机器换行用\r\n所以没有这个问题吧。 请问一下 这个\n是怎么来的呢....唯有这个空格好奇怪 为嘛变成了换行了呢 如果你数据库中存的是 <a />，读取出来居然有换行，那就很奇怪，不明白。 我把测试代码贴出来了,没涉及到数据库的读取 但也会出现这个问题, 如果您有linux的主机,可以帮我测试一下,谢谢了

简介 ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。 同时ES还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，能够横向扩展至数以百计的服务器存储以及处理PB级的数据。 可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。 ES就是为高可用和可扩展而生的。一方面可以通过升级硬件来完成系统扩展，称为垂直或向上扩展（Vertical Scale/Scaling Up）。 另一方面，增加更多的服务器来完成系统扩展，称为水平扩展或者向外扩展（Horizontal Scale/Scaling Out）。尽管ES能够利用更强劲的硬件，但是垂直扩展毕竟还是有它的极限。真正的可扩展性来自于水平扩展，通过向集群中添加更多的节点来分担负载，增加可靠性。ES天生就是分布式的，它知道如何管理多个节点来完成扩展和实现高可用性。意味应用不需要做任何的改动。 Gateway，代表ES索引的持久化存储方式。在Gateway中，ES默认先把索引存储在内存中，然后当内存满的时候，再持久化到Gateway里。当ES集群关闭或重启的时候，它就会从Gateway里去读取索引数据。比如LocalFileSystem和HDFS、AS3等。 DistributedLucene Directory，它是Lucene里的一些列索引文件组成的目录。它负责管理这些索引文件。包括数据的读取、写入，以及索引的添加和合并等。 River，代表是数据源。是以插件的形式存在于ES中。　 Mapping，映射的意思，非常类似于静态语言中的数据类型。比如我们声明一个int类型的变量，那以后这个变量只能存储int类型的数据。比如我们声明一个double类型的mapping字段，则只能存储double类型的数据。 Mapping不仅是告诉ES，哪个字段是哪种类型。还能告诉ES如何来索引数据，以及数据是否被索引到等。 Search Moudle，搜索模块，支持搜索的一些常用操作 Index Moudle，索引模块，支持索引的一些常用操作 Disvcovery，主要是负责集群的master节点发现。比如某个节点突然离开或进来的情况，进行一个分片重新分片等。这里有个发现机制。 发现机制默认的实现方式是单播和多播的形式，即Zen，同时也支持点对点的实现。另外一种是以插件的形式，即EC2。 Scripting，即脚本语言。包括很多，这里不多赘述。如mvel、js、python等。　　　 Transport，代表ES内部节点，代表跟集群的客户端交互。包括 Thrift、Memcached、Http等协议 RESTful Style API，通过RESTful方式来实现API编程。 3rd plugins，代表第三方插件。 Java(Netty)，是开发框架。 JMX，是监控。 使用案例 1、将ES作为网站的主要后端系统 比如现在搭建一个博客系统，对于博客帖子的数据可以直接在ES上存储，并且使用ES来进行检索，统计。ES提供了持久化的存储、统计和很多其他数据存储的特性。 注意：但是像其他的NOSQL数据存储一样，ES是不支持事务的，如果要事务机制，还是考虑使用其他的数据库做真实库。 2、将ES添加到现有系统 有些时候不需要ES提供所有数据的存储功能，只是想在一个数据存储的基础之上使用ES。比如已经有一个复杂的系统在运行，但是现在想加一个搜索的功能，就可以使用该方案。 3、将ES作为现有解决方案的后端部分 因为ES是开源的系统，提供了直接的HTTP接口，并且现在有一个大型的生态系统在支持他。比如现在我们想部署大规模的日志框架、用于存储、搜索和分析海量的事件，考虑到现有的工具可以写入和读取ES，可以不需要进行任何开发，配置这些工具就可以去运作。 设计结构 1、逻辑设计 文档 文档是可以被索引的信息的基本单位，它包含几个重要的属性： 是自我包含的。一篇文档同时包含字段和他们的取值。 是层次型的。文档中还可以包含新的文档，一个字段的取值可以是简单的，例如location字段的取值可以是字符串，还可以包含其他字段和取值，比如可以同时包含城市和街道地址。 拥有灵活的结构。文档不依赖于预先定义的模式。也就是说并非所有的文档都需要拥有相同的字段，并不受限于同一个模式 {   "name":"meeting",   "location":"office",   "organizer":"yanping" } {   "name":"meeting",   "location":{     "name":"sheshouzuo",        "date":"2019-6-28"   },   "memebers":["leio","shiyi"] } 类型 类型是文档的逻辑容器，类似于表格是行的容器。在不同的类型中，最好放入不同的结构的文档。 字段 ES中，每个文档，其实是以json形式存储的。而一个文档可以被视为多个字段的集合。 映射 每个类型中字段的定义称为映射。例如，name字段映射为String。 索引 索引是映射类型的容器一个ES的索引非常像关系型世界中的数据库，是独立的大量文档集合。   关系型数据库与ES的结构上的对比 2、物理设计 节点 一个节点是一个ES的实例，在服务器上启动ES之后，就拥有了一个节点，如果在另一个服务器上启动ES，这就是另一个节点。甚至可以在一台服务器上启动多个ES进程，在一台服务器上拥有多个节点。多个节点可以加入同一个集群。 当ElasticSearch的节点启动后，它会利用多播(multicast)(或者单播，如果用户更改了配置)寻找集群中的其它节点，并与之建立连接。这个过程如下图所示： 节点主要有3种类型，第一种类型是client_node，主要是起到请求分发的作用，类似路由。第二种类型是master_node，是主的节点，所有的新增，删除，数据分片都是由主节点操作（elasticsearch底层是没有更新数据操作的，上层对外提供的更新实际上是删除了再新增），当然也能承担搜索操作。第三种类型是date_node，该类型的节点只能做搜索操作，具体会分配到哪个date_node，就是由client_node决定，而data_node的数据都是从master_node同步过来的 分片 一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。   为了解决这个问题，ES提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。 分片之所以重要，主要有两方面的原因：   1、允许你水平分割/扩展你的内容容量 允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量 至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由ES管理的，对于作为用户的你来说，这些都是透明的。   2、在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了。这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，ES允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。 复制之所以重要，主要有两方面的原因： （1）在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。 （2）扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行 总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制数量，但是不能改变分片的数量。   默认情况下，ES中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。一个索引的多个分片可以存放在集群中的一台主机上，也可以存放在多台主机上，这取决于你的集群机器数量。主分片和复制分片的具体位置是由ES内在的策略所决定的。 3、插件HEAD elasticsearch-head是一个界面化的集群操作和管理工具 ● node：即一个 Elasticsearch 的运行实例，使用多播或单播方式发现 cluster 并加入。 ● cluster：包含一个或多个拥有相同集群名称的 node，其中包含一个master node。 ● index：类比关系型数据库里的DB，是一个逻辑命名空间。 ● alias：可以给 index 添加零个或多个alias，通过 alias 使用index 和根据index name 访问index一样，但是，alias给我们提供了一种切换index的能力，比如重建了index，取名● customer_online_v2，这时，有了alias，我要访问新 index，只需要把 alias 添加到新 index 即可，并把alias从旧的 index 删除。不用修改代码。 ● type：类比关系数据库里的Table。其中，一个index可以定义多个type，但一般使用习惯仅配一个type。 ● mapping：类比关系型数据库中的 schema 概念，mapping 定义了 index 中的 type。mapping 可以显示的定义，也可以在 document 被索引时自动生成，如果有新的 field，Elasticsearch 会自动推测出 field 的type并加到mapping中。 ● document：类比关系数据库里的一行记录(record)，document 是 Elasticsearch 里的一个 JSON 对象，包括零个或多个field。 ● field：类比关系数据库里的field，每个field 都有自己的字段类型。 ● shard：是一个Lucene 实例。Elasticsearch 基于 Lucene，shard 是一个 Lucene 实例，被 Elasticsearch 自动管理。之前提到，index 是一个逻辑命名空间，shard 是具体的物理概念，建索引、查询等都是具体的shard在工作。shard 包括primary shard 和 replica shard，写数据时，先写到primary shard，然后，同步到replica shard，查询时，primary 和 replica 充当相同的作用。replica shard 可以有多份，也可以没有，replica shard的存在有两个作用，一是容灾，如果primary shard 挂了，数据也不会丢失，集群仍然能正常工作；二是提高性能，因为replica 和 primary shard 都能处理查询。另外，如上图右侧红框所示，shard数和replica数都可以设置，但是，shard 数只能在建立index 时设置，后期不能更改，但是，replica 数可以随时更改。但是，由于 Elasticsearch 很友好的封装了这部分，在使用Elasticsearch 的过程中，我们一般仅需要关注 index 即可，不需关注shard。   shard、node、cluster 在物理上构成了 Elasticsearch 集群，field、type、index 在逻辑上构成一个index的基本概念，在使用 Elasticsearch 过程中，我们一般关注到逻辑概念就好，就像我们在使用MySQL 时，我们一般就关注DB Name、Table和schema即可，而不会关注DBA维护了几个MySQL实例、master 和 slave 等怎么部署的一样。 ES中的索引原理 （1）传统的关系型数据库 二叉树查找效率是logN，同时插入新的节点不必移动全部节点，所以用树型结构存储索引，能同时兼顾插入和查询的性能。因此在这个基础上，再结合磁盘的读取特性(顺序读/随机读)，传统关系型数据库采用了B-Tree/B+Tree这样的数据结构做索引 （2）ES 采用倒排索引 那么，倒排索引是个什么样子呢？ 首先，来搞清楚几个概念，为此，举个例子： 假设有个user索引，它有四个字段：分别是name，gender，age，address。画出来的话，大概是下面这个样子，跟关系型数据库一样 Term（单词）：一段文本经过分析器分析以后就会输出一串单词，这一个一个的就叫做Term Term Dictionary（单词字典）：顾名思义，它里面维护的是Term，可以理解为Term的集合 Term Index（单词索引）：为了更快的找到某个单词，我们为单词建立索引 Posting List（倒排列表）：倒排列表记录了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息，每条记录称为一个倒排项(Posting)。根据倒排列表，即可获知哪些文档包含某个单词。（PS：实际的倒排列表中并不只是存了文档ID这么简单，还有一些其它的信息，比如：词频（Term出现的次数）、偏移量（offset）等，可以想象成是Python中的元组，或者Java中的对象） （PS：如果类比现代汉语词典的话，那么Term就相当于词语，Term Dictionary相当于汉语词典本身，Term Index相当于词典的目录索引） 我们知道，每个文档都有一个ID，如果插入的时候没有指定的话，Elasticsearch会自动生成一个，因此ID字段就不多说了 上面的例子，Elasticsearch建立的索引大致如下： name字段： age字段： gender字段： address字段： Elasticsearch分别为每个字段都建立了一个倒排索引。比如，在上面“张三”、“北京市”、22 这些都是Term，而[1，3]就是Posting List。Posting list就是一个数组，存储了所有符合某个Term的文档ID。 只要知道文档ID，就能快速找到文档。可是，要怎样通过我们给定的关键词快速找到这个Term呢？ 当然是建索引了，为Terms建立索引，最好的就是B-Tree索引（MySQL就是B树索引最好的例子）。 我们查找Term的过程跟在MyISAM中记录ID的过程大致是一样的 MyISAM中，索引和数据是分开，通过索引可以找到记录的地址，进而可以找到这条记录 在倒排索引中，通过Term索引可以找到Term在Term Dictionary中的位置，进而找到Posting List，有了倒排列表就可以根据ID找到文档了 （PS：可以这样理解，类比MyISAM的话，Term Index相当于索引文件，Term Dictionary相当于数据文件） （PS：其实，前面我们分了三步，我们可以把Term Index和Term Dictionary看成一步，就是找Term。因此，可以这样理解倒排索引：通过单词找到对应的倒排列表，根据倒排列表中的倒排项进而可以找到文档记录） 为了更进一步理解，用两张图来具现化这一过程： （至于里面涉及的更加高深的数据压缩技巧，以及多个field联合查询利用跳表的数据结构快速做运算来查询，这些大家有兴趣可以自己去了解）

12月17日更新 请问下同时消费多个topic的情况下，在richmap里面可以获取到当前消息所属的topic吗？ 各位大佬，你们实时都是怎样重跑数据的? 有木有大神知道Flink能否消费多个kafka集群的数据？ 这个问题有人遇到吗? 你们实时读取广业务库到kafka是通过什么读的？kafka connector 的原理是定时去轮询，这样如果表多了，会不会影响业务库的性能？甚至把业务库搞挂？ 有没有flink 1.9 连接 hive的例子啊?官网文档试了，没成功 请问各位是怎么解决实时流数据倾斜的？ 请问一下，对于有状态的任务，如果任务做代码升级的时候，可否修改BoundedOutOfOrdernessTimestampExtractor的maxOutOfOrderness呢？是否会有影响数据逻辑的地方呢？ 老哥们有做过统计从0点开始截止到现在时刻的累计用户数吗？ 比如五分钟输出一次，就是7点输出0点到7点的累计用户，7:05输出0点到7:05的累计用户。 但是我这里有多个维度，现在用redis来做的。 想知道有没有更好的姿势？ 实时数仓用什么存储介质来存储维表，维表有大有小，大的大概5千万左右。 各位大神有什么建议和经验分享吗？ 请教个问题，就是flink的窗口触发必须是有数据才会触发吗？我现在有个这样的需求，就是存在窗口内没有流数据进入，但是窗口结束是要触发去外部系统获取上一个窗口的结果值作为本次窗口的结果值！现在没有流数据进入窗口结束时如何触发？ kafkaSource.setStartFromTimestamp(timestamp); 发现kafkasource从指定时间开始消费，有些topic有效，有效topic无效，大佬们有遇到过吗? 各位大佬，flink两个table join的时候，为什么打印不出来数据，已经赋了关联条件了，但是也不报错 各位大佬 请教一下 一个faile的任务 会在这里面存储展示多久啊？ 各位大佬，我的程序每五分钟一个窗口做了基础指标的统计，同时还想统计全天的Uv，这个是用State就能实现吗？ 大佬们，flink的redis sink是不是只适用redis2.8.5版本？ 有CEP 源码中文注释的发出来学习一下吗？ 有没有拿flink和tensorflow集成的？ 那位大神，给一个java版的flink1.7 读取kafka数据，做实时监控和统计的功能的代码案例。 请问下风控大佬，flink为风控引擎做数据支撑的时候，怎么应对风控规则的不断变化，比如说登录场景需要实时计算近十分钟内登录次数超过20次用户，这个规则可能会变成计算近五分钟内登录次数超过20次的。 想了解一下大家线上Flink作业一般开始的时候都分配多少内存？广播没办法改CEP flink支持多流（大于2流）join吗？ 谁能帮忙提供一下flink的多并行度的情况下，怎么保证数据有序 例如map并行度为2 那就可能出现数据乱序的情况啊 请教下现在从哪里可以可以看单任务的运行状况和内存占用情况,flink页面上能看单个任务的内存、cpu 大佬们 flink1.9 停止任务手动保存savepoint的命令是啥？ flink 一个流计算多个任务和 还是一个流一个任务好？ flink 1.9 on yarn， 自定义个connector里面用了jni， failover以后 就起不来了， 报错重复load so的问题。 我想问一下 这个，怎么解决。 难道flink 里面不能用jni吗。 ide里面调试没有问题，部署到集群就会报错了，可能什么问题？ 请教一下对于长时间耗内存很大的任务，大家都是开checkpoint机制，采用rocksdb做状态后端吗？ 请问下大佬，flink jdbc读取mysql，tinyin字段类型自动转化为Boolean有没有好的解决方法 Flink 1.9版本的Blink查询优化器，Hive集成，Python API这几个功能好像都是预览版，请问群里有大佬生产环境中使用这些功能了吗？ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 各位大佬，在一个 Job 计算过程中，查询 MySQL 来补全额外数据，是一个好的实践嘛？还是说流处理过程中应该尽量避免查询额外的数据？ Flink web UI是jquery写的吗？ 12月9日更新 成功做完一次checkpoint后，会覆盖上一次的checkpoint吗？ 数据量较大时，flink实时写入hbase能够异步写入吗？ flink的异步io，是不是只是适合异步读取，并不适合异步写入呀？ 请问一下，flink将结果sink到redis里面会不会对存储的IO造成很大的压力，如何批量的输出结果呢？ 大佬们，flink 1.9.0版本里DataStream api,若从kafka里加载完数据以后，从这一个流中获取数据进行两条业务线的操作，是可以的吗？ flink 中的rocksdb状态怎么样能可视化的查看有大佬知道吗？ 感觉flink 并不怎么适合做hive 中的计算引擎来提升hive 表的查询速度 大佬们，task端rocksdb状态 保存路径默认是在哪里的啊？我想挂载个新磁盘 把状态存到那里去 flink 的state 在窗口滑动到下一个窗口时候 上一个窗口销毁时候 state会自己清除吗？ 求助各位大佬，一个sql里面包含有几个大的hop滑动窗口，如15个小时和24个小时，滑动步长为5分钟，这样就会产生很多overlap 数据，导致状态会很快就达到几百g，然后作业内存也很快达到瓶颈就oom了，然后作业就不断重启，很不稳定，请问这个业务场景有什么有效的解决方案么？ 使用jdbcsink的时候，如果连接长时间不使用 就会被关掉，有人遇到过吗？使用的是ddl的方式 如何向云邪大佬咨询FLink相关技术问题？ 请问各位公司有专门开发自己的实时计算平台的吗？ 请问各位公司有专门开发自己的实时计算平台的吗？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 想问下老哥们都是怎么统计一段时间的UV的？ 是直接用window然后count嘛？ Flink是不是也是这样的？ 请问现在如有个实时程序，根据一个mysql的维表来清洗，但是我这个mysql表里面就只有几条信息且可能会变。 我想同一个定时器去读mysql，然后存在对象中，流清洗的时候读取这个数据，这个想法可行吗？我目前在主类里面定义一个对象，然后往里面更新，发现下面的map方法之类的读不到我更新进去的值 有大佬做过flink—sql的血缘分析吗？ 12月3日更新 请教一下，为什么我flume已经登录成功了keytab认证的kafka集群，但是就是消费不到数据呢？ flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink timestamp转换为date类型，有什么函数吗 Run a single Flink job on YARN 我采用这种模式提交任务，出现无法找到 开启 HA 的ResourceManager Failed to connect to server: xxxxx:8032: retries get failed due to exceeded maximum allowed retries number: 0 有大佬遇到过吗 ？ 各位大佬，请问有Flink写S3的方案吗？ flink 连接hbase 只支持1.4.3版本？ onnector: type: hbase version: "1.4.3" 请问 flink1.9能跑在hadoop3集群上吗? 滑动窗口 排序 报错这个是什么原因呢? 这个pravega和kafka有啥区别? flink 开发里数据源配置了RDS，但是在RDS里没有看到创建的表，是为什么呢？ Tumbling Window里的数据，是等窗口期内的数据到齐之后一次性处理，还是到了一条就处理一条啊 双流join后再做time window grouping. 但是双流join会丢失时间属性，请问大家如何解决 stream processing with apache flink，这本书的中译版 现在可以买吗? flink on yarn时，jm和tm占用的内存最小是600M，这个可以修改吗？ 各位大佬，使用默认的窗口Trigger，在什么情况下会触发两次啊？窗口关闭后，然后还来了这个窗口期内的数据，并且开了allowedLateness么？ flink web里可以像storm那样 看每条数据在该算子中的平均耗时吗？ 各位大佬，flink任务的并发数调大到160+以后，每隔几十分钟就会出现一次TM节点连接丢失的异常，导致任务重启。并发在100时运行比较稳定，哪位大佬可以提供下排查的思路？ 感觉stateful function 是下一个要发力的点，这个现在有应用案例吗？ 我有2个子网（a子网，b子网）用vpn联通，vpn几周可能会断一次。a子网有一个kafka集群，b子网运行我自己的flink集群和应用，b子网的flink应用连接到a子网的kafka集群接收消息来处理入库到数仓去。我的问题是，如果vpn断开，flink consumer会异常整个作业退出吗？如果作业退出，我重连vpn后，能从auto checkpoint再把flink应用恢复到出错时flink kafka consumer应该读取的partition/offset位置吗？flink的checkpoint除了保存自己开发的算子里的state，kafkaconsumer里的partition/offset也会保存和恢复吗？ flink的反压为什么不加入metrics呢 hdfs是不是和flink共用一个集群? flink消费kafka，可以从指定时间消费的吗？目前提供的接口只是根据offset消费？有人知道怎么处理？ flink 的Keyby是不是只是repartition而已？没有将key相同的数据放到一个组合里面 电商大屏 大家推荐用什么来做吗？ 我比较倾向用数据库，因为有些数据需要join其他表，flink充当了什么角色，对这个有点迷，比如统计当天订单量，卖了多少钱，各个省的销量，销售金额，各个品类的销售量销售金额 开源1.9的sql中怎么把watermark给用起来，有大神知道吗？ 有没有人能有一些flink的教程 代码之类的分享啊 采用了checkpoint,程序停止了之后，什么都不改，直接重启，还是能接着继续运行吗？如果可以的话，savepoint的意义又是什么呢? 有人做过flink 的tpc-ds测试吗，能不能分享一下操作的流程方法 checkpoint是有时间间隔的，也就可以理解为checkpoint是以批量操作的，那如果还没进行ckecnpoint就挂了，下次从最新的一次checkpoint重启，不是重复消费了？ kafka是可以批量读取数据，但是flink是一条一条处理的，应该也可以一条一条提交吧。 各位大佬，flink sql目前是不是不支持tumbling window join，有人了解吗？ 你们的HDFS是装在taskmanager上还是完全分开的,请问大佬们有遇到这种情况吗？ 大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 有谁遇到过这个问题? 请教一下各位，这段代码里面，我想加一个trigger，实现每次有数据进window时候，就输出，而不是等到window结束再输出，应该怎么加？ 麻烦问下 flink on yarn 执行 客户端启动时 报上面错,是什么原因造成的 求大佬指点 ERROR org.apache.flink.client.program.rest.RestClusterClient - Error while shutting down cluster java.util.concurrent.ExecutionException: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries has been exhausted. 大家怎么能动态的改变 flink WindowFunction 窗口数据时间 flink on yarn之后。yarn的日志目录被写满，大家如配置的？ Flink1.9 启动 yarn-session报这个错误 怎么破？ yarn 模式下，checkpoint 是存在 JobManager的，提交任务也是提交给 JobManager 的吧？ heckpoint机制，会不会把window里面的数据全部放checkpoint里面？ Flink On Yarn的模式下，如果通过REST API 停止Job,并触发savepiont呢 jenkins自动化部署flink的job，一般用什么方案？shell脚本还是api的方式？ 各位大佬，开启增量checkpoint 情况下，这个state size 是总的checkpoint 大小，还是增量上传的大小？ 想用状态表作为子表 外面嵌套窗口 如何实现呢 因为状态表group by之后 ctime会失去时间属性,有哪位大佬知道的？ 你们有试过在同样的3台机器上部署两套kafka吗？ 大家有没有比较好的sql解析 组件（支持嵌套sql）? richmapfuntion的open/close方法，和处理数据的map方法，是在同一个线程，还是不同线程调用的？ flink on yarn 提交 参数 -p 20 -yn 5 -ys 3 ，我不是只启动了5个container么？ Flink的乱序问题怎么解决? 我对数据流先进行了keyBy,print的时候是有数据的,一旦进行了timeWindow滑动窗口就没有数据了,请问是什么情况呢? 搭建flinksql平台的时候，怎么处理udf的呀? 怎么查看sentry元数据里哪些角色有哪些权限？ 用java api写的kafka consumer能消费到的消息，但是Flink消费不到，这是为啥? 我state大小如果为2G左右 每次checkpoint会不会有压力? link-table中的udaf能用deltaTrigger么？ flink1.7.2，场景是一分钟为窗口计算每分钟传感器的最高温度，同时计算当前分钟与上一分钟最高温 001 Flink集群支持kerberos认证吗？也就是说flink客户端需要向Flink集群进行kerberos认证，认证通过之后客户端才能提交作业到Flink集群运行002 Flink支持多租户吗？ 如果要对客户端提交作业到flink进行访问控制，你们有类似的这种使用场景吗？ flink可以同时读取多个topic的数据吗？ Flink能够做实时ETL（oracle端到oracle端或者多端）么？ Flink是否适合普通的关系型数据库呢？ Flink是否适合普通的关系型数据库呢？ 流窗口关联mysql中的维度表大佬们都是怎么做的啊? 怎么保证整个链路的exactly one episode精准一次，从source 到flink到sink? 在SQL的TUMBLE窗口的统计中，如果没数据进来的，如何让他也定期执行，比如进行count计算，让他输出0？ new FlinkKafkaConsumer010[String]("PREWARNING",new JSONKeyValueDeserializationSchema(true), kafkaProps).setStartFromGroupOffsets() ) 我这样new 它说要我传个KeyedDeserializationSchema接口进去 flink里面broadcast state想定时reload怎么做？我用kafka里的stream flink独立模式高可用搭建必需要hadoop吗？ 有人用增量cleanupIncrementally的方式来清理状态的嘛，感觉性能很差。 flink sink to hbase继承 RichOutputFormat运行就报错 kafka 只有低级 api 才拿得到 offset 吗？ 有个问题咨询下大家，我的flinksql中有一些参数是要从mysql中获取的，比如我flink的sql是select * from aa where cc=?,这个问号的参数需要从mysql中获取，我用普通的jdbc进行连接可以获的，但是有一个问题，就是我mysql的数据改了之后必须重启flink程序才能解决这个问题，但这肯定不符合要求，请问大家有什么好的办法吗？ flink里怎样实现多表关联制作宽表 flink写es，因为半夜es集群做路由，导致写入容易失败，会引起source的反压，然后导致checkpoint超时任务卡死，请问有没有办法在下游es处理慢的时候暂停上游的导入来缓解反压？ flink 写parquet 文件，使用StreamingFileSink streamingFileSink = StreamingFileSink.forBulkFormat( new Path(path), ParquetAvroWriters.forReflectRecord(BuyerviewcarListLog.class)). withBucketAssigner(bucketAssigner).build(); 报错 java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer 1.7.2 NoWindowInnerJoin这个实现，我看实现了CleanupState可更新过期时间删除当前key状态的接口，是不是这个1.7.2版本即使有个流的key一直没有被匹配到他的状态也会被清理掉，就不会存在内存泄漏的问题了？ flink1.7.2 想在Table的UDAF中使用State，但是发现UDAF的open函数的FunctionContext中对于RuntimeContext是一个private，无法使用，大佬，如何在Table的UDAF中使用State啊？ Flink有什么性能测试工具吗？ 项目里用到了了KafkaTableSourceSinkFactory和JDBCTableSourceSinkFactory。maven打包后，META-INF里只会保留第一个 标签的org.apache.flink.table.factories.TableFactory内容。然后执行时就会有找不到合适factory的报错，请问有什么解决办法吗？ 为什么这个这段逻辑 debug的时候 是直接跳过的 各位大佬，以天为单位的窗口有没有遇到过在八点钟的时候会生成一条昨天的记录? 想问一下，我要做一个规则引擎，需要动态改变规则，如何在flink里面执行？ flink-1.9.1/bin/yarn-session.sh: line 32: construc 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 一般公司的flink job有没有进程进行守护？有专门的工具或者是自己写脚本？这种情况针对flink kafka能不能通过java获取topic的消息所占空间大小？ Flink container was removed这个咋解决的。我有时候没有数据的时候也出现这 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更 问大家个Hive问题，新建的hive外部分区表， 怎么把HDFS数据一次性全部导入hive里 ？ flink里面的broadcast state值，会出现broad流的数据还没put进mapstat Flink SQL DDL 创建表时，如何定义字段的类型为proctime? 请问下窗口计算能对历史数据进行处理吗？比如kafka里的写数据没停，窗口计算的应用停掉一段时间再开起 请问下，想统计未退费的订单数量，如果一个订单退费了（发过来一个update流），flink能做到对结果进行-1吗，这样的需求sql支持吗? 使用Flink sql时,对table使用了group by操作。然后将结果转换为流时是不是只能使用的toRetractStream方法不能使用toAppendStream方法。 百亿数据实时去重，有哪位同学实践过吗？ 你们的去重容许有误差？因为bloom filter其实只能给出【肯定不存在】和【可能存在】两种结果。对于可能存在这种结果，你们会认为是同一条记录？ 我就运行了一个自带的示例，一运行就报错然后web页面就崩了 flink定时加载外部数据有人做过吗？ NoSuchMethodError: org.apache.flink.api.java.Utils.resolveFactory(Ljava/lang/ThreadLocal;Ljava/lang/Object;)Ljava/util/Optional 各位知道这个是那个包吗？ flink 可以把大量数据写入mysql吗？比如10g flink sql 解析复杂的json可以吗？ 在页面上写规则，用flink执行，怎么传递给flink？ 使用cep时，如何动态添加规则？ 如何基于flink 实现两个很大的数据集的交集 并集 差集？ flink的应用场景是？除了实时 各位好，请教一下，滑动窗口，每次滑动都全量输出结果，外部存储系统压力大，是否有办法，只输出变化的key？ RichSinkFunction close只有任务结束时候才会去调用，但是数据库连接一直拿着，最后成了数据库连接超时了，大佬们有什么好的建议去处理吗？？ 为啥我的自定义函数注册，然后sql中使用不了？ 请问一下各位老师，flink flapmap 中的collector.collect经常出现Buffer pool is destroyed可能是什么原因呢？ 用asyncIO比直接在map里实现读hbase还慢，在和hbase交互这块儿，每个算子都加了时间统计 请教一下，在yarn上运行，会找不到 org.apache.flink.streaming.util 请问下大佬，flink1.7.2对于sql的支持是不是不怎么好啊 ，跑的数据一大就会报错。 各位大佬，都用什么来监控flink集群？ flink 有那种把多条消息聚合成一条的操作吗，比如说每五十条聚合成一条 如何可以让checkpoint 跳过对齐呢? 请问 阿里云实时计算（Blink）支持这4个源数据表吗？DataHub Kafka MQ MaxCompute？ 为啥checkpoint时间会越来越长，请问哪位大佬知道是因为啥呢？ 请问Flink的最大并行度跟kafka partition数量有关系吗? source的并行度应该最好是跟partition数量一致吧，那剩下的算子并行度呢？ Flink有 MLIB库吗，为什么1.9中没有了啊？ 请教一下，有没有flink ui的文章呢？在这块内存配置，我给 TM 配置的内存只有 4096 M，但是这里为什么对不上呢？请问哪里可以看 TM 内存使用了多少呢？ 请教个问题，fink RichSinkFunction的invoke方法是什么时候被调用的？ 请教一下，flink的window的触发条件 watermark 小于 window 的 end_time。这个 watermark 为什么是针对所有数据的呢？没有设计为一个 key 一个 watermark 呢？ 就比如说有 key1、key2、key3，有3个 watermark，有 3个 window interval不支持left join那怎么可以实现把窗口内左表的数据也写到下游呢？ 各位 1、sink如何只得到最终的结果而不是也输出过程结果 ；2、不同的运算如何不借助外部系统的存储作为另外一个运算的source 请教各位一个问题，flink中设置什么配置可以取消Generic这个泛型，如图报错： 有大佬在吗，线上遇到个问题，但是明明内存还有200多G，然后呢任务cancel不了，台也取消不了程序 flink遇到The assigned slot container_1540803405745_0094_01_000008_1 was removed. 有木有大佬遇到过。在flink on yarn上跑 这个报错是什么意思呢?我使用滑动窗口的时候出现报错 flink 双流union状态过期不清理有遇到的吗? 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更，如果订单表与商品明细join查询，就会出现n条重复数据，这样数据就不准了，flink 这块有没有比较好的实战经验的。 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink 有办法 读取 pytorch的 模型文件吗？ 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink timestamp转换为date类型，有什么函数吗 flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink 有办法 读取 pytorch的 模型文件吗？ 有没有大佬知道实时报表怎么做？就是统计的结果要实时更新，热数据。 刚接触flink 1.9 求问flink run脚本中怎么没有相关提交到yarn的命令了 请教一下，flink里怎么实现batch sink的操作而不导致数据丢失

原版英文链接：点击这里 作者 | Md Kamaruzzaman 译者 | 无明 策划 | 小智 基础设施：条条道路通云端 对于云厂商来说，2019 年是硕果累累的一年。不仅初创公司在使用云计算，那些很注重安全的“保守派”公司（如政府机构、医疗保健机构、银行、保险公司，甚至是美国五角大楼）也在迁移到云端。这种趋势在 2020 年将会继续，大大小小的公司都将（或者至少有计划）迁移到云端。Gartner 公司最近发布了一个数字： 如果你是一个还在考虑要不要迁移到云端的决策者，不妨重新审视一下你的策略。如果你是一个独立开发者，并且还没使用过云基础设施，那么完全可以在 2020 年尝试一下。很多大型的云厂商（如亚马逊、微软、谷歌）都提供了免费的体验机会。谷歌在这方面做得特别大方，它提供了价值 300 美元的一年免费服务。 策划注：阿里、腾讯、华为等国内云厂商同样有免费云服务试用产品。 云平台：亚马逊领头，其他跟上 作为第一大云厂商，亚马逊在 2019 年可谓风生水起。凭借其丰富的产品组合，亚马逊将把它的优势延续到 2020 年。Canalys 发布的 2019 年第三季度报告指出，大型云厂商（AWS、Azure、GCP）占据 56% 的市场份额，其中 AWS 独享 32.6%。 其他云厂商也在努力缩短与 AWS 之间的差距。微软把主要目标转向了大型企业。最近，微软打败了亚马逊，从美国五角大楼拿到了一个 100 亿美元的大单子。这个单子将提升 Azure 的声誉，同时削弱 AWS 的士气。 谷歌一直在推动 CNCF，实现云计算运维的标准化。谷歌的长期目标是让云迁移变得更容易，方便企业从 AWS 迁移到 GCP。IBM 之前斥资 360 亿美元收购了 RedHat，也想要在云计算市场占有一席之地。 在亚太地区，阿里云市场规模超过了 AWS、Azure 的总和，全球排名第三。中国国内腾讯云等企业的增长势头也十分迅猛。 2020 年将出现更多的并购。当然，很多初创公司将会带来新的想法和创新，例如多云服务。因为竞争激烈，这些公司只能从降价和推出更多的创新产品来获取利润。 容器化：Kubernetes 将会更酷 在容器编排领域，虽然一度出现了“三足鼎立”（Kubernetes、Docker Swarm 和 Mesos），但 Kubernetes 最终脱颖而出，成为绝对的赢家。云是一个分布式系统，而 Kubernetes 是它的 OS（分布式的 Linux）。2019 年北美 KubeCon+CloudNativeCon 大会的参会者达到了 12000 名，比 2018 年增长了 50%。以下是过去 4 年参会人数的增长情况。 在 2020 年，Kubernetes 不仅不会后退，只会变得越来越强，你完全可以把赌注压在 Kubernetes 身上。另外值得一提的是，Migrantis 最近收购了 Docker Enterprise，不过收购数额不详。 几年前，人们张口闭口说的都是 Docker，而现在换成了 Kubernetes。Docker 在它的全盛时期未能盈利，反而在优势渐退几年之后才尝试变现。这再次说明，在现代技术世界，时机就是一切。 软件架构：微服务将成为主流 谷歌趋势表明，微服务架构范式在 2019 年持续增长了一整年。 随着软件行业整体逐步迁移到云端，微服务也将成为占主导地位的架构范式。微服务架构崛起的一个主要原因是它与云原生完美契合，可以实现快速的软件开发。我在之前的一篇博文中解释了微服务架构的基本原则及其优势和劣势。 https://towardsdatascience.com/microservice-architecture-a-brief-overview-and-why-you-should-use-it-in-your-next-project-a17b6e19adfd 我假设现在也存在一种回归到单体架构的趋势，因为在很多情况下，微服务架构有点过头了，而且做好微服务架构设计其实很难。微服务架构有哪些好的实践？在之前的另一篇博文中，我也给出了一些大概，希望对读者有用。 https://towardsdatascience.com/effective-microservices-10-best-practices-c6e4ba0c6ee2 编程语言（整体）：Python 将吞噬世界 机器学习、数据分析、数据处理、Web 开发、企业软件开发，甚至是拼接黑洞照片，Python 的影子无处不在。 在著名的编程语言排行榜网站 TIOBE 上，Python 位居最流行编程语言第三位，仅次于 Java 和 C 语言。 更有意思的是，在 2019 年，Python 的流行度翻了一番（从 5% 到 10%）。 Python 的崛起将在 2020 年延续，并缩短与 Java 和 C 语言之间的差距。另一门无所不在的编程语言 JavaScript 正面临下行的风险。为什么 Python 的势头会如此强劲？因为它的入手门槛低，有一个优秀的社区在支持，并受到数据科学家和新生代开发者的喜爱。 编程语言（企业方面）：Java 将占主导 之前的 TIOBE 网站截图显示，Java 仍然是一门占主导地位的编程语言，并将在 2020 年继续保持这种地位。JVM 是 Java 的基石，其他编程语言（如 Kotlin、Scala、Clojure、Groovy）也将 JVM 作为运行时。最近，Oracle 修改了 JVM 的许可协议。 新的许可协议意味着使用 Java、Kotlin、Scala 或其他 JVM 编程语言的公司需要向 Oracle 支付大额费用。所幸的是，OpenJDK 让 JVM 继续免费。另外，还有其他一些公司为 JVM 提供企业支持。 因为体积和速度方面的问题，基于 JVM 的编程语言并不适合用在今天的无服务器环境中。Oracle 正在推动 GraalVM 计划，旨在让 Java 变得更加敏捷和快速，让它更适合用在无服务器环境中。因为除了 Java，没有其他编程语言可以提供企业级的稳定性和可靠性，所以 Java 将在 2020 年继续占主导地位。 企业版 Java：Spring 继续发力 曾几何时，在企业开发领域，Spring 和 JavaEE 之间存在着白热化的竞争。但因为 Oracle 在 JavaEE 方面没有作为，在竞争中惨败，这导致了“MicroProfile”计划的形成，并最终促成了 JakartaEE。 虽然所有的政策和活动都是围绕 JavaEE 展开，但 Spring 事实上已经赢得了这场企业 JVM 之争。2020 年，Spring 将成为 JVM 生态系统的头牌。 有两个正在进展中的项目，它们旨在减小 Java 的体积，让它更适合用在无服务器环境中。 其中一个是 Micronaut（https://micronaut.io/）。 另一个是 Quarkus（https://quarkus.io/）。 这两个项目都使用了 GraalVM，它们在 2020 年将会得到 Java 社区更多的关注。 编程语言：后起之秀的突破 2000 年代，编程语言的发展出现了停滞。大多数人认为没有必要再去开发新的编程语言，Java、C 语言、C++、JavaScript 和 Python 已经可以满足所有的需求。但是，谷歌的 Go 语言为新编程语言大门打开了一扇大门。在过去十年出现了很多有趣的编程语言，比如 Rust、Swift、Kotlin、TypeScript。导致这种情况的一个主要原因是已有的编程语言无法充分利用硬件优势（例如多核、更快的网络、云）。另一个原因是现代编程语言更加关注开发者经济，即实现更快速更容易的开发。在 Stackoverflow 提供的一份开发者报告中，排名靠前的现代编程语言如下所示（Rust 连续 4 年名列第一）。 在之前的一篇博文中，我深入探讨了现代编程语言，对比 Rust 和 Go 语言，并说明了为什么现在是采用这些语言的好时机。 https://towardsdatascience.com/back-to-the-metal-top-3-programming-language-to-develop-big-data-frameworks-in-2019-69a44a36a842 最近，微软宣布他们在探索使用 Rust 来开发更安全的软件。 亚马逊最近也宣布要赞助 Rust。 谷歌宣布将 Kotlin 作为 Android 官方开发语言，所以，在 JVM 领域，Kotlin 成了 Java 的主要竞争对手。 Angular 使用 TypeScript 代替 JavaScript，将其作为主要的编程语言，其他 JavaScript 框架（如 React 和 Vue）也开始为 TypeScript 提供更多的支持。 这种趋势将在 2020 年延续下去，很多巨头公司将会深入了解新一代编程语言（如 Rust、Swift、TypeScript、Kotlin），它们会站出来公开表示支持。 Web：JavaScript 继续占主导地位 曾几何时，JavaScript 并不被认为是一门强大的编程语言。在当时，前端内容主要通过后端框架在服务器端进行渲染。2014 年，AngularJS 的出现改变了这种局面。从那个时候开始，更多的 JavaScript 框架开始涌现（Angular 2+、React、Vue、Meteor），JavaScript 已然成为主流的 Web 开发语言。随着 JavaScript 框架不断创新以及微服务架构的崛起，JavaScript 框架在 2020 年将继续主导前端开发。 JavaScript 框架：React 闪耀 虽然 React 是在 AngularJS 之后出现的，但在过去十年对 Web 开发产生了巨大的影响，这也让 Facebook 在与 Google+ 的竞争中打了一场胜战。React 为前端开发带来了一些新的想法，比如事件溯源、虚拟 DOM、单向数据绑定、基于组件的开发，等等。它对开发者社区产生了重大影响，以至于谷歌放弃了 AngularJS，并借鉴 React 的想法推出了彻底重写的 Angular 2+。React 是目前为止最为流行的 JavaScript 框架，下图显示了相关的 NPM 下载统计信息。 为了获得更好的并发和用户体验，Facebook 宣布完全重写 React 的核心算法，推出了 React-Fiber 项目。 2020 年，React 仍然是你开发新项目的首选 Web 框架。其他框架（如 Angular/Angular 2+ 或 Vue）呢？Angular 仍然是一个不错的 Web 开发框架，特别适合企业开发。我敢肯定谷歌在未来几年会在 Angular 上加大投入。Vue 是另一个非常流行的 Web 框架，由中国的巨头公司阿里巴巴提供支持。如果你已经在使用 Angular 或 Vue，就没必要再迁移到 React 了。 App 开发：原生应用 在移动 App 开发方面，有关混合应用开发的炒作有所消停。混合开发提供了更快的开发速度，因为只需要一个开发团队，而不是多个。但原生应用提供了更好的用户体验和性能。另外，混合应用需要经过调整才能使用一些高级特性。对于企业来说，原生应用仍然是首选的解决方案，这种趋势将在 2020 年延续。Airbnb 在一篇博文中非常详细地说明了为什么他们要放弃混合应用开发平台 React Native。 https://medium.com/airbnb-engineering/sunsetting-react-native-1868ba28e30a 尽管 Facebook 尝试改进 React Native，谷歌也非常努力地推动混合 App 开发平台 Flutter，但它们仍然只适合用于原型、POC、MVP 或轻量级应用的开发。所以，原生应用在 2020 年仍将继续占主导地位。 在原生应用开发方面，谷歌和苹果分别将 Kotlin 和 Swift 作为各自平台主要的编程语言。谷歌最近再次重申了对 Kotlin 的支持，这对于 Kotlin 用户来说无疑是个好消息。 混合应用开发：React Native 在很多情况下，混合应用是个不错的选择。在这方面也有很多选择：Xamarin、Inoic、React Native 和 Flutter。Facebook 基于成熟的 React 框架推出了 React Native。就像 React 在 Web 框架领域占据主导地位一样，React Native 在混合应用领域也占据着主导地位，如下图所示。 React Native 和 React 有共同的基因，都提供了高度的代码重用性以及“一次开发，到处运行”的能力。React Native 的另一个优势是 Facebook 本身也用它来开发移动应用。谷歌在这个领域起步较晚，但在去年，谷歌的混合应用开发框架 Flutter 获得了不少关注。Flutter 提供了更好的性能，但需要使用另一门不是那么流行的编程语言 Dart。React Native 在 2020 年将继续占主导地位。 API：REST 将占主导地位 REST 是 API 领域事实上的标准，被广泛用在基于 API 的服务间通信上。当然，除了 REST，我们还有其他选择，比如来自谷歌的 gRPC 和来自 Facebook 的 GraphQL。 它们提供了不同的能力。谷歌开发的 gRPC 作为远程过程调用（如 SOAP）的化身，使用 Protobuf 代替 JSON 作为消息格式。Facebook 开发的 GraphQL 作为一个集成层，避免频繁的 REST 调用。gRPC 和 GraphQL 都在各自的领域取得了成功。2020 年，REST 仍然是占主导地位的 API 技术，而 GraphQL 和 gRPC 将作为补充技术。 人工智能：Tensorflow 2.0 将占主导地位 谷歌和 Facebook 也是深度学习 / 神经网络领域的主要玩家。谷歌基于深度学习框架 Theano 推出了 TensorFlow，它很快就成为深度学习 / 神经网络的主要开发库。谷歌还推出了特别设计的 GPU（TPU）来加速 TensorFlow 的计算。 Facebook 在深度学习领域也不甘落后，他们拥有世界上最大的图像和视频数据集合。Facebook 基于另一个深度学习库 Torch 推出了深度学习库 PyTorch。TensorFlow 和 PyTorch 之间有一些区别，前者使用的是静态图进行计算，而 PyTorch 使用的是动态图。使用动态图的好处是可以在运行时纠正自己。另外，PyTorch 对 Python 支持更好，而 Python 是数据科学领域的一门主要编程语言。 随着 PyTorch 变得越来越流行，谷歌也赶紧在 2019 年 10 月推出了 TensorFlow 2.0，也使用了动态图，对 Python 的支持也更好。 2020 年，TensorFlow 2.0 和 PyTorch 将齐头并进。考虑到 TensorFlow 拥有更大的社区，我估计 TensorFlow 2.0 将成为占主导地位的深度学习库。 数据库：SQL是王者,分布式SQL是王后 在炒作 NoSQL 的日子里，人们嘲笑 SQL，还指出了 SQL 的种种不足。有很多文章说 NoSQL 有多么的好，并将要取代 SQL。但等到炒作的潮水褪去，人们很快就意识到，我们的世界不能没有 SQL。以下是最流行的数据库的排名。 可以看到，SQL 数据库占据了前四名。SQL 之所以占主导地位，是因为它提供了 ACID 事务保证，而 ACID 是业务系统最潜在的需求。NoSQL 数据库提供了横向伸缩能力，但代价是不提供 ACID 保证。 互联网公司一直在寻找“大师级数据库”，也就是既能提供 ACID 保证又能像 NoSQL 那样可横向伸缩的数据库。目前有两个解决方案可以部分满足对“大师级数据库”的要求，一个是亚马逊的 Aurora，一个是谷歌的 Spanner。Aurora 提供了几乎所有的 SQL 功能，但不支持横向写伸缩，而 Spanner 提供了横向写伸缩能力，但对 SQL 支持得不好。 2020 年，但愿这两个数据库能够越走越近，或者有人会带来一个“分布式 SQL”数据库。如果真有人做到了，那一定要给他颁发图灵奖。 数据湖：MinIO 将要崛起 现代数据平台非常的复杂。企业一般都会有支持 ACID 事务的 OLTP 数据库（SQL），也会有用于数据分析的 OLAP 数据库（NoSQL）。除此之外，它们还有其他各种数据存储系统，比如用于搜索的 Solr、ElasticSearch，用于计算的 Spark。企业基于数据库构建自己的数据平台，将 OLTP 数据库的数据拷贝到数据湖中。各种类型的数据应用程序（比如 OLAP、搜索）将数据湖作为它们的事实来源。 HDFS 原本是事实上的数据湖，直到亚马逊推出了对象存储 S3。S3 可伸缩，价格便宜，很快就成为很多公司事实上的数据湖。使用 S3 唯一的问题是数据平台被紧紧地绑定在亚马逊的 AWS 云平台上。虽然微软 Azure 推出了 Blob Storage，谷歌也有类似的对象存储，但都不是 S3 的对手。 对于很多公司来说，MinIO 或许是它们的救星。MinIO 是一个开源的对象存储，与 S3 兼容，提供了企业级的支持，并专门为云原生环境而构建，提供了与云无关的数据湖。 微软在 Azure Marketplace 是这么描述 MinIO 的：“为 Azure Blog Storage 服务提供与亚马逊 S3 API 兼容的数据访问”。如果谷歌 GCP 和其他云厂商也提供 MinIO，那么我们将会向多云迈出一大步。 大数据批处理：Spark 将继续闪耀 现如今，企业通常需要基于大规模数据执行计算，所以需要分布式的批处理作业。Hadoop 的 Map-Reduce 是第一个分布式批处理平台，后来 Spark 取代了 Hadoop 的地位，成为真正的批处理之王。Spark 是怎样提供了比 Hadoop 更好的性能的？我之前写了另一篇文章，对现代数据平台进行了深入分析。 https://towardsdatascience.com/programming-language-that-rules-the-data-intensive-big-data-fast-data-frameworks-6cd7d5f754b0 Spark 解决了 Hadoop Map-Reduce 的痛点，它将所有东西放在内存中，而不是在完成每一个昂贵的操作之后把数据保存在存储系统中。尽管 Spark 重度使用 CPU 和 JVM 来执行批处理作业，但这并不妨碍它成为 2020 年批处理框架之王。我希望有人能够使用 Rust 开发出一个更加高效的批处理框架，取代 Spark，并为企业省下大量的云资源费用。 大数据流式处理：Flink 是未来 几年前，实现实时的流式处理几乎是不可能的事情。一些微批次处理框架（比如 Spark Streaming）可以提供“几近”实时的流式处理能力。不过，Flink 改变了这一状况，它提供了实时的流式处理能力。 2019 年之前，Flink 未能得到足够的关注，因为它无法撼动 Spark。直到 2019 年 1 月份，中国巨头公司阿里巴巴收购了 Data Artisan（Flink 背后的公司）。 在 2020 年，企业如果想要进行实时流式处理，Flink 应该是不二之选。不过，跟 Spark 一样，Flink 同样重度依赖 CPU 和 JVM，并且需要使用大量的云资源。 字节码：WebAssembly将被广泛采用 我从 JavaScript 作者 Brandon Eich 的一次访谈中知道了 WebAssembly 这个东西。现代 JavaScript（ES5 之后的版本）是一门优秀的编程语言，但与其他编程语言一样，都有自己的局限性。最大的局限性是 JavaScript 引擎在执行 JavaScript 时需要读取、解析和处理“抽象语法树”。另一个问题是 JavaScript 的单线程模型无法充分利用现代硬件（如多核 CPU 或 GPU）。正因为这些原因，很多计算密集型的应用程序（如游戏、3D 图像）无法运行在浏览器中。 一些公司（由 Mozilla 带领）开发了 WebAssembly，一种底层字节码格式，让任何一门编程语言都可以在浏览器中运行。目前发布的 WebAssembly 版本可以支持 C++、Rust 等。 WebAssembly 让计算密集型应用程序（比如游戏和 AutoCAD）可以在浏览器中运行。不过，WebAssembly 的目标不仅限于此，它还要让应用程序可以在浏览器之外运行。WebAssembly 可以被用在以下这些“浏览器外”的场景中。 移动设备上的混合原生应用。没有冷启动问题的无服务器计算。在服务器端执行不受信任的代码。 我预测，2020 年将是 WebAssembly 取得突破的一年，很多巨头公司（包括云厂商）和社区将会拥抱 WebAssembly。 代码：低代码 / 无代码将更进一步 快速的数字化和工业 4.0 革命意味着软件开发者的供需缺口巨大。由于缺乏开发人员，很多企业无法实现它们的想法。为了降低进入软件开发的门槛，可以尝试无代码（No Code）或低代码（Low Code）软件开发，也就是所谓的 LCNC（Low-Code No-Code)。它已经在 2019 年取得了一些成功。 LCNC 的目标是让没有编程经验的人也能开发软件，只要他们想要实现自己的想法。 虽然我对在正式环境中使用 LCNC 框架仍然心存疑虑，但它为其他公司奠定了良好的基础，像亚马逊和谷歌这样的公司可以基于这个基础构建出有用的产品，就像 AWS Lambda 的蓬勃发展是以谷歌 App Engine 为基础。 2020 年，LCNC 将会获得更多关注。