实时数据集成出问题什么情况

12月17日更新 请问下同时消费多个topic的情况下，在richmap里面可以获取到当前消息所属的topic吗？ 各位大佬，你们实时都是怎样重跑数据的? 有木有大神知道Flink能否消费多个kafka集群的数据？ 这个问题有人遇到吗? 你们实时读取广业务库到kafka是通过什么读的？kafka connector 的原理是定时去轮询，这样如果表多了，会不会影响业务库的性能？甚至把业务库搞挂？ 有没有flink 1.9 连接 hive的例子啊?官网文档试了，没成功 请问各位是怎么解决实时流数据倾斜的？ 请问一下，对于有状态的任务，如果任务做代码升级的时候，可否修改BoundedOutOfOrdernessTimestampExtractor的maxOutOfOrderness呢？是否会有影响数据逻辑的地方呢？ 老哥们有做过统计从0点开始截止到现在时刻的累计用户数吗？ 比如五分钟输出一次，就是7点输出0点到7点的累计用户，7:05输出0点到7:05的累计用户。 但是我这里有多个维度，现在用redis来做的。 想知道有没有更好的姿势？ 实时数仓用什么存储介质来存储维表，维表有大有小，大的大概5千万左右。 各位大神有什么建议和经验分享吗？ 请教个问题，就是flink的窗口触发必须是有数据才会触发吗？我现在有个这样的需求，就是存在窗口内没有流数据进入，但是窗口结束是要触发去外部系统获取上一个窗口的结果值作为本次窗口的结果值！现在没有流数据进入窗口结束时如何触发？ kafkaSource.setStartFromTimestamp(timestamp); 发现kafkasource从指定时间开始消费，有些topic有效，有效topic无效，大佬们有遇到过吗? 各位大佬，flink两个table join的时候，为什么打印不出来数据，已经赋了关联条件了，但是也不报错 各位大佬 请教一下 一个faile的任务 会在这里面存储展示多久啊？ 各位大佬，我的程序每五分钟一个窗口做了基础指标的统计，同时还想统计全天的Uv，这个是用State就能实现吗？ 大佬们，flink的redis sink是不是只适用redis2.8.5版本？ 有CEP 源码中文注释的发出来学习一下吗？ 有没有拿flink和tensorflow集成的？ 那位大神，给一个java版的flink1.7 读取kafka数据，做实时监控和统计的功能的代码案例。 请问下风控大佬，flink为风控引擎做数据支撑的时候，怎么应对风控规则的不断变化，比如说登录场景需要实时计算近十分钟内登录次数超过20次用户，这个规则可能会变成计算近五分钟内登录次数超过20次的。 想了解一下大家线上Flink作业一般开始的时候都分配多少内存？广播没办法改CEP flink支持多流（大于2流）join吗？ 谁能帮忙提供一下flink的多并行度的情况下，怎么保证数据有序 例如map并行度为2 那就可能出现数据乱序的情况啊 请教下现在从哪里可以可以看单任务的运行状况和内存占用情况,flink页面上能看单个任务的内存、cpu 大佬们 flink1.9 停止任务手动保存savepoint的命令是啥？ flink 一个流计算多个任务和 还是一个流一个任务好？ flink 1.9 on yarn， 自定义个connector里面用了jni， failover以后 就起不来了， 报错重复load so的问题。 我想问一下 这个，怎么解决。 难道flink 里面不能用jni吗。 ide里面调试没有问题，部署到集群就会报错了，可能什么问题？ 请教一下对于长时间耗内存很大的任务，大家都是开checkpoint机制，采用rocksdb做状态后端吗？ 请问下大佬，flink jdbc读取mysql，tinyin字段类型自动转化为Boolean有没有好的解决方法 Flink 1.9版本的Blink查询优化器，Hive集成，Python API这几个功能好像都是预览版，请问群里有大佬生产环境中使用这些功能了吗？ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 各位大佬，在一个 Job 计算过程中，查询 MySQL 来补全额外数据，是一个好的实践嘛？还是说流处理过程中应该尽量避免查询额外的数据？ Flink web UI是jquery写的吗？ 12月9日更新 成功做完一次checkpoint后，会覆盖上一次的checkpoint吗？ 数据量较大时，flink实时写入hbase能够异步写入吗？ flink的异步io，是不是只是适合异步读取，并不适合异步写入呀？ 请问一下，flink将结果sink到redis里面会不会对存储的IO造成很大的压力，如何批量的输出结果呢？ 大佬们，flink 1.9.0版本里DataStream api,若从kafka里加载完数据以后，从这一个流中获取数据进行两条业务线的操作，是可以的吗？ flink 中的rocksdb状态怎么样能可视化的查看有大佬知道吗？ 感觉flink 并不怎么适合做hive 中的计算引擎来提升hive 表的查询速度 大佬们，task端rocksdb状态 保存路径默认是在哪里的啊？我想挂载个新磁盘 把状态存到那里去 flink 的state 在窗口滑动到下一个窗口时候 上一个窗口销毁时候 state会自己清除吗？ 求助各位大佬，一个sql里面包含有几个大的hop滑动窗口，如15个小时和24个小时，滑动步长为5分钟，这样就会产生很多overlap 数据，导致状态会很快就达到几百g，然后作业内存也很快达到瓶颈就oom了，然后作业就不断重启，很不稳定，请问这个业务场景有什么有效的解决方案么？ 使用jdbcsink的时候，如果连接长时间不使用 就会被关掉，有人遇到过吗？使用的是ddl的方式 如何向云邪大佬咨询FLink相关技术问题？ 请问各位公司有专门开发自己的实时计算平台的吗？ 请问各位公司有专门开发自己的实时计算平台的吗？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 想问下老哥们都是怎么统计一段时间的UV的？ 是直接用window然后count嘛？ Flink是不是也是这样的？ 请问现在如有个实时程序，根据一个mysql的维表来清洗，但是我这个mysql表里面就只有几条信息且可能会变。 我想同一个定时器去读mysql，然后存在对象中，流清洗的时候读取这个数据，这个想法可行吗？我目前在主类里面定义一个对象，然后往里面更新，发现下面的map方法之类的读不到我更新进去的值 有大佬做过flink—sql的血缘分析吗？ 12月3日更新 请教一下，为什么我flume已经登录成功了keytab认证的kafka集群，但是就是消费不到数据呢？ flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink timestamp转换为date类型，有什么函数吗 Run a single Flink job on YARN 我采用这种模式提交任务，出现无法找到 开启 HA 的ResourceManager Failed to connect to server: xxxxx:8032: retries get failed due to exceeded maximum allowed retries number: 0 有大佬遇到过吗 ？ 各位大佬，请问有Flink写S3的方案吗？ flink 连接hbase 只支持1.4.3版本？ onnector: type: hbase version: "1.4.3" 请问 flink1.9能跑在hadoop3集群上吗? 滑动窗口 排序 报错这个是什么原因呢? 这个pravega和kafka有啥区别? flink 开发里数据源配置了RDS，但是在RDS里没有看到创建的表，是为什么呢？ Tumbling Window里的数据，是等窗口期内的数据到齐之后一次性处理，还是到了一条就处理一条啊 双流join后再做time window grouping. 但是双流join会丢失时间属性，请问大家如何解决 stream processing with apache flink，这本书的中译版 现在可以买吗? flink on yarn时，jm和tm占用的内存最小是600M，这个可以修改吗？ 各位大佬，使用默认的窗口Trigger，在什么情况下会触发两次啊？窗口关闭后，然后还来了这个窗口期内的数据，并且开了allowedLateness么？ flink web里可以像storm那样 看每条数据在该算子中的平均耗时吗？ 各位大佬，flink任务的并发数调大到160+以后，每隔几十分钟就会出现一次TM节点连接丢失的异常，导致任务重启。并发在100时运行比较稳定，哪位大佬可以提供下排查的思路？ 感觉stateful function 是下一个要发力的点，这个现在有应用案例吗？ 我有2个子网（a子网，b子网）用vpn联通，vpn几周可能会断一次。a子网有一个kafka集群，b子网运行我自己的flink集群和应用，b子网的flink应用连接到a子网的kafka集群接收消息来处理入库到数仓去。我的问题是，如果vpn断开，flink consumer会异常整个作业退出吗？如果作业退出，我重连vpn后，能从auto checkpoint再把flink应用恢复到出错时flink kafka consumer应该读取的partition/offset位置吗？flink的checkpoint除了保存自己开发的算子里的state，kafkaconsumer里的partition/offset也会保存和恢复吗？ flink的反压为什么不加入metrics呢 hdfs是不是和flink共用一个集群? flink消费kafka，可以从指定时间消费的吗？目前提供的接口只是根据offset消费？有人知道怎么处理？ flink 的Keyby是不是只是repartition而已？没有将key相同的数据放到一个组合里面 电商大屏 大家推荐用什么来做吗？ 我比较倾向用数据库，因为有些数据需要join其他表，flink充当了什么角色，对这个有点迷，比如统计当天订单量，卖了多少钱，各个省的销量，销售金额，各个品类的销售量销售金额 开源1.9的sql中怎么把watermark给用起来，有大神知道吗？ 有没有人能有一些flink的教程 代码之类的分享啊 采用了checkpoint,程序停止了之后，什么都不改，直接重启，还是能接着继续运行吗？如果可以的话，savepoint的意义又是什么呢? 有人做过flink 的tpc-ds测试吗，能不能分享一下操作的流程方法 checkpoint是有时间间隔的，也就可以理解为checkpoint是以批量操作的，那如果还没进行ckecnpoint就挂了，下次从最新的一次checkpoint重启，不是重复消费了？ kafka是可以批量读取数据，但是flink是一条一条处理的，应该也可以一条一条提交吧。 各位大佬，flink sql目前是不是不支持tumbling window join，有人了解吗？ 你们的HDFS是装在taskmanager上还是完全分开的,请问大佬们有遇到这种情况吗？ 大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 有谁遇到过这个问题? 请教一下各位，这段代码里面，我想加一个trigger，实现每次有数据进window时候，就输出，而不是等到window结束再输出，应该怎么加？ 麻烦问下 flink on yarn 执行 客户端启动时 报上面错,是什么原因造成的 求大佬指点 ERROR org.apache.flink.client.program.rest.RestClusterClient - Error while shutting down cluster java.util.concurrent.ExecutionException: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries has been exhausted. 大家怎么能动态的改变 flink WindowFunction 窗口数据时间 flink on yarn之后。yarn的日志目录被写满，大家如配置的？ Flink1.9 启动 yarn-session报这个错误 怎么破？ yarn 模式下，checkpoint 是存在 JobManager的，提交任务也是提交给 JobManager 的吧？ heckpoint机制，会不会把window里面的数据全部放checkpoint里面？ Flink On Yarn的模式下，如果通过REST API 停止Job,并触发savepiont呢 jenkins自动化部署flink的job，一般用什么方案？shell脚本还是api的方式？ 各位大佬，开启增量checkpoint 情况下，这个state size 是总的checkpoint 大小，还是增量上传的大小？ 想用状态表作为子表 外面嵌套窗口 如何实现呢 因为状态表group by之后 ctime会失去时间属性,有哪位大佬知道的？ 你们有试过在同样的3台机器上部署两套kafka吗？ 大家有没有比较好的sql解析 组件（支持嵌套sql）? richmapfuntion的open/close方法，和处理数据的map方法，是在同一个线程，还是不同线程调用的？ flink on yarn 提交 参数 -p 20 -yn 5 -ys 3 ，我不是只启动了5个container么？ Flink的乱序问题怎么解决? 我对数据流先进行了keyBy,print的时候是有数据的,一旦进行了timeWindow滑动窗口就没有数据了,请问是什么情况呢? 搭建flinksql平台的时候，怎么处理udf的呀? 怎么查看sentry元数据里哪些角色有哪些权限？ 用java api写的kafka consumer能消费到的消息，但是Flink消费不到，这是为啥? 我state大小如果为2G左右 每次checkpoint会不会有压力? link-table中的udaf能用deltaTrigger么？ flink1.7.2，场景是一分钟为窗口计算每分钟传感器的最高温度，同时计算当前分钟与上一分钟最高温 001 Flink集群支持kerberos认证吗？也就是说flink客户端需要向Flink集群进行kerberos认证，认证通过之后客户端才能提交作业到Flink集群运行002 Flink支持多租户吗？ 如果要对客户端提交作业到flink进行访问控制，你们有类似的这种使用场景吗？ flink可以同时读取多个topic的数据吗？ Flink能够做实时ETL（oracle端到oracle端或者多端）么？ Flink是否适合普通的关系型数据库呢？ Flink是否适合普通的关系型数据库呢？ 流窗口关联mysql中的维度表大佬们都是怎么做的啊? 怎么保证整个链路的exactly one episode精准一次，从source 到flink到sink? 在SQL的TUMBLE窗口的统计中，如果没数据进来的，如何让他也定期执行，比如进行count计算，让他输出0？ new FlinkKafkaConsumer010[String]("PREWARNING",new JSONKeyValueDeserializationSchema(true), kafkaProps).setStartFromGroupOffsets() ) 我这样new 它说要我传个KeyedDeserializationSchema接口进去 flink里面broadcast state想定时reload怎么做？我用kafka里的stream flink独立模式高可用搭建必需要hadoop吗？ 有人用增量cleanupIncrementally的方式来清理状态的嘛，感觉性能很差。 flink sink to hbase继承 RichOutputFormat运行就报错 kafka 只有低级 api 才拿得到 offset 吗？ 有个问题咨询下大家，我的flinksql中有一些参数是要从mysql中获取的，比如我flink的sql是select * from aa where cc=?,这个问号的参数需要从mysql中获取，我用普通的jdbc进行连接可以获的，但是有一个问题，就是我mysql的数据改了之后必须重启flink程序才能解决这个问题，但这肯定不符合要求，请问大家有什么好的办法吗？ flink里怎样实现多表关联制作宽表 flink写es，因为半夜es集群做路由，导致写入容易失败，会引起source的反压，然后导致checkpoint超时任务卡死，请问有没有办法在下游es处理慢的时候暂停上游的导入来缓解反压？ flink 写parquet 文件，使用StreamingFileSink streamingFileSink = StreamingFileSink.forBulkFormat( new Path(path), ParquetAvroWriters.forReflectRecord(BuyerviewcarListLog.class)). withBucketAssigner(bucketAssigner).build(); 报错 java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer 1.7.2 NoWindowInnerJoin这个实现，我看实现了CleanupState可更新过期时间删除当前key状态的接口，是不是这个1.7.2版本即使有个流的key一直没有被匹配到他的状态也会被清理掉，就不会存在内存泄漏的问题了？ flink1.7.2 想在Table的UDAF中使用State，但是发现UDAF的open函数的FunctionContext中对于RuntimeContext是一个private，无法使用，大佬，如何在Table的UDAF中使用State啊？ Flink有什么性能测试工具吗？ 项目里用到了了KafkaTableSourceSinkFactory和JDBCTableSourceSinkFactory。maven打包后，META-INF里只会保留第一个 标签的org.apache.flink.table.factories.TableFactory内容。然后执行时就会有找不到合适factory的报错，请问有什么解决办法吗？ 为什么这个这段逻辑 debug的时候 是直接跳过的 各位大佬，以天为单位的窗口有没有遇到过在八点钟的时候会生成一条昨天的记录? 想问一下，我要做一个规则引擎，需要动态改变规则，如何在flink里面执行？ flink-1.9.1/bin/yarn-session.sh: line 32: construc 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 一般公司的flink job有没有进程进行守护？有专门的工具或者是自己写脚本？这种情况针对flink kafka能不能通过java获取topic的消息所占空间大小？ Flink container was removed这个咋解决的。我有时候没有数据的时候也出现这 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更 问大家个Hive问题，新建的hive外部分区表， 怎么把HDFS数据一次性全部导入hive里 ？ flink里面的broadcast state值，会出现broad流的数据还没put进mapstat Flink SQL DDL 创建表时，如何定义字段的类型为proctime? 请问下窗口计算能对历史数据进行处理吗？比如kafka里的写数据没停，窗口计算的应用停掉一段时间再开起 请问下，想统计未退费的订单数量，如果一个订单退费了（发过来一个update流），flink能做到对结果进行-1吗，这样的需求sql支持吗? 使用Flink sql时,对table使用了group by操作。然后将结果转换为流时是不是只能使用的toRetractStream方法不能使用toAppendStream方法。 百亿数据实时去重，有哪位同学实践过吗？ 你们的去重容许有误差？因为bloom filter其实只能给出【肯定不存在】和【可能存在】两种结果。对于可能存在这种结果，你们会认为是同一条记录？ 我就运行了一个自带的示例，一运行就报错然后web页面就崩了 flink定时加载外部数据有人做过吗？ NoSuchMethodError: org.apache.flink.api.java.Utils.resolveFactory(Ljava/lang/ThreadLocal;Ljava/lang/Object;)Ljava/util/Optional 各位知道这个是那个包吗？ flink 可以把大量数据写入mysql吗？比如10g flink sql 解析复杂的json可以吗？ 在页面上写规则，用flink执行，怎么传递给flink？ 使用cep时，如何动态添加规则？ 如何基于flink 实现两个很大的数据集的交集 并集 差集？ flink的应用场景是？除了实时 各位好，请教一下，滑动窗口，每次滑动都全量输出结果，外部存储系统压力大，是否有办法，只输出变化的key？ RichSinkFunction close只有任务结束时候才会去调用，但是数据库连接一直拿着，最后成了数据库连接超时了，大佬们有什么好的建议去处理吗？？ 为啥我的自定义函数注册，然后sql中使用不了？ 请问一下各位老师，flink flapmap 中的collector.collect经常出现Buffer pool is destroyed可能是什么原因呢？ 用asyncIO比直接在map里实现读hbase还慢，在和hbase交互这块儿，每个算子都加了时间统计 请教一下，在yarn上运行，会找不到 org.apache.flink.streaming.util 请问下大佬，flink1.7.2对于sql的支持是不是不怎么好啊 ，跑的数据一大就会报错。 各位大佬，都用什么来监控flink集群？ flink 有那种把多条消息聚合成一条的操作吗，比如说每五十条聚合成一条 如何可以让checkpoint 跳过对齐呢? 请问 阿里云实时计算（Blink）支持这4个源数据表吗？DataHub Kafka MQ MaxCompute？ 为啥checkpoint时间会越来越长，请问哪位大佬知道是因为啥呢？ 请问Flink的最大并行度跟kafka partition数量有关系吗? source的并行度应该最好是跟partition数量一致吧，那剩下的算子并行度呢？ Flink有 MLIB库吗，为什么1.9中没有了啊？ 请教一下，有没有flink ui的文章呢？在这块内存配置，我给 TM 配置的内存只有 4096 M，但是这里为什么对不上呢？请问哪里可以看 TM 内存使用了多少呢？ 请教个问题，fink RichSinkFunction的invoke方法是什么时候被调用的？ 请教一下，flink的window的触发条件 watermark 小于 window 的 end_time。这个 watermark 为什么是针对所有数据的呢？没有设计为一个 key 一个 watermark 呢？ 就比如说有 key1、key2、key3，有3个 watermark，有 3个 window interval不支持left join那怎么可以实现把窗口内左表的数据也写到下游呢？ 各位 1、sink如何只得到最终的结果而不是也输出过程结果 ；2、不同的运算如何不借助外部系统的存储作为另外一个运算的source 请教各位一个问题，flink中设置什么配置可以取消Generic这个泛型，如图报错： 有大佬在吗，线上遇到个问题，但是明明内存还有200多G，然后呢任务cancel不了，台也取消不了程序 flink遇到The assigned slot container_1540803405745_0094_01_000008_1 was removed. 有木有大佬遇到过。在flink on yarn上跑 这个报错是什么意思呢?我使用滑动窗口的时候出现报错 flink 双流union状态过期不清理有遇到的吗? 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更，如果订单表与商品明细join查询，就会出现n条重复数据，这样数据就不准了，flink 这块有没有比较好的实战经验的。 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink 有办法 读取 pytorch的 模型文件吗？ 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink timestamp转换为date类型，有什么函数吗 flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink 有办法 读取 pytorch的 模型文件吗？ 有没有大佬知道实时报表怎么做？就是统计的结果要实时更新，热数据。 刚接触flink 1.9 求问flink run脚本中怎么没有相关提交到yarn的命令了 请教一下，flink里怎么实现batch sink的操作而不导致数据丢失

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。 　　大数据有四个基本特征：一、数据体量巨大（Vomule），二、数据类型多样（Variety），三、处理速度快（Velocity），四、价值密度低（Value）。 　　在大数据的领域现在已经出现了非常多的新技术，这些新技术将会是大数据收集、存储、处理和呈现最强有力的工具。大数据处理一般有以下几种关键性技术：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。 　　大数据处理之一：采集。大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。 　　在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。 　　大数据处理之二：导入和预处理。虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。 　　导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。 　　大数据处理之三：统计和分析。统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。 　　统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。 　　大数据处理之四：挖掘。与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。 　　整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。 　　大数据的处理方式大致分为数据流处理方式和批量数据处理方式两种。数据流处理的方式适合用于对实时性要求比较高的场合中。并不需要等待所有的数据都有了之后再进行处理，而是有一点数据就处理一点，更多地要求机器的处理器有较快速的性能以及拥有比较大的主存储器容量，对辅助存储器的要求反而不高。批量数据处理方式是对整个要处理的数据进行切割划分成小的数据块，之后对其进行处理。重点在于把大化小——把划分的小块数据形成小任务，分别单独进行处理，并且形成小任务的过程中不是进行数据传输之后计算，而是将计算方法（通常是计算函数——映射并简化）作用到这些数据块最终得到结果。 　　当前，对大数据的处理分析正成为新一代信息技术融合应用的节点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据也是信息产业持续高速增长的新引擎。面对大数据市场的新技术、新产品、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动”转变为“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测，跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。 　　目前大数据在医疗卫生领域有广为所知的应用，公共卫生部门可以通过覆盖全国的患者电子病历数据库进行全面疫情监测。5千万条美国人最频繁检索的词条被用来对冬季流感进行更及时准确的预测。学术界整合出2003年H5N1禽流感感染风险地图，研究发行此次H7N9人类病例区域。社交网络为许多慢性病患者提供了临床症状交流和诊治经验分享平台，医生借此可获得院外临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。 　　在医药研发方面，大数据的战略意义在于对各方面医疗卫生数据进行专业化处理，对患者甚至大众的行为和情绪的细节化测量成为可能，挖掘其症状特点、行为习惯和喜好等，找到更符合其特点或症状的药品和服务，并针对性的调整和优化。在医药研究开发部门或公司的新药研发阶段，能够通过大数据技术分析来自互联网上的公众疾病药品需求趋势，确定更为有效率的投入产品比，合理配置有限研发资源。除研发成本外，医药公司能够优化物流信息平台及管理，更快地获取回报，一般新药从研发到推向市场的时间大约为13年，使用数据分析预测则能帮助医药研发部门或企业提早将新药推向市场。 　　在疾病诊治方面，可通过健康云平台对每个居民进行智能采集健康数据，居民可以随时查阅，了解自身健康程度。同时，提供专业的在线专家咨询系统，由专家对居民健康程度做出诊断，提醒可能发生的健康问题，避免高危病人转为慢性病患者，避免慢性病患者病情恶化，减轻个人和医保负担，实现疾病科学管理。对于医疗卫生机构，通过对远程监控系统产生数据的分析，医院可以减少病人住院时间，减少急诊量，实现提高家庭护理比例和门诊医生预约量的目标。武汉协和医院目前也已经与市区八家社区卫生服务中心建立远程遥控联系，并将在未来提供“从医院到家”的服务。在医疗卫生机构，通过实时处理管理系统产生的数据，连同历史数据，利用大数据技术分析就诊资源的使用情况，实现机构科学管理，提高医疗卫生服务水平和效率，引导医疗卫生资源科学规划和配置。大数据还能提升医疗价值，形成个性化医疗，比如基于基因科学的医疗模式。 　　在公共卫生管理方面，大数据可以连续整合和分析公共卫生数据，提高疾病预报和预警能力，防止疫情爆发。公共卫生部门则可以通过覆盖区域的卫生综合管理信息平台和居民信息数据库，快速监测传染病，进行全面疫情监测，并通过集成疾病监测和响应程序，进行快速响应，这些都将减少医疗索赔支出、降低传染病感染率。通过提供准确和及时的公众健康咨询，将会大幅提高公众健康风险意识，同时也将降低传染病感染风险。 　　在居民健康管理方面，居民电子健康档案是大数据在居民健康管理方面的重要数据基础，大数据技术可以促进个体化健康事务管理服务，改变现代营养学和信息化管理技术的模式，更全面深入地从社会、心理、环境、营养、运动的角度来对每个人进行全面的健康保障服务，帮助、指导人们成功有效地维护自身健康。另外，大数据可以对患者健康信息集成整合，在线远程为诊断和治疗提供更好的数据证据，通过挖掘数据对居民健康进行智能化监测，通过移动设备定位数据对居民健康影响因素进行分析等等，进一步提升居民健康管理水平。 　　在健康危险因素分析方面，互联网、物联网、医疗卫生信息系统及相关信息系统等普遍使用，可以系统全面地收集健康危险因素数据，包括环境因素（利用GIS系统采集大气、土壤、水文等数据），生物因素（包括致病性微生物、细菌、病毒、真菌等的监测数据），经济社会因素（分析经济收入、营养条件、人口迁徙、城镇化、教育就业等因素数据），个人行为和心理因素，医疗卫生服务因素，以及人类生物遗传因素等，利用大数据技术对健康危险因素进行比对关联分析，针对不同区域、人群进行评估和遴选健康相关危险因素及制作健康监测评估图谱和知识库也成为可能，提出居民健康干预的有限领域和有针对性的干预计划，促进居民健康水平的提高。 答案来源于网络

一 、iOS APP 上架流程简介 1. 申请开发者账号 苹果的开发者账号主要分为个人（Individual）、公司（Company）、企业（Enterprise）、高校（University）四种类型，每年资费分别为$99、$99、$299、免费）。一般开发者申请的都是个人或者公司的，企业的开发者账号开发应用不能发布到App Store，只能企业内部使用。这个申请过程一般可能需要一个星期左右。公司和企业的需要邓白氏码，如果邓白氏码未申请，请先申请邓白氏码，这个过程需要一到两个星期。 创建证书、AppID、生成描述文件 通过 Mac 的钥匙串工具，生成证书请求文件，下载证书，这里需要注意的是下载下来的证书只能在请求该证书的电脑上使用，如果想给其他开发者使用需要将已经导入的证书导出为个人信息交换（.p12）格式供他人使用。 AppID 的创建需要用到项目的 Bundle ID，之后便可以创建描述文件了。 在开发者中心的 iTunes Connect 中配置 App 相关信息 在开发者中心里的 iTunes Connect 里的 APP 选项中新建 APP 项目并配置相应的信息（需要各个版本的屏幕截图，运行模拟器，调到最大（command+1）用 command+s 截图，还有就是一个1024*1024的图标，不能有圆角） 使用 Xcode 打包上传 App 将 2 步骤中申请好的证书和描述文件正确配置到 Xcode 中，设置好Xcode 的一些属性： 在Xcode中选择iOS Device(这里不能选择模拟器) 如果应用不支持横屏，请在 General 选项中将 Landscape Left 和 Landscape Right 两项的勾选去掉 查看版本号和构建版本号 将断点、全局断点、僵尸模式等都去掉 设置为 Release 模式 之后便可选择 Xcode->Product->Archive 打包项目，打包完成后选择 Upload to App Store 上传。如果不想使用 Xcode 上传的话，也可以选择 Export 导出 ipa 文件， 需要注意的是在导出时，必须选择 Save for iOS App Store Deployment。然后通过Application Loader 工具上传 ipa 文件。 提交审核 以上步骤完成后，返回 iTunes Connect 上查看自己的 App 信息，在构建版本中选择刚刚上传的 App 版本，此时有可能显示正在处理，这时可能需要等几分钟再回来查看。选择好版本后点击提交以供审核，这时 App 会变成等待审核状态。 后续 后续就是等待苹果的审核人员审核应用了，如果一切顺利的话，这个过程需要一到两个工作日便可完成审核，当然前提是你的应用符合苹果的审核条款。如果审核不通过，请及时根据反馈信息修改应用，再次提交直到符合要求。审核通过后，如果之前选择已经选择好自动发布，便可在 AppStore 上查看和下载应用了。 二 、iOS 上架审核过程常见的坑与解决方法 1. 问题：用户生成内容（UGC）缺少必要的审核 为了防止非法滥用用户生成的内容，从而给用户提供虚假信息、盗取用户的知识产权，社交应用以及应用当中包含用户生成的信息的应用必须包括下述功能： 过滤不良内容 提供举报机制 后台服务可以提供阻止骚扰用户的行为 提供官方联系方式，让用户可以快速联系到开发商 解决方案： 维秀直播 App 提供了用户实时弹幕功能，所以涉及到了 UGC，他们的处理方法是增加关键词过滤，还有通过房管的方式人工审核，处理违规用户。 问题：应用中使用了 IDFA 被拒绝 IDFA 主要被用于广告中区分设备的作用。AppStore 禁止没有使用广告而采集 IDFA 的 App 上架，所以如果 App 本身没有广告的话，使用第三方 SDK 要注意检查是否含有 IDFA 广告模块。 解决方案： 如果应用本身有集成广告的话，只需要在提交审核的时候勾选正确的广告标识符选项即可。 如果应用本身未集成广告，却包含 IDFA 的话。这种情况一般都是集成的第三方 SDK 中包含 IDFA 导致的。首先寻找是否有不包含 IDFA 的 SDK 版本，如果没有的话可以参考 ShareSDK 的解决方法，通过后台配置在审核期间为应用添加广告，审核完成过后将广告展示去掉。 3. 问题：应用不支持 IPv6网络下使用 2016年6月1号起，苹果的审核人员会在 IPv6 网络上审核你的应用，所以如果你的应用程序无法使用 IPv6 协议，可能会被拒绝。 解决方案： 卓易夺宝和乐动听 App 上架过程中就因为 IPv6 的支持原因被拒。他们的解决方案是： 协调后端人员添加对 IPv6 网络的支持。 App 端更新相关的第三方 SDK，比如使用 ASI 或者 AFN 的版本太低,使用最新的 AFN 即可解决问题。 当然这些做完之后最好在Mac 上面搭建 IPv6网络供测试人员进行完测试再重新发布。 4. 问题：第三方登录、支付、分享未安装应用，提示下载被拒 这个问题其实被拒的原因有两种，第一种是未安装应用没有任何提示，这种情况下相当于应用有无效的按钮所以会被拒；第二种是提示下载对应的第三方 App，这也是苹果所不允许的。 解决方案： 最新的第三方登录等相关的 SDK 目前已知的（微信，QQ，微博）都已经对这种情况做了处理，在未安装的情况下会调用 web 进行登录，所以如果测试过程中发现可以成功在 web 上登录的话可以不做处理。以前在没有这种处理机制的情况下需要开发者调用对应接口，先判断是否安装了相应的第三方 APP，如果未安装，需要隐藏按钮，这样便可轻松过审。 问题：虚拟产品未使用应用内支付（IAP）被拒 根据苹果官方最新的审核条款：如果你希望通过付费才可以解锁你的应用当中的一些功能（例如，订阅内容，游戏货币，游戏关卡，获取优质内容，解锁完整版本），你必须使用应用内付费（IAP）。如果这种情况下，应用使用了其他的第三方支付，应用将被拒绝上架。 解决方案： 审核的时候，把相应的虚拟产品隐藏起来，通过后再放出来，此招有风险，可能会受到警告信，甚至被封号，如果用户量小就无所谓了，先把App 搞上架! 审核的时候，走 IAP 的支付方式，审核完成后再通过服务器配置动态切换到支付宝、微信等第三方支付。该法类似于方案1，也存在风险。 学习58同城，让用户去网站购买产品，买了产品的账号到移动端使用功能。 老老实实的使用 IAP 吧。 6. 问题：使用后台定位被拒 关于位置服务苹果的审核条款原文如下： 使用位置服务的应用程序必须提供和位置服务直接相关的功能。使用基于位置的API不允许用于提供紧急服务，或者实现自动控制车辆、飞行器以及其他设备（小型的设备例如小型无人机和玩具例外），远程控制汽车警报系统等。在收集、传输和使用用户的位置数据之前，请确保你已经取得了用户的同意。 如果应用程序使用了后台定位服务，务必在应用当中阐明其目的。并且使用后台定位的话需要提供一个明确的提醒告诉用户这么做会加快电量消耗。 一般应用在这一块被拒的原因有以下几种： 应用根本不需要定位功能。 应用需要定位功能，但是只需要短暂的获取少数的用户的位置，比如美团，新闻类的应用需要获得当前用户的所在城市，却使用了后台定位模式。 应用确实需要使用后台定位，比如打车类软件，但是应用中却没有任何界面展示这些定位数据。 解决方案： 如果你的应用根本不需要定位功能，但是还是在 info.plist 里面添加了 location in the UIBackgroundModes key ，那么在 plist 文件里面移除 UIBackgroundModes key 就可以，这中情况较少，新手小白会犯这种错误。 如果只是简单获取位置不需要使用后台定位，只需要去掉info.plist 的文件中的 UIBackgroundModes 即可。 这种情况比较复杂，推荐的做法是通过表格或者轨迹展示出后台定位的数据，再提交审核的时候告诉苹果那个功能需要后台定位，具体展示后台定位的 数据在那个界面,最后需要 Continued use of GPS running in the background can dramatically decrease battery life加到 App 描述里 面，可以参考滴滴出行的描述，否则也会被拒绝。 7. 问题：info.plist 权限配置被拒 iOS 10 之后如果需要调用相机，蓝牙等设备时，需要在 info.plist 文件中进行相应的配置，否则应用会直接崩溃，在 iOS 10 之前则是无法访问。另外，如果在 info.plist 中调用了配置了权限在应用中却没有使用到也是会被拒的。 解决方案： 一定要注意自己的 App 在使用中用到了哪些权限，不要添加无用的权限，也不要缺少必要的权限。 问题：应用提示更新被拒 应用内不能有任何提示更新应用的字样，且应用的更新只能通过 AppStore。因为苹果对于应用的更新有自己的一套策略，所以禁止应用本身提供更新方式，只要应用内出现。 解决方案： 如果不是很必要的话，尽量将应用内涉及到应用更新的部分去掉。如果真的需要使用应用更新，推荐的方法是应用启动的时候获取下应用在 AppStore 上面的版本号，与自己的版本号进行比较，当自己的版本号小于 AppStore 上面的版本号时，提示更新，否则的话不显示更新相关的内容。 问题：夺宝（抽奖）类应用被拒 根据 AppStore 审核准则 20.4 的规定，抽奖卷或抽奖参与权的购买，不论是透过第三方支付渠道或者余额扣款实现，都不能够在 app 内执行。 解决方案： 卓易夺宝 App 上架过程中遇到的问题，最后的解决方法是在审核过程中，所有的支付行为都跳转到 Safari 浏览器上面进行，审核完成后再使用支付宝等 app 平台支付。 问题：隐私条款问题被拒 在未获得用户事先允许，或未告知用户信息将被如何，在哪里使用的情况下，应用不可以传输用户数据。 解决方案： 《网站服务协议》《隐私条款》这些都不要少，注册时候让用户可勾选。另外注明需要的用户信息用来做什么。 问题：未提供测试账号被拒 如果应用中有需要用到账号或者其他资源的（例如：一个二维码）才能使用的一些功能，但未提供给苹果，可能会被拒绝上架。原因是苹果审核人员无法测试这些功能。 解决方案： 提供一个有效的测试帐号以及登录信息，并提供测试功能必要的的硬件和资源（例如，一个测试用的二维码） 问题：未通过 HTTPS 访问被拒 App Transport Security（ATS） 是 Apple 为增强 iOS App 网络通信安全提出的安全功能，适用于 iOS App 和 App Extension；在启用 ATS 之后，它会强制应用通过 HTTPS（而不是 HTTP ）连接网络服务。 WWDC 2016上提出，2016年底或2017年初，具体时间未定。App Store 上架审核加强对 ATS 配置的 review，即强制应用必须通过 HTTPS 连接网络服务，而不是随手将 NSAllowsArbitraryLoads 置为 YES，否则审核不予通过。 解决方案: ATS 的提出，是为了在系统层面保障 iOS APP 网络通信的安全；Apple 只所以加强对 ATS 配置的审核，是为了防止开发者们遇到ATS相关的场景时，只是简单地将 ATS完全关闭（只要没有强制性措施，开发者会这么做）；在此基础上，App 审核同样会遵循原则：App Review will require "reasonable justification" for most ATS exceptions。 Apple 官方给出的可以通过审核的声明 demo 如下： 必须使用第三方提供的服务，但是其没有支持 HTTPS； 必须通过域名连接到设备，但该设备不能支持安全连接； 必须展示不同来源的网页内容，但是不能基于 NSAllowsArbitraryLoadsInWebContent 支持的类（UIWebView / WKWebView）实现； 载入加密的媒体资源并且其中不涉及个人信息。 由于 Apple 官方并没有给出 ATS 审核的完整说明，ATS 审核时什么才是合适合理的声明也没有明确的客观定义，以上 demo 描述仅能作为参照。 参考文章： http://www.jianshu.com/p/b1b77d804254 https://github.com/wg689/Solve-App-Store-Review-Problem 22人点赞 iOS 作者：Jon1993 链接：https://www.jianshu.com/p/a992c88087a5 来源：简书

原版英文链接：点击这里 作者 | Md Kamaruzzaman 译者 | 无明 策划 | 小智 基础设施：条条道路通云端 对于云厂商来说，2019 年是硕果累累的一年。不仅初创公司在使用云计算，那些很注重安全的“保守派”公司（如政府机构、医疗保健机构、银行、保险公司，甚至是美国五角大楼）也在迁移到云端。这种趋势在 2020 年将会继续，大大小小的公司都将（或者至少有计划）迁移到云端。Gartner 公司最近发布了一个数字： 如果你是一个还在考虑要不要迁移到云端的决策者，不妨重新审视一下你的策略。如果你是一个独立开发者，并且还没使用过云基础设施，那么完全可以在 2020 年尝试一下。很多大型的云厂商（如亚马逊、微软、谷歌）都提供了免费的体验机会。谷歌在这方面做得特别大方，它提供了价值 300 美元的一年免费服务。 策划注：阿里、腾讯、华为等国内云厂商同样有免费云服务试用产品。 云平台：亚马逊领头，其他跟上 作为第一大云厂商，亚马逊在 2019 年可谓风生水起。凭借其丰富的产品组合，亚马逊将把它的优势延续到 2020 年。Canalys 发布的 2019 年第三季度报告指出，大型云厂商（AWS、Azure、GCP）占据 56% 的市场份额，其中 AWS 独享 32.6%。 其他云厂商也在努力缩短与 AWS 之间的差距。微软把主要目标转向了大型企业。最近，微软打败了亚马逊，从美国五角大楼拿到了一个 100 亿美元的大单子。这个单子将提升 Azure 的声誉，同时削弱 AWS 的士气。 谷歌一直在推动 CNCF，实现云计算运维的标准化。谷歌的长期目标是让云迁移变得更容易，方便企业从 AWS 迁移到 GCP。IBM 之前斥资 360 亿美元收购了 RedHat，也想要在云计算市场占有一席之地。 在亚太地区，阿里云市场规模超过了 AWS、Azure 的总和，全球排名第三。中国国内腾讯云等企业的增长势头也十分迅猛。 2020 年将出现更多的并购。当然，很多初创公司将会带来新的想法和创新，例如多云服务。因为竞争激烈，这些公司只能从降价和推出更多的创新产品来获取利润。 容器化：Kubernetes 将会更酷 在容器编排领域，虽然一度出现了“三足鼎立”（Kubernetes、Docker Swarm 和 Mesos），但 Kubernetes 最终脱颖而出，成为绝对的赢家。云是一个分布式系统，而 Kubernetes 是它的 OS（分布式的 Linux）。2019 年北美 KubeCon+CloudNativeCon 大会的参会者达到了 12000 名，比 2018 年增长了 50%。以下是过去 4 年参会人数的增长情况。 在 2020 年，Kubernetes 不仅不会后退，只会变得越来越强，你完全可以把赌注压在 Kubernetes 身上。另外值得一提的是，Migrantis 最近收购了 Docker Enterprise，不过收购数额不详。 几年前，人们张口闭口说的都是 Docker，而现在换成了 Kubernetes。Docker 在它的全盛时期未能盈利，反而在优势渐退几年之后才尝试变现。这再次说明，在现代技术世界，时机就是一切。 软件架构：微服务将成为主流 谷歌趋势表明，微服务架构范式在 2019 年持续增长了一整年。 随着软件行业整体逐步迁移到云端，微服务也将成为占主导地位的架构范式。微服务架构崛起的一个主要原因是它与云原生完美契合，可以实现快速的软件开发。我在之前的一篇博文中解释了微服务架构的基本原则及其优势和劣势。 https://towardsdatascience.com/microservice-architecture-a-brief-overview-and-why-you-should-use-it-in-your-next-project-a17b6e19adfd 我假设现在也存在一种回归到单体架构的趋势，因为在很多情况下，微服务架构有点过头了，而且做好微服务架构设计其实很难。微服务架构有哪些好的实践？在之前的另一篇博文中，我也给出了一些大概，希望对读者有用。 https://towardsdatascience.com/effective-microservices-10-best-practices-c6e4ba0c6ee2 编程语言（整体）：Python 将吞噬世界 机器学习、数据分析、数据处理、Web 开发、企业软件开发，甚至是拼接黑洞照片，Python 的影子无处不在。 在著名的编程语言排行榜网站 TIOBE 上，Python 位居最流行编程语言第三位，仅次于 Java 和 C 语言。 更有意思的是，在 2019 年，Python 的流行度翻了一番（从 5% 到 10%）。 Python 的崛起将在 2020 年延续，并缩短与 Java 和 C 语言之间的差距。另一门无所不在的编程语言 JavaScript 正面临下行的风险。为什么 Python 的势头会如此强劲？因为它的入手门槛低，有一个优秀的社区在支持，并受到数据科学家和新生代开发者的喜爱。 编程语言（企业方面）：Java 将占主导 之前的 TIOBE 网站截图显示，Java 仍然是一门占主导地位的编程语言，并将在 2020 年继续保持这种地位。JVM 是 Java 的基石，其他编程语言（如 Kotlin、Scala、Clojure、Groovy）也将 JVM 作为运行时。最近，Oracle 修改了 JVM 的许可协议。 新的许可协议意味着使用 Java、Kotlin、Scala 或其他 JVM 编程语言的公司需要向 Oracle 支付大额费用。所幸的是，OpenJDK 让 JVM 继续免费。另外，还有其他一些公司为 JVM 提供企业支持。 因为体积和速度方面的问题，基于 JVM 的编程语言并不适合用在今天的无服务器环境中。Oracle 正在推动 GraalVM 计划，旨在让 Java 变得更加敏捷和快速，让它更适合用在无服务器环境中。因为除了 Java，没有其他编程语言可以提供企业级的稳定性和可靠性，所以 Java 将在 2020 年继续占主导地位。 企业版 Java：Spring 继续发力 曾几何时，在企业开发领域，Spring 和 JavaEE 之间存在着白热化的竞争。但因为 Oracle 在 JavaEE 方面没有作为，在竞争中惨败，这导致了“MicroProfile”计划的形成，并最终促成了 JakartaEE。 虽然所有的政策和活动都是围绕 JavaEE 展开，但 Spring 事实上已经赢得了这场企业 JVM 之争。2020 年，Spring 将成为 JVM 生态系统的头牌。 有两个正在进展中的项目，它们旨在减小 Java 的体积，让它更适合用在无服务器环境中。 其中一个是 Micronaut（https://micronaut.io/）。 另一个是 Quarkus（https://quarkus.io/）。 这两个项目都使用了 GraalVM，它们在 2020 年将会得到 Java 社区更多的关注。 编程语言：后起之秀的突破 2000 年代，编程语言的发展出现了停滞。大多数人认为没有必要再去开发新的编程语言，Java、C 语言、C++、JavaScript 和 Python 已经可以满足所有的需求。但是，谷歌的 Go 语言为新编程语言大门打开了一扇大门。在过去十年出现了很多有趣的编程语言，比如 Rust、Swift、Kotlin、TypeScript。导致这种情况的一个主要原因是已有的编程语言无法充分利用硬件优势（例如多核、更快的网络、云）。另一个原因是现代编程语言更加关注开发者经济，即实现更快速更容易的开发。在 Stackoverflow 提供的一份开发者报告中，排名靠前的现代编程语言如下所示（Rust 连续 4 年名列第一）。 在之前的一篇博文中，我深入探讨了现代编程语言，对比 Rust 和 Go 语言，并说明了为什么现在是采用这些语言的好时机。 https://towardsdatascience.com/back-to-the-metal-top-3-programming-language-to-develop-big-data-frameworks-in-2019-69a44a36a842 最近，微软宣布他们在探索使用 Rust 来开发更安全的软件。 亚马逊最近也宣布要赞助 Rust。 谷歌宣布将 Kotlin 作为 Android 官方开发语言，所以，在 JVM 领域，Kotlin 成了 Java 的主要竞争对手。 Angular 使用 TypeScript 代替 JavaScript，将其作为主要的编程语言，其他 JavaScript 框架（如 React 和 Vue）也开始为 TypeScript 提供更多的支持。 这种趋势将在 2020 年延续下去，很多巨头公司将会深入了解新一代编程语言（如 Rust、Swift、TypeScript、Kotlin），它们会站出来公开表示支持。 Web：JavaScript 继续占主导地位 曾几何时，JavaScript 并不被认为是一门强大的编程语言。在当时，前端内容主要通过后端框架在服务器端进行渲染。2014 年，AngularJS 的出现改变了这种局面。从那个时候开始，更多的 JavaScript 框架开始涌现（Angular 2+、React、Vue、Meteor），JavaScript 已然成为主流的 Web 开发语言。随着 JavaScript 框架不断创新以及微服务架构的崛起，JavaScript 框架在 2020 年将继续主导前端开发。 JavaScript 框架：React 闪耀 虽然 React 是在 AngularJS 之后出现的，但在过去十年对 Web 开发产生了巨大的影响，这也让 Facebook 在与 Google+ 的竞争中打了一场胜战。React 为前端开发带来了一些新的想法，比如事件溯源、虚拟 DOM、单向数据绑定、基于组件的开发，等等。它对开发者社区产生了重大影响，以至于谷歌放弃了 AngularJS，并借鉴 React 的想法推出了彻底重写的 Angular 2+。React 是目前为止最为流行的 JavaScript 框架，下图显示了相关的 NPM 下载统计信息。 为了获得更好的并发和用户体验，Facebook 宣布完全重写 React 的核心算法，推出了 React-Fiber 项目。 2020 年，React 仍然是你开发新项目的首选 Web 框架。其他框架（如 Angular/Angular 2+ 或 Vue）呢？Angular 仍然是一个不错的 Web 开发框架，特别适合企业开发。我敢肯定谷歌在未来几年会在 Angular 上加大投入。Vue 是另一个非常流行的 Web 框架，由中国的巨头公司阿里巴巴提供支持。如果你已经在使用 Angular 或 Vue，就没必要再迁移到 React 了。 App 开发：原生应用 在移动 App 开发方面，有关混合应用开发的炒作有所消停。混合开发提供了更快的开发速度，因为只需要一个开发团队，而不是多个。但原生应用提供了更好的用户体验和性能。另外，混合应用需要经过调整才能使用一些高级特性。对于企业来说，原生应用仍然是首选的解决方案，这种趋势将在 2020 年延续。Airbnb 在一篇博文中非常详细地说明了为什么他们要放弃混合应用开发平台 React Native。 https://medium.com/airbnb-engineering/sunsetting-react-native-1868ba28e30a 尽管 Facebook 尝试改进 React Native，谷歌也非常努力地推动混合 App 开发平台 Flutter，但它们仍然只适合用于原型、POC、MVP 或轻量级应用的开发。所以，原生应用在 2020 年仍将继续占主导地位。 在原生应用开发方面，谷歌和苹果分别将 Kotlin 和 Swift 作为各自平台主要的编程语言。谷歌最近再次重申了对 Kotlin 的支持，这对于 Kotlin 用户来说无疑是个好消息。 混合应用开发：React Native 在很多情况下，混合应用是个不错的选择。在这方面也有很多选择：Xamarin、Inoic、React Native 和 Flutter。Facebook 基于成熟的 React 框架推出了 React Native。就像 React 在 Web 框架领域占据主导地位一样，React Native 在混合应用领域也占据着主导地位，如下图所示。 React Native 和 React 有共同的基因，都提供了高度的代码重用性以及“一次开发，到处运行”的能力。React Native 的另一个优势是 Facebook 本身也用它来开发移动应用。谷歌在这个领域起步较晚，但在去年，谷歌的混合应用开发框架 Flutter 获得了不少关注。Flutter 提供了更好的性能，但需要使用另一门不是那么流行的编程语言 Dart。React Native 在 2020 年将继续占主导地位。 API：REST 将占主导地位 REST 是 API 领域事实上的标准，被广泛用在基于 API 的服务间通信上。当然，除了 REST，我们还有其他选择，比如来自谷歌的 gRPC 和来自 Facebook 的 GraphQL。 它们提供了不同的能力。谷歌开发的 gRPC 作为远程过程调用（如 SOAP）的化身，使用 Protobuf 代替 JSON 作为消息格式。Facebook 开发的 GraphQL 作为一个集成层，避免频繁的 REST 调用。gRPC 和 GraphQL 都在各自的领域取得了成功。2020 年，REST 仍然是占主导地位的 API 技术，而 GraphQL 和 gRPC 将作为补充技术。 人工智能：Tensorflow 2.0 将占主导地位 谷歌和 Facebook 也是深度学习 / 神经网络领域的主要玩家。谷歌基于深度学习框架 Theano 推出了 TensorFlow，它很快就成为深度学习 / 神经网络的主要开发库。谷歌还推出了特别设计的 GPU（TPU）来加速 TensorFlow 的计算。 Facebook 在深度学习领域也不甘落后，他们拥有世界上最大的图像和视频数据集合。Facebook 基于另一个深度学习库 Torch 推出了深度学习库 PyTorch。TensorFlow 和 PyTorch 之间有一些区别，前者使用的是静态图进行计算，而 PyTorch 使用的是动态图。使用动态图的好处是可以在运行时纠正自己。另外，PyTorch 对 Python 支持更好，而 Python 是数据科学领域的一门主要编程语言。 随着 PyTorch 变得越来越流行，谷歌也赶紧在 2019 年 10 月推出了 TensorFlow 2.0，也使用了动态图，对 Python 的支持也更好。 2020 年，TensorFlow 2.0 和 PyTorch 将齐头并进。考虑到 TensorFlow 拥有更大的社区，我估计 TensorFlow 2.0 将成为占主导地位的深度学习库。 数据库：SQL是王者,分布式SQL是王后 在炒作 NoSQL 的日子里，人们嘲笑 SQL，还指出了 SQL 的种种不足。有很多文章说 NoSQL 有多么的好，并将要取代 SQL。但等到炒作的潮水褪去，人们很快就意识到，我们的世界不能没有 SQL。以下是最流行的数据库的排名。 可以看到，SQL 数据库占据了前四名。SQL 之所以占主导地位，是因为它提供了 ACID 事务保证，而 ACID 是业务系统最潜在的需求。NoSQL 数据库提供了横向伸缩能力，但代价是不提供 ACID 保证。 互联网公司一直在寻找“大师级数据库”，也就是既能提供 ACID 保证又能像 NoSQL 那样可横向伸缩的数据库。目前有两个解决方案可以部分满足对“大师级数据库”的要求，一个是亚马逊的 Aurora，一个是谷歌的 Spanner。Aurora 提供了几乎所有的 SQL 功能，但不支持横向写伸缩，而 Spanner 提供了横向写伸缩能力，但对 SQL 支持得不好。 2020 年，但愿这两个数据库能够越走越近，或者有人会带来一个“分布式 SQL”数据库。如果真有人做到了，那一定要给他颁发图灵奖。 数据湖：MinIO 将要崛起 现代数据平台非常的复杂。企业一般都会有支持 ACID 事务的 OLTP 数据库（SQL），也会有用于数据分析的 OLAP 数据库（NoSQL）。除此之外，它们还有其他各种数据存储系统，比如用于搜索的 Solr、ElasticSearch，用于计算的 Spark。企业基于数据库构建自己的数据平台，将 OLTP 数据库的数据拷贝到数据湖中。各种类型的数据应用程序（比如 OLAP、搜索）将数据湖作为它们的事实来源。 HDFS 原本是事实上的数据湖，直到亚马逊推出了对象存储 S3。S3 可伸缩，价格便宜，很快就成为很多公司事实上的数据湖。使用 S3 唯一的问题是数据平台被紧紧地绑定在亚马逊的 AWS 云平台上。虽然微软 Azure 推出了 Blob Storage，谷歌也有类似的对象存储，但都不是 S3 的对手。 对于很多公司来说，MinIO 或许是它们的救星。MinIO 是一个开源的对象存储，与 S3 兼容，提供了企业级的支持，并专门为云原生环境而构建，提供了与云无关的数据湖。 微软在 Azure Marketplace 是这么描述 MinIO 的：“为 Azure Blog Storage 服务提供与亚马逊 S3 API 兼容的数据访问”。如果谷歌 GCP 和其他云厂商也提供 MinIO，那么我们将会向多云迈出一大步。 大数据批处理：Spark 将继续闪耀 现如今，企业通常需要基于大规模数据执行计算，所以需要分布式的批处理作业。Hadoop 的 Map-Reduce 是第一个分布式批处理平台，后来 Spark 取代了 Hadoop 的地位，成为真正的批处理之王。Spark 是怎样提供了比 Hadoop 更好的性能的？我之前写了另一篇文章，对现代数据平台进行了深入分析。 https://towardsdatascience.com/programming-language-that-rules-the-data-intensive-big-data-fast-data-frameworks-6cd7d5f754b0 Spark 解决了 Hadoop Map-Reduce 的痛点，它将所有东西放在内存中，而不是在完成每一个昂贵的操作之后把数据保存在存储系统中。尽管 Spark 重度使用 CPU 和 JVM 来执行批处理作业，但这并不妨碍它成为 2020 年批处理框架之王。我希望有人能够使用 Rust 开发出一个更加高效的批处理框架，取代 Spark，并为企业省下大量的云资源费用。 大数据流式处理：Flink 是未来 几年前，实现实时的流式处理几乎是不可能的事情。一些微批次处理框架（比如 Spark Streaming）可以提供“几近”实时的流式处理能力。不过，Flink 改变了这一状况，它提供了实时的流式处理能力。 2019 年之前，Flink 未能得到足够的关注，因为它无法撼动 Spark。直到 2019 年 1 月份，中国巨头公司阿里巴巴收购了 Data Artisan（Flink 背后的公司）。 在 2020 年，企业如果想要进行实时流式处理，Flink 应该是不二之选。不过，跟 Spark 一样，Flink 同样重度依赖 CPU 和 JVM，并且需要使用大量的云资源。 字节码：WebAssembly将被广泛采用 我从 JavaScript 作者 Brandon Eich 的一次访谈中知道了 WebAssembly 这个东西。现代 JavaScript（ES5 之后的版本）是一门优秀的编程语言，但与其他编程语言一样，都有自己的局限性。最大的局限性是 JavaScript 引擎在执行 JavaScript 时需要读取、解析和处理“抽象语法树”。另一个问题是 JavaScript 的单线程模型无法充分利用现代硬件（如多核 CPU 或 GPU）。正因为这些原因，很多计算密集型的应用程序（如游戏、3D 图像）无法运行在浏览器中。 一些公司（由 Mozilla 带领）开发了 WebAssembly，一种底层字节码格式，让任何一门编程语言都可以在浏览器中运行。目前发布的 WebAssembly 版本可以支持 C++、Rust 等。 WebAssembly 让计算密集型应用程序（比如游戏和 AutoCAD）可以在浏览器中运行。不过，WebAssembly 的目标不仅限于此，它还要让应用程序可以在浏览器之外运行。WebAssembly 可以被用在以下这些“浏览器外”的场景中。 移动设备上的混合原生应用。没有冷启动问题的无服务器计算。在服务器端执行不受信任的代码。 我预测，2020 年将是 WebAssembly 取得突破的一年，很多巨头公司（包括云厂商）和社区将会拥抱 WebAssembly。 代码：低代码 / 无代码将更进一步 快速的数字化和工业 4.0 革命意味着软件开发者的供需缺口巨大。由于缺乏开发人员，很多企业无法实现它们的想法。为了降低进入软件开发的门槛，可以尝试无代码（No Code）或低代码（Low Code）软件开发，也就是所谓的 LCNC（Low-Code No-Code)。它已经在 2019 年取得了一些成功。 LCNC 的目标是让没有编程经验的人也能开发软件，只要他们想要实现自己的想法。 虽然我对在正式环境中使用 LCNC 框架仍然心存疑虑，但它为其他公司奠定了良好的基础，像亚马逊和谷歌这样的公司可以基于这个基础构建出有用的产品，就像 AWS Lambda 的蓬勃发展是以谷歌 App Engine 为基础。 2020 年，LCNC 将会获得更多关注。