用Flink取代Spark Streaming！知乎实时数仓架构演进
- 实时数仓 1.0 版本，主题：ETL 逻辑实时化，技术方案：Spark Streaming。
- 实时数仓 2.0 版本，主题：数据分层，指标计算实时化，技术方案：Flink Streaming。
- 实时数仓未来展望：Streaming SQL 平台化，元信息管理系统化，结果验收自动化。
思维体系---技术思维、业务数据思维、产品思维、复合思维
工作已有四年有余，从最初的亚信 到现在的 阿里。。总结了下思维模式，以个人的视角，供各位干代码的小伙伴们参考，能够深入无论 技术还是业务还是产品的本质。发现其中的规律，更好地把握自己的方向及未来。那么总的来说，我分为四种思维模式：
一、技术思维
卧槽！干代码！出bug了！没错，这就是你进步的源头。
Spark应用HanLP对中文语料进行文本挖掘--聚类详解教程
在Kmeans算法中，一个样本需要使用数值类型，所以需要把文本转为数值向量形式，这里在Spark中有两种方式。其一，是使用TF-IDF；其二，使用Word2Vec。这里暂时使用了TF-IDF算法来进行，这个算法需要提供一个numFeatures，这个值越大其效果也越好，但是相应的计算时间也越长，后面也可以通过实验验证。
StreamingPro支持Flink的流式计算了
有的时候我们只要按条处理，追求实时性而非吞吐量的时候，类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进，而Flink在流式方面做得很棒，两者高层的API也是互相借鉴，容易形成统一的感官，所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎。