前言
有的时候我们只要按条处理，追求实时性而非吞吐量的时候，类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进，而Flink在流式方面做得很棒，两者高层的API也是互相借鉴，容易形成统一的感官，所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎。
接着就是下载StreamingPro的 flink版本：
你也可以到localhost:8081 页面上提交你的任务。
有的时候我们只要按条处理，追求实时性而非吞吐量的时候，类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进，而Flink在流式方面做得很棒，两者高层的API也是互相借鉴，容易形成统一的感官，所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎。
StreamingPro自身设计之初就是为了支持多引擎的，所以改造成本很低，昨天花了一下午，晚上加了会班就重构完了。这次增强可以让我司的流式引擎有了新的选择。
下载安装包
为了跑起来，你需要下载一个flink的包，我用的是 1.2.0版本的。接着就是下载StreamingPro的 flink版本：
https://pan.baidu.com/s/1slCpxxV
启动flink进入flink安装目录运行如下命令：
./bin/start-local.shAI 代码解读
之后写一个flink.json文件：
目前source 只支持 kafka/socket ，Sink则只支持console和csv。准备好这个文件你就可以提交任务了：{ "example": { "desc": "测试", "strategy": "flink", "algorithm": [], "ref": [], "compositor": [ { "name": "flink.sources", "params": [ { "format": "socket", "port": "9000", "outputTable": "test" } ] }, { "name": "flink.sql", "params": [ { "sql": "select * from test", "outputTableName": "finalOutputTable" } ] }, { "name": "flink.outputs", "params": [ { "name":"jack", "format": "console", "inputTableName": "finalOutputTable" } ] } ], "configParams": { } } }AI 代码解读
然后皆可以了。./bin/flink run -c streaming.core.StreamingApp \ /Users/allwefantasy/streamingpro/streamingpro.flink-0.4.14-SNAPSHOT-online-1.2.0.jar -streaming.name god \ -streaming.platform flink_streaming \ -streaming.job.file.path file:///Users/allwefantasy/streamingpro/flink.jsonAI 代码解读
你也可以到localhost:8081 页面上提交你的任务。
后面的话
Flink目前在流式计算上对SQL支持有限，暂时还不支持Join，Agg等行为操作，这个和Spark相比较而言差距还比较大。不过我们很快会将Script暴露出来，可以让大家直接进行编程，主要利用其Table API。
