Pipeline是什么？

Pipeline 翻译过来是管道的意思，上图大家可以看到有三根管子，我们在大数据领域 或者在做应用系统的时候，其实编程抽象来说就是这三点：输入数据，process 处理，输 出。如果业务程序或者大数据逻辑比较复杂，那么输出就会成为下一个管道的输入，所以就 会到第二根管子；第二个管子处理完之后又会到下一根管子，也就是不停地在写很多复杂的 数据处理逻辑。其实早期很多同学去做大数据开发，Map-reduce 如果把中间的数据描述出来会发现也是这三步。Map- reduce-map-reduce 的循环，中间的数据一直在，也是 按照这种管道的模型不断地在变化。其实最早 Pipeline 的思维是来自于早期接触到 Elastic 公司推出的 ELK 三件套，其中采集数据的编程的模型配置里面有三个步骤其实就 应对了这个模型，在编程里面可以 input，然后可以接受上一次处理的逻辑，这就是管道。

资料来源于《开源与云Elasticsearch应用剖析》下载地址：https://developer.aliyun.com/topic/download?id=1169