利用Spark Streaming实现分布式采集系统

1. 天然就是分布式的，不用再为实现分布式协调而蛋疼
   
2. 基于Task的任务执行机制，可随意控制Task数量
   
3. 无需关注机器，是面向资源的，使得部署变得异常简单，申明资源，提交，Over
   
4. 集成完善的输入输出，包括HDFS/Kafka/ElasticSearch/HBase/MySQL/Redis 等等，这些都无需自己去搞
   
5. 成熟简单的算子让你对数据的处理变得异常简单
   
6. StreamingPro 项目让申明式或者复杂的Spark Streaming程序更加简单，同时还可以通过StreamingPro提供的Rest 接口来增强Spark Streaming Driver的交互能力。
   

• 看不到服务器的年代，一个新的时代
  
• Transformer架构解析
  
• Spark Streaming 妙用之实现工作流调度器

1. 标准的metrics 输出，方便你集成到gangila等监控系统上
   
2. Web UI,比如Spark,Storm,HBase 都提供了自己的Web界面等
   
3. Rest 接口，主要是 JSon,XML,字符串
   

1. metrics 直接输出到监控系统，就意味着没办法定制，如果我希望把多个指标放在一块，这个可能就很难做到。
   
2. Web UI 则需要人去看了
   

1. 收集的接口可能非常多，如何让收集程序是可很横向扩展的？
   
2. 接口返回的数据形态各异，如何提供一个方便一致的模型，让用户简单通过一个配置就可以抽取出里面的内容？
   

• 采集元数据源，目前存储在ES里
  
• 采集系统会定时到ES里获取元数据，并且执行特定的收集逻辑
  
• 通过采集系统的一定的算子，将数据格式化，接入Kafka
  
• 通过标准(已经存在的)ETL系统完成数据的处理，供后续流程进一步处理
  

1. HTML
   
2. JSON
   
3. XML
   
4. TEXT
   

 appName      采集的应用名称,cluster1,cluster2
 appType       采集的应用类型,storm/zookeeper/yarn 等
 url                需要采集的接口
 params         可能存在例如post请求之类的，需要额外的请求参数
 method         Get/POST/PUT 等请求方法体
 key_search_qps :  $.store.book[0].author   定义需要抽取的指标名称以及在Response 对应的XPATH 路径
 key_.....  可以有更多的XPATH
 key_.....  可以有更多的XPATH
 extraParams  人工填写一些其他参数

"RestCatch": {
    "desc": "RestCatch",
    "strategy": "....SparkStreamingStrategy",
    "algorithm": [],
    "ref": [],
    "compositor": [
      {
        "name": "....ESInputCompositor",
        "params": [
          {
            "es.nodes": "....",
            "es.resource": "monitor_rest/rest"
          }
        ]
      },
      {
        "name": ".....RestFetchCompositor",//发起http请求，获取response
        "params": [
          {
            "resultKey": "result",
            "keyPrefix": "key_"
          }
        ]
      },
      {
        "name": "....JSonExtractCompositor",//根据XPath获取response里的指标
        "params": [
          {
            "resultKey": "result",
            "keyPrefix": "key_"
          }
        ]
      },
      {
        "name": ".....ConsoleOutputCompositor",//输出结果
        "params": []
      }
    ],
    "configParams": {
    }
  }

1. 输入采集源
   
2. 采集结果
   
3. 根据XPATH 抽取指标
   
4. 输出结果
   

1. 如果我需要每个接口有不同的采集周期该如何？
   
2. 如果我要实现更好的容错性如何？
   
3. 如何实现更好的动态扩容？