阿里云日志直接输出到ElK监控的Docker镜像

具体的全文博客地址: http://blog.friddle.me/2016/09/07/guan-yu-a-li-yun-he-ossde-mai-keng/

基础说明

当时公司集体的日志收集开始采用阿里云的日志收集系统了．所以很高兴．我又可以少维护一套东西．但是前提是还是得用Kibana看数据啊．(话说阿里云日志的odps一直没有成功过).
整个项目在AliLog_OSS_LOGSTASH_DOCKER
而基础项目在Logstash-input-oss

阿里日志OSS收集系统的使用方法

nginx-logstash:
  image: 'friddle/oss_logstash'
  restart: always
  environment:
    - LANG=C.UTF-8
    - JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
    - LOGSTASH_MAJOR=2.3
    - LS_SETTINGS_DIR=/etc/logstash
    - OSSTYPE=nginx
    - ENDPOINT=<ENDPOINT>
    - ACCESS_KEY_SECRET=<SECRET_KEY>
    - ACCESS_KEY_ID=<SECRET_ID>
    - BUCKET=<BUCKET>
    - PREFIX=<PREFIX>
    - INDEX=<INDEX>
    - COMPRESSION_TYPE=<SNAPPY:NONE>
    - LOGTYPE=<LOGTYPE>
  labels:
    aliyun.scale: '1'
  links:
    - elasticsearch
  volumes:
    - '/tmp/logstash:/tmp/logstash'
    - '/tmp/logstash-input-oss-tomcat:/root/.logstash-input-oss'

elasticsearch:
  image: elasticsearch:latest
  labels: 
      aliyun.routing.port_9200: http://elasticsearch
  volumes:
    - /data/:/usr/share/elasticsearch/data
  command: elasticsearch -Des.network.host=0.0.0.0

kibana:
  image: friddle/kibana:latest
  labels:
    aliyun.routing.port_5601:  log
  links:
    - elasticsearch

你只要把上面这一长串添加到容器服务。
并且修改相应的ACCESSKEY,ACCESSSECRET和其他日志相关的信息。你就可以瞬间得到一个能跑起来能查看日志服务系统。非常方便加给力。
这个日志系统唯一的问题就是延时。因为本生阿里的日志系统的OSS是任务模式的。是定时投递的。实时性不是特别强。