阿里云日志直接输出到ElK监控的Docker镜像

本文涉及的产品
对象存储 OSS,20GB 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 阿里云日志直接输出到ElK监控的Docker镜像.可以直接实现在容器服务里面即插即用

具体的全文博客地址: http://blog.friddle.me/2016/09/07/guan-yu-a-li-yun-he-ossde-mai-keng/

基础说明

当时公司集体的日志收集开始采用阿里云的日志收集系统了.所以很高兴.我又可以少维护一套东西.但是前提是还是得用Kibana看数据啊.(话说阿里云日志的odps一直没有成功过).
整个项目在AliLog_OSS_LOGSTASH_DOCKER
而基础项目在Logstash-input-oss

阿里日志OSS收集系统的使用方法
nginx-logstash:
  image: 'friddle/oss_logstash'
  restart: always
  environment:
    - LANG=C.UTF-8
    - JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
    - LOGSTASH_MAJOR=2.3
    - LS_SETTINGS_DIR=/etc/logstash
    - OSSTYPE=nginx
    - ENDPOINT=<ENDPOINT>
    - ACCESS_KEY_SECRET=<SECRET_KEY>
    - ACCESS_KEY_ID=<SECRET_ID>
    - BUCKET=<BUCKET>
    - PREFIX=<PREFIX>
    - INDEX=<INDEX>
    - COMPRESSION_TYPE=<SNAPPY:NONE>
    - LOGTYPE=<LOGTYPE>
  labels:
    aliyun.scale: '1'
  links:
    - elasticsearch
  volumes:
    - '/tmp/logstash:/tmp/logstash'
    - '/tmp/logstash-input-oss-tomcat:/root/.logstash-input-oss'

elasticsearch:
  image: elasticsearch:latest
  labels: 
      aliyun.routing.port_9200: http://elasticsearch
  volumes:
    - /data/:/usr/share/elasticsearch/data
  command: elasticsearch -Des.network.host=0.0.0.0

kibana:
  image: friddle/kibana:latest
  labels:
    aliyun.routing.port_5601:  log
  links:
    - elasticsearch

你只要把上面这一长串添加到容器服务。
并且修改相应的ACCESSKEY,ACCESSSECRET和其他日志相关的信息。你就可以瞬间得到一个能跑起来能查看日志服务系统。非常方便加给力。
这个日志系统唯一的问题就是延时。因为本生阿里的日志系统的OSS是任务模式的。是定时投递的。实时性不是特别强。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2月前
|
SQL 分布式计算 监控
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程,包括数据开发和生产调度以及交互式查询等场景。
56527 7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
1月前
|
监控 Java 数据安全/隐私保护
性能监控之 JMX 监控 Docker 容器中的 Java 应用
【6月更文挑战9天】性能监控之 JMX 监控 Docker 容器中的 Java 应用
435 1
|
1月前
|
监控 JavaScript 测试技术
【Docker项目实战】使用Docker部署kener监控面板
【6月更文挑战第8天】使用Docker部署kener监控面板
43 10
|
1月前
|
弹性计算 运维 监控
阿里云运维第一步(监控):开箱即用的监控
监控运维是一个体系化的工作,完善这个体系非一日之功。但是我们的业务不可一日无监控“裸奔”,在阿里云怎么样快速低成本的建立第一道资源监控的护城河?开箱即用的云监控,将会是你进入阿里云的第一个可靠的小伙伴。
14000 2
|
16天前
|
存储 消息中间件 监控
日志收集分析器(ELK)
日志收集分析器(ELK)
|
2月前
|
监控 应用服务中间件 nginx
使用 Docker Compose V2 快速搭建日志分析平台 ELK (Elasticsearch、Logstash 和 Kibana)
ELK的架构有多种,本篇分享使用的架构如图所示: Beats(Filebeat) -> -> Elasticsearch -> Kibana,目前生产环境一天几千万的日志,内存占用大概 10G
151 4
|
2月前
|
弹性计算 监控 安全
【阿里云弹性计算】ECS实例监控与告警系统构建:利用阿里云监控服务保障稳定性
【5月更文挑战第23天】在数字化时代,阿里云弹性计算服务(ECS)为业务连续性提供保障。通过阿里云监控服务,用户可实时监控ECS实例的CPU、内存、磁盘I/O和网络流量等指标。启用监控,创建自定义视图集中显示关键指标,并设置告警规则(如CPU使用率超80%),结合多种通知方式确保及时响应。定期维护和优化告警策略,利用健康诊断工具,能提升服务高可用性和稳定性,确保云服务的卓越性能。
110 1
|
2月前
|
存储 编解码 监控
实验模拟 搭建elk 日志分析系统
实验模拟 搭建elk 日志分析系统
|
2月前
|
存储 监控 Java
ELK 企业级日志分析系统 简单介绍
ELK 企业级日志分析系统 简单介绍
|
2月前
|
监控 安全 云计算
云端防御战线:云计算环境下的网络安全策略构建高效稳定的Docker容器监控体系
【5月更文挑战第27天】 在数字化时代的浪潮中,云计算已成为企业与个人存储和处理数据的重要平台。然而,随着云服务使用率的飙升,网络威胁也愈发狡猾且复杂。本文将深入探讨在云计算环境中维护网络安全的挑战及策略,重点分析信息安全的关键组成部分,并提出多层次防御模型以增强云环境的数据保护能力。通过剖析最新的安全技术与实践,我们旨在为读者提供一套全面的网络安全解决方案蓝图。