AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

分布式日志收集框架Flume下载安装与使用（三）

2021-12-03 140
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
日志服务 SLS，月写入数据量 50GB 1个月
简介： 分布式日志收集框架Flume下载安装与使用（三）

4 环境配置与部署

4.1 系统需求

  • 系统
    macOS 10.14.14
  • Java运行时环境
    Java 1.8或更高版本
  • 内存源
    通道或接收器使用的配置的足够内存
  • 磁盘空间
    通道或接收器使用的配置的足够磁盘空间
  • 目录权限
    代理使用的目录的读/写权限

4.2 下载与安装

image.png

4.3 配置

  • 查看安装路径

image.png

  • 系统配置文件
export FLUME_VERSION=1.9.0
export FLUME_HOME=/usr/local/Cellar/flume/1.9.0/libexec
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$FLUME_HOME/bin:$PATH


flume配置文件

配置JAVA_HOME

image.png

验证

bin下的命令执行文件

image.png

安装成功

image.png




文章标签：
日志服务
Java
iOS开发
MacOS
关键词：
分布式安装
日志服务框架
分布式框架
分布式日志服务
分布式日志
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
javaedge
目录
相关文章
蓝染-惣右介
|
3月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法，重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层，允许开发者使用统一的日志接口，而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback，推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback，以及如何使用Lombok简化日志记录。最后，提供了一些日志配置的最佳实践，包括滚动日志、统一日志格式和提高日志性能的方法。
蓝染-惣右介
944 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
最好zzz
|
4月前
|
XML JSON Java
Logback 与 log4j2 性能对比：谁才是日志框架的性能王者？
【10月更文挑战第5天】在Java开发中，日志框架是不可或缺的工具，它们帮助我们记录系统运行时的信息、警告和错误，对于开发人员来说至关重要。在众多日志框架中，Logback和log4j2以其卓越的性能和丰富的功能脱颖而出，成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比，通过详细的分析和实例，帮助大家理解两者之间的性能差异，以便在实际项目中做出更明智的选择。
最好zzz
474 3
智物科技库
|
1月前
|
开发框架 运维 监控
Spring Boot中的日志框架选择
在Spring Boot开发中，日志管理至关重要。常见的日志框架有Logback、Log4j2、Java Util Logging和Slf4j。选择合适的日志框架需考虑性能、灵活性、社区支持及集成配置。本文以Logback为例，演示了如何记录不同级别的日志消息，并强调合理配置日志框架对提升系统可靠性和开发效率的重要性。
智物科技库
46 5
蓝染-惣右介
|
2月前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
蓝染-惣右介
107 1
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
土木林森
|
6月前
|
存储 数据采集 数据处理
【Flume拓扑揭秘】掌握Flume的四大常用结构，构建强大的日志收集系统！
【8月更文挑战第24天】Apache Flume是一个强大的工具，专为大规模日志数据的收集、聚合及传输设计。其核心架构包括源（Source）、通道（Channel）与接收器（Sink）。Flume支持多样化的拓扑结构以适应不同需求，包括单层、扇入（Fan-in）、扇出（Fan-out）及复杂多层拓扑。单层拓扑简单直观，适用于单一数据流场景；扇入结构集中处理多源头数据；扇出结构则实现数据多目的地分发；复杂多层拓扑提供高度灵活性，适合多层次数据处理。通过灵活配置，Flume能够高效构建各种规模的数据收集系统。
土木林森
136 0
wljslmz
|
2月前
|
存储 运维 数据可视化
如何为微服务实现分布式日志记录
如何为微服务实现分布式日志记录
wljslmz
136 1
小白学大数据
|
3月前
|
监控 数据挖掘 数据安全/隐私保护
Python脚本：自动化下载视频的日志记录
Python脚本：自动化下载视频的日志记录
小白学大数据
85 1
mzlogin
|
4月前
|
Java 程序员 API
Android｜集成 slf4j + logback 作为日志框架
做个简单改造，统一 Android APP 和 Java 后端项目打印日志的体验。
mzlogin
196 1
武子康
|
4月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
武子康
79 2
武子康
|
4月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
武子康
82 1

热门文章

最新文章

  • 1
    Grafana Loki，轻量级日志系统
  • 2
    智能日志分析：用AI点亮运维的未来
  • 3
    MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
  • 4
    docker运维查看指定应用log文件位置和名称
  • 5
    MySQL原理简介—7.redo日志的底层原理
  • 6
    金融场景 PB 级大规模日志平台：中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
  • 7
    Mysql、Oracle审计日志的开启
  • 8
    Java中Log级别和解析
  • 9
    大道至简-基于ACK的Deepseek满血版分布式推理部署实战
  • 10
    分布式系统架构8：分布式缓存
  • 1
    Springboot使用Redis实现分布式锁
    108
  • 2
    大道至简-基于ACK的Deepseek满血版分布式推理部署实战
    262
  • 3
    git分布式版本控制系统及在码云上创建项目并pull和push
    29
  • 4
    git分布式版本控制系统及在码云上创建项目并pull和push
    37
  • 5
    Redis，分布式缓存演化之路
    89
  • 6
    Redisson分布式锁使用详解
    79
  • 7
    Pandas高级数据处理：分布式计算
    63
  • 8
    分布式系统学习10：分布式事务
    60
  • 9
    解锁分布式文件分享的 Java 一致性哈希算法密码
    48
  • 10
    分布式架构知识体系
    86

    • 相关课程

    更多
  • 日志服务SLS实现云产品可观测
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • Flume基础应用实战 - 企业全场景解决方案
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 数据采集系统 Flume 快速入门

    • 相关电子书

    更多
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接
  • 智能化日志中心

    • 相关实验场景

    更多
  • 体验PolarDB-X透明分布式
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 基于Flink+Tair搭建实时监控大屏
  • 使用CloudLens采集RDS日志并进行审计分析
  • 使用日志服务SLS进行OSS可观测分析
    • 下一篇
    阿里云oss简介和如何对接使用