01【在线日志分析】之Flume-1.7.0源码编译导入eclipse

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 【前提】: 1.windows 7 安装maven-3.3.9   其中在conf/setting.xml文件添加   D:\software\apache-maven-3.

【前提】:
1.windows 7 安装maven-3.3.9
  其中在conf/setting.xml文件添加
  D:\software\apache-maven-3.3.9\repository
  http://blog.csdn.net/defonds/article/details/41957287

2.windows 7 安装eclipse 64位(百度下载,解压即可)

3.eclipse安装maven插件,选择第二种方式link
http://blog.csdn.net/lfsfxy9/article/details/9397937

其中 eclipse-maven3-plugin.7z 这个包可以加群258669058找我,分享给你

 

【flume-ng 1.7.0源码的编译导入eclipse】:
1.下载官网的源码(不要下载GitHub上源码,因为这时pom文件中版本为1.8.0,编译会有问题)
http://archive.apache.org/dist/flume/1.7.0/

  a.下载apache-flume-1.7.0-src.tar.gz
  b.解压重命名为flume-1.7.0


2.修改pom.xml (大概在621行,将自带的repository注释掉,添加以下的)

点击(此处)折叠或打开

  1. <repository>
  2.        <id>maven.tempo-db.com</id>
  3.        <url>http://maven.oschina.net/service/local/repositories/sonatype-public-grid/content/</url>
  4.  </repository>


3.打开cmd,编译
  cd /d D:\[WORK]\Training\05Hadoop\Compile\flume-1.7.0

  mvn compile

4.打开eclipse,单击Window-->Perferences-->左侧的Maven-->User Settings
  然后设置自己的mvn的setting.xml路径和Local Repository
  (最好使用Maven3.3.x版本以上,我是3.3.9)

 

5.关闭eclipse的 Project-->Buid Automatically

6.关闭eclipse的Download repository index updates on startup

7.导入flume1.7.0源码
   a.File-->Import-->Maven-->Existing Maven Projects-->Next
   b.选择目录--> Finish

8.检查源码,没有抛任何错误


参考:
http://blog.csdn.net/derek_zhang_/article/details/20402901
https://my.oschina.net/qiangzigege/blog/522585
http://blog.csdn.net/qianshangding0708/article/details/48087911

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
4月前
|
Java Android开发
eclipse导入项目时,报错:One or more cycles were detected in the build path of project ....
eclipse导入项目时,报错:One or more cycles were detected in the build path of project ....
215 3
|
5月前
|
存储 数据采集 数据处理
【Flume拓扑揭秘】掌握Flume的四大常用结构,构建强大的日志收集系统!
【8月更文挑战第24天】Apache Flume是一个强大的工具,专为大规模日志数据的收集、聚合及传输设计。其核心架构包括源(Source)、通道(Channel)与接收器(Sink)。Flume支持多样化的拓扑结构以适应不同需求,包括单层、扇入(Fan-in)、扇出(Fan-out)及复杂多层拓扑。单层拓扑简单直观,适用于单一数据流场景;扇入结构集中处理多源头数据;扇出结构则实现数据多目的地分发;复杂多层拓扑提供高度灵活性,适合多层次数据处理。通过灵活配置,Flume能够高效构建各种规模的数据收集系统。
125 0
|
2月前
|
Java 编译器 Android开发
Eclipse 编译项目
Eclipse 编译项目
31 1
|
3月前
|
Java Maven Android开发
eclipse如何导入springboot项目
本文介绍了如何在Eclipse中导入Spring Boot项目。
60 1
eclipse如何导入springboot项目
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
71 2
|
3月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
73 1
|
5月前
|
存储 分布式计算 大数据
【Flume的大数据之旅】探索Flume如何成为大数据分析的得力助手,从日志收集到实时处理一网打尽!
【8月更文挑战第24天】Apache Flume是一款高效可靠的数据收集系统,专为Hadoop环境设计。它能在数据产生端与分析/存储端间搭建桥梁,适用于日志收集、数据集成、实时处理及数据备份等多种场景。通过监控不同来源的日志文件并将数据标准化后传输至Hadoop等平台,Flume支持了性能监控、数据分析等多种需求。此外,它还能与Apache Storm或Flink等实时处理框架集成,实现数据的即时分析。下面展示了一个简单的Flume配置示例,说明如何将日志数据导入HDFS进行存储。总之,Flume凭借其灵活性和强大的集成能力,在大数据处理流程中占据了重要地位。
130 3
|
7月前
spdlog 日志库部分源码说明——让你可以自定义的指定自动切换日志时间
spdlog 日志库部分源码说明——让你可以自定义的指定自动切换日志时间
203 7
|
7月前
|
C++
spdlog 日志库部分源码说明——日志格式设定,DIY你自己喜欢的调试信息,你能调试的远比你想象的还要丰富
spdlog 日志库部分源码说明——日志格式设定,DIY你自己喜欢的调试信息,你能调试的远比你想象的还要丰富
442 6
|
7月前
|
监控 Java Spring
自定义注解+AOP切面日志+源码
自定义注解+AOP切面日志+源码
56 1

推荐镜像

更多