大数据基础-Flume-source

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: Flume-source

Flume-source

网络异常,图片无法展示
|

再看刚才案例的Source

网络异常,图片无法展示
|

这里面的粗体字体是必选的参数 第一个参数是为了指定source需要向哪个channel写数据,这个其实是通用的参数, 主要看下面这三个,type、bind、port

  • type:类型需要指定为natcat
  • bind:指定当前机器的ip,使用hostname也可以
  • port:指定当前机器中一个没有被使用的端口

指定bind和port表示开启监听模式,监听指定ip和端口中的数据,其实就是开启了一个socket的服务端, 等待客户端连接进来写入数据

在这里给agent起名为a1,所以netcat类型的配置如下,这里面还指定了source、channel的名字,并且把 source和channel连接到一起了,刨除这几个配置之外就剩下了三行配置,就是刚才我们分析的那三个必填参数

a1.sources = r1

a1.channels = c1

a1.sources.r1.type = netcat

a1.sources.r1.bind = 0.0.0.0

a1.sources.r1.port = 6666

a1.sources.r1.channels = c1

注意了,bind参数后面指定的ip是四个0,这个当前机器的通用ip,因为一台机器可以有多个ip,例如: 内网ip、外网ip,如果通过bind参数指定某一个ip的话,表示就只监听通过这个ip发送过来的数据了,这 样会有局限性,所以可以指定0.0.0.0

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
SQL 分布式计算 监控
大数据Flume快速入门
大数据Flume快速入门
106 0
|
数据采集 消息中间件 监控
大数据组件-Flume集群环境搭建
大数据组件-Flume集群环境搭建
195 0
|
SQL 负载均衡 监控
大数据Flume特性
大数据Flume特性
94 1
|
大数据 关系型数据库 MySQL
大数据Flink Source
大数据Flink Source
35 0
大数据Flink Source
|
消息中间件 存储 安全
大数据技Flume快速入门
大数据技Flume快速入门
84 0
|
存储 监控 NoSQL
大数据技术之 Flume4
大数据技术之 Flume4
72 1
|
SQL 存储 分布式计算
大数据技术之 Flume1
大数据技术之 Flume
94 0
|
监控 负载均衡 大数据
大数据技术之 Flume3
大数据技术之 Flume3
63 0
|
SQL 消息中间件 分布式计算
大数据技术之 Flume2
大数据技术之 Flume2
109 0
|
分布式计算 网络协议 大数据
大数据编程技术基础实验八:Flume实验——文件数据Flume至HDFS
大数据技术基础实验八,学习安装部署Flume并将写入Flume的文件数据上传至HDFS。
430 0
大数据编程技术基础实验八:Flume实验——文件数据Flume至HDFS