多 Job 串联案例完成|学习笔记

简介: 快速学习 多 Job 串联案例完成

开发者学堂课程【Hadoop 企业优化及扩展案例:多 Job 串联案例完成】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/96/detail/1574


多 Job 串联案例完成


目录:

一.写 TwolndexMapper.

二.将 mapper 写入 reducer

三.驱动

 

1. 写 TwolndexMapper.

protected void map( LongWritable key, Text value, Mapper .Context context)throws I0Exception, InterruptedException {atguigu--a.txt

atguigu--b.txt

atguigu--c.txt
// 1获取一行
String line = value.toString();
//  2切割
String[] fields = line.split("--");
//  3封装
Text k = new Text();Text v = new Text();
// 3写出
context.write(key, value);


2. 将 mapper 写入 reducer

public class TwoIndexReducer extends Reducer

@0verrideprotected void reduce(Text key,Iterable values, Context context)

throws I0Exception, InterruptedException f

atguigu --a.txt 3

--b.txt 2

--c.txt 2atguigu c.txt-->2  b.txt-->2  a.txt-->3
// 1拼接字符串
StringBuffer sb = new StringBuffer();for (Text value : values) {  sb. append(value.toString().replace("\t","-->") +"\t");

v.set(sb.toString());
//  2写出
context.write(key, v);

}


3. 驱动

图片26.png

目录
打赏
0
0
0
0
42
分享
相关文章
物联网:物联网卡能不能发送短信
物联网卡(IoT SIM卡)主要用于连接物联网设备到互联网,以实现设备间的数据交换和远程控制。与传统的手机SIM卡相比,物联网卡在设计上更侧重于数据通信,如通过移动网络连接发送和接收数据。然而,关于物联网卡是否能发送短信(SMS),这主要取决于具体的物联网卡套餐和服务提供商的设定。
seo如何优化
木头左,物联网工程师,分享AI工具。本文探讨SEO优化,包括理解基本概念,关键词研究,内容、外部链接和技术优化。关键词研究注重长尾词和竞争度;内容优化要求高质量、结构清晰、定期更新;外部链接要来自高权重源,自然且多样;技术优化涉及URL结构、网站速度、移动友好性和安全性等。记得点赞、收藏和关注哦!
seo如何优化
网站:推荐几款好用的在线短链生成工具
短链技术目前对网站推广非常的有用,有了它就可以把非常长的网址缩短。这样分享推广起来非常方便。今天小编给大家推荐几款不错的在线短链生成网站,感兴趣的朋友可以下载试一试!
网站:推荐几款好用的在线短链生成工具
kde
|
6天前
|
Docker镜像加速指南:手把手教你配置国内镜像源
配置国内镜像源可大幅提升 Docker 拉取速度,解决访问 Docker Hub 缓慢问题。本文详解 Linux、Docker Desktop 配置方法,并提供测速对比与常见问题解答,附最新可用镜像源列表,助力高效开发部署。
kde
4004 8
国内如何安装和使用 Claude Code镜像教程 - Windows 用户篇
国内如何安装和使用 Claude Code镜像教程 - Windows 用户篇
673 2
Dify MCP 保姆级教程来了!
大语言模型,例如 DeepSeek,如果不能联网、不能操作外部工具,只能是聊天机器人。除了聊天没什么可做的。
1029 13
【保姆级图文详解】大模型、Spring AI编程调用大模型
【保姆级图文详解】大模型、Spring AI编程调用大模型
443 7
【保姆级图文详解】大模型、Spring AI编程调用大模型
|
3天前
typora免费版,激活方法,Typora使用教程
Typora是一款简洁高效的Markdown编辑器,支持即时渲染。本教程涵盖安装方法、文件操作、视图控制、格式排版、字体样式及Markdown语法,助你快速上手使用Typora进行高效写作。
746 0
2025年最新版最细致Maven安装与配置指南(任何版本都可以依据本文章配置)
本文详细介绍了Maven的项目管理工具特性、安装步骤和配置方法。主要内容包括: Maven概述:解释Maven作为基于POM的构建工具,具备依赖管理、构建生命周期和仓库管理等功能。 安装步骤: 从官网下载最新版本 解压到指定目录 创建本地仓库文件夹 关键配置: 修改settings.xml文件 配置阿里云和清华大学镜像仓库以加速依赖下载 设置本地仓库路径 附加说明:包含详细的配置示例和截图指导,适用于各种操作系统环境。 本文提供了完整的Maven安装和配置
2025年最新版最细致Maven安装与配置指南(任何版本都可以依据本文章配置)
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等