hadoop进行数据分析缺少数据的输出

简介: q

问题遇到的现象和发生背景
hadoop只有输入没有输出
File Input Format Counters
Bytes Read=26721

问题相关代码,请勿粘贴截图
GraduateMapper

package com.mystudy.hadoopPro;

import java.io.IOException;
import java.util.regex.Pattern;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

public class GraduateMapper extends Mapper<LongWritable,Text,Text,IntWritable>{

String file_name; 
@Override 
protected void setup(Mapper<LongWritable,Text,Text,IntWritable>.Context context) 
        throws IOException, InterruptedException { 
    FileSplit fs = (FileSplit) context.getInputSplit(); 
    file_name = fs.getPath().getName(); } 

@Override 
protected void map(LongWritable key, Text value, Mapper<LongWritable,Text,Text,IntWritable>.Context context)
        throws IOException, InterruptedException { 
    // TODO Auto-generated method stub //super.map(key, value, context); 
    String[] info = value.toString().split(","); 
    if(file_name.contains("sq")) { 
        if(info.length > 5 && info[5].isEmpty()) {
            context.write(new Text("商丘 未就业"), new IntWritable(1)); 
            }else { context.write(new Text("商丘 就业"), new IntWritable(1));
            }
        if( info[5].contains("学") && info[6]=="是") { 
            context.write(new Text("商丘 成功"), new IntWritable(1)); 
            }else { context.write(new Text("商丘 考研"), new IntWritable(1)); }
         }else if(file_name.contains("ly")) { 
             if(info[6].contains("岗")) {
                    context.write(new Text("洛阳 就业"), new IntWritable(1));
                    }else { context.write(new Text("洛阳 未就业"), new IntWritable(1)); 
                    }
                
                if(info.length > 6 && info[6].length()!=0 && info[6].contains("考研上岸")) { 
                    context.write(new Text("洛阳 成功"), new IntWritable(1)); 
                    }else { context.write(new Text("洛阳 考研"), new IntWritable(1)); }} 
            else if(file_name.contains("cd")) { 
                if( info[4].isEmpty()) {
                    context.write(new Text("承德 未就业"), new IntWritable(1)); 
                    }else { context.write(new Text("承德 就业"), new IntWritable(1));}
                }else if(file_name.contains("xc")) { 
                    if( info[6]=="在岗" || info[6]=="实习") {
                        context.write(new Text("许昌 就业"), new IntWritable(1));
                        }else { context.write(new Text("许昌 未就业"), new IntWritable(1)); 
                        }

//

                                
                                if(info[6].contains("录取") || info[7].contains("录取")) { 
                                    context.write(new Text("许昌 成功"), new IntWritable(1)); 
                                    }else { context.write(new Text("许昌 考研"), new IntWritable(1)); }
                }  else if(file_name.contains("zz")) { 
                    if(info[5].contains("大学") && info[5].isEmpty()) {
                        context.write(new Text("郑州 未就业"), new IntWritable(1)); 
                        }else { context.write(new Text("郑州 就业"), new IntWritable(1));
                        }
                    
                    if( info[6]=="是" && info[5].contains("大学")) { 
                        context.write(new Text("郑州 成功"), new IntWritable(1)); 
                        }else { context.write(new Text("郑州 考研"), new IntWritable(1)); }
    } }}

GraduateReduce

相关文章
|
1月前
|
自然语言处理 小程序 数据挖掘
数据分析实战-Python实现博客评论数据的情感分析
数据分析实战-Python实现博客评论数据的情感分析
104 0
|
3月前
|
存储 分布式计算 Hadoop
Hadoop:驭服数据洪流的利器
在当今信息大爆炸的时代,海量数据成为企业决策的重要依据。本文将介绍大规模数据处理框架Hadoop的概念与实践,探讨其在解决大数据应用中的重要性和优势。从分布式计算、高可靠性、扩展性等方面深入剖析Hadoop的工作原理,并结合实例说明如何利用Hadoop来处理海量数据,为读者提供了解和运用Hadoop的基础知识。
|
2月前
|
数据采集 数据挖掘 API
主流电商平台数据采集API接口|【Python爬虫+数据分析】采集电商平台数据信息采集
随着电商平台的兴起,越来越多的人开始在网上购物。而对于电商平台来说,商品信息、价格、评论等数据是非常重要的。因此,抓取电商平台的商品信息、价格、评论等数据成为了一项非常有价值的工作。本文将介绍如何使用Python编写爬虫程序,抓取电商平台的商品信息、价格、评论等数据。 当然,如果是电商企业,跨境电商企业,ERP系统搭建,我们经常需要采集的平台多,数据量大,要求数据稳定供应,有并发需求,那就需要通过接入电商API数据采集接口,封装好的数据采集接口更方便稳定高效数据采集。
|
3月前
|
数据可视化 数据挖掘 Java
提升代码质量与效率的利器——SonarQube静态代码分析工具从数据到洞察:探索Python数据分析与科学计算库
在现代软件开发中,保证代码质量是至关重要的。本文将介绍SonarQube静态代码分析工具的概念及其实践应用。通过使用SonarQube,开发团队可以及时发现和修复代码中的问题,提高代码质量,从而加速开发过程并减少后期维护成本。 在当今信息爆炸的时代,数据分析和科学计算成为了决策和创新的核心。本文将介绍Python中强大的数据分析与科学计算库,包括NumPy、Pandas和Matplotlib,帮助读者快速掌握这些工具的基本用法和应用场景。无论是数据处理、可视化还是统计分析,Python提供了丰富的功能和灵活性,使得数据分析变得更加简便高效。
|
8天前
|
数据挖掘 定位技术
基于出租车GPS轨迹数据的研究:出租车行程的数据分析
基于出租车GPS轨迹数据的研究:出租车行程的数据分析
10 0
|
9天前
|
机器学习/深度学习 数据采集 数据挖掘
Python 的科学计算和数据分析: 解释什么是数据规整(Data Wrangling)?
【4月更文挑战第15天】数据规整是将原始数据转化为适合分析和建模的格式的关键步骤,涉及缺失值处理(删除、填充、插值)、异常值检测与处理、数据类型转换、重采样、数据合并、特征选择和特征变换等任务。这些预处理步骤确保数据质量和准确性,为后续的数据分析和机器学习模型构建奠定基础。
18 4
|
20天前
|
存储 机器学习/深度学习 数据采集
数据分析师如何处理数据以进行分析?
【4月更文挑战第4天】数据分析师如何处理数据以进行分析?
19 9
|
22天前
|
人工智能 监控 数据可视化
【Python】Python商业公司贸易业务数据分析可视化(数据+源码)【独一无二】
【Python】Python商业公司贸易业务数据分析可视化(数据+源码)【独一无二】
|
1月前
|
存储 数据采集 数据挖掘
python数据分析——数据分类汇总与统计
数据分类汇总与统计是指将大量的数据按照不同的分类方式进行整理和归纳,然后对这些数据进行统计分析,以便于更好地了解数据的特点和规律。
59 1
|
1月前
|
存储 SQL 数据挖掘
python数据分析——数据的选择和运算
在数据分析中,数据的选择和运算是非常重要的步骤。数据选择和运算是数据分析中的基础工作,正确和高效的选择和运算方法对于数据分析结果的准确性和速度至关重要。
43 0

热门文章

最新文章