hadoop进行数据分析缺少数据的输出

简介: q

问题遇到的现象和发生背景
hadoop只有输入没有输出
File Input Format Counters
Bytes Read=26721

问题相关代码,请勿粘贴截图
GraduateMapper

package com.mystudy.hadoopPro;

import java.io.IOException;
import java.util.regex.Pattern;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

public class GraduateMapper extends Mapper<LongWritable,Text,Text,IntWritable>{

String file_name; 
@Override 
protected void setup(Mapper<LongWritable,Text,Text,IntWritable>.Context context) 
        throws IOException, InterruptedException { 
    FileSplit fs = (FileSplit) context.getInputSplit(); 
    file_name = fs.getPath().getName(); } 

@Override 
protected void map(LongWritable key, Text value, Mapper<LongWritable,Text,Text,IntWritable>.Context context)
        throws IOException, InterruptedException { 
    // TODO Auto-generated method stub //super.map(key, value, context); 
    String[] info = value.toString().split(","); 
    if(file_name.contains("sq")) { 
        if(info.length > 5 && info[5].isEmpty()) {
            context.write(new Text("商丘 未就业"), new IntWritable(1)); 
            }else { context.write(new Text("商丘 就业"), new IntWritable(1));
            }
        if( info[5].contains("学") && info[6]=="是") { 
            context.write(new Text("商丘 成功"), new IntWritable(1)); 
            }else { context.write(new Text("商丘 考研"), new IntWritable(1)); }
         }else if(file_name.contains("ly")) { 
             if(info[6].contains("岗")) {
                    context.write(new Text("洛阳 就业"), new IntWritable(1));
                    }else { context.write(new Text("洛阳 未就业"), new IntWritable(1)); 
                    }
                
                if(info.length > 6 && info[6].length()!=0 && info[6].contains("考研上岸")) { 
                    context.write(new Text("洛阳 成功"), new IntWritable(1)); 
                    }else { context.write(new Text("洛阳 考研"), new IntWritable(1)); }} 
            else if(file_name.contains("cd")) { 
                if( info[4].isEmpty()) {
                    context.write(new Text("承德 未就业"), new IntWritable(1)); 
                    }else { context.write(new Text("承德 就业"), new IntWritable(1));}
                }else if(file_name.contains("xc")) { 
                    if( info[6]=="在岗" || info[6]=="实习") {
                        context.write(new Text("许昌 就业"), new IntWritable(1));
                        }else { context.write(new Text("许昌 未就业"), new IntWritable(1)); 
                        }

//

                                
                                if(info[6].contains("录取") || info[7].contains("录取")) { 
                                    context.write(new Text("许昌 成功"), new IntWritable(1)); 
                                    }else { context.write(new Text("许昌 考研"), new IntWritable(1)); }
                }  else if(file_name.contains("zz")) { 
                    if(info[5].contains("大学") && info[5].isEmpty()) {
                        context.write(new Text("郑州 未就业"), new IntWritable(1)); 
                        }else { context.write(new Text("郑州 就业"), new IntWritable(1));
                        }
                    
                    if( info[6]=="是" && info[5].contains("大学")) { 
                        context.write(new Text("郑州 成功"), new IntWritable(1)); 
                        }else { context.write(new Text("郑州 考研"), new IntWritable(1)); }
    } }}

GraduateReduce

相关文章
|
2月前
|
数据采集 数据可视化 数据挖掘
用 Excel+Power Query 做电商数据分析:从 “每天加班整理数据” 到 “一键生成报表” 的配置教程
在电商运营中,数据是增长的关键驱动力。然而,传统的手工数据处理方式效率低下,耗费大量时间且易出错。本文介绍如何利用 Excel 中的 Power Query 工具,自动化完成电商数据的采集、清洗与分析,大幅提升数据处理效率。通过某美妆电商的实战案例,详细拆解从多平台数据整合到可视化报表生成的全流程,帮助电商从业者摆脱繁琐操作,聚焦业务增长,实现数据驱动的高效运营。
|
1月前
|
SQL 数据挖掘 BI
数据分析的尽头,是跳出数据看数据!
当前许多企业在数据分析上投入大量资源,却常陷入“数据越看越细,业务越看越虚”的困境。报表繁杂、指标众多,但决策难、行动少,分析流于形式。真正有价值的数据分析,不在于图表多漂亮,而在于能否带来洞察、推动决策、指导行动。本文探讨如何跳出数据、回归业务场景,实现数据驱动的有效落地。
|
9月前
|
数据采集 数据可视化 数据挖掘
Pandas数据应用:天气数据分析
本文介绍如何使用 Pandas 进行天气数据分析。Pandas 是一个强大的 Python 数据处理库,适合处理表格型数据。文章涵盖加载天气数据、处理缺失值、转换数据类型、时间序列分析(如滚动平均和重采样)等内容,并解决常见报错如 SettingWithCopyWarning、KeyError 和 TypeError。通过这些方法,帮助用户更好地进行气候趋势预测和决策。
303 71
|
4月前
|
分布式计算 Hadoop 数据挖掘
“Hadoop整不明白,数据分析就白搭?”——教你用Hadoop撸清大数据处理那点事
“Hadoop整不明白,数据分析就白搭?”——教你用Hadoop撸清大数据处理那点事
216 34
|
8月前
|
SQL 数据可视化 大数据
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
461 92
|
9月前
|
存储 数据采集 数据可视化
Pandas数据应用:电子商务数据分析
本文介绍如何使用 Pandas 进行电子商务数据分析,涵盖数据加载、清洗、预处理、分析与可视化。通过 `read_csv` 等函数加载数据,利用 `info()` 和 `describe()` 探索数据结构和统计信息。针对常见问题如缺失值、重复记录、异常值等,提供解决方案,如 `dropna()`、`drop_duplicates()` 和正则表达式处理。结合 Matplotlib 等库实现数据可视化,探讨内存不足和性能瓶颈的应对方法,并总结常见报错及解决策略,帮助提升电商企业的数据分析能力。
376 73
|
7月前
|
SQL 人工智能 数据可视化
数据团队必读:智能数据分析文档(DataV Note)五种高效工作模式
数据项目复杂,涉及代码、数据、运行环境等多部分。随着AI发展,数据科学团队面临挑战。协作式数据文档(如阿里云DataV Note)成为提升效率的关键工具。它支持跨角色协同、异构数据处理、多语言分析及高效沟通,帮助创建知识库,实现可重现的数据科学过程,并通过一键分享报告促进数据驱动决策。未来,大模型AI将进一步增强其功能,如智能绘图、总结探索、NLP2SQL/Python和AutoReport,为数据分析带来更多可能。
306 21
|
7月前
|
分布式计算 Hadoop 大数据
从Excel到Hadoop:数据规模的进化之路
从Excel到Hadoop:数据规模的进化之路
147 10
|
10月前
|
存储 机器学习/深度学习 数据可视化
数据集中存在大量的重复值,会对后续的数据分析和处理产生什么影响?
数据集中存在大量重复值可能会对后续的数据分析和处理产生多方面的负面影响
569 56
|
6月前
|
机器学习/深度学习 传感器 数据采集
基于机器学习的数据分析:PLC采集的生产数据预测设备故障模型
本文介绍如何利用Python和Scikit-learn构建基于PLC数据的设备故障预测模型。通过实时采集温度、振动、电流等参数,进行数据预处理和特征提取,选择合适的机器学习模型(如随机森林、XGBoost),并优化模型性能。文章还分享了边缘计算部署方案及常见问题排查,强调模型预测应结合定期维护,确保系统稳定运行。
677 0

热门文章

最新文章