AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

有一个日志文件visitlog.txt,其中记录了用户访问网站的日期和访问的网站地址信息，每行一条记录。要求编写mapreduce程序完成以下功能： 1、 将不同访问日期的访问记录分配给不同的red

2023-01-17 261
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 有一个日志文件visitlog.txt,其中记录了用户访问网站的日期和访问的网站地址信息，每行一条记录。要求编写mapreduce程序完成以下功能： 1、 将不同访问日期的访问记录分配给不同的red

题目描述：

有一个日志文件visitlog.txt,其中记录了用户访问网站的日期和访问的网站地址信息，每行一条记录。要求编写mapreduce程序完成以下功能：

1、 将不同访问日期的访问记录分配给不同的reduce task（假设只有3个不同日期），而且结果要按照网站网址的字典序降序排序

2、 以1)的结果作为输入，按日期统计访问量最高的3个网站

3、 以1)的结果作为输入，统计所有日期中访问量最高的3个网站

代码在这里


文章标签：
日志服务
分布式计算
关键词：
日志服务信息
日志服务功能
日志服务文件
mapreduce程序
日志服务访问
相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
壹佰、
目录
相关文章
jcLee95
|
存储 运维 应用服务中间件
[运维日志] Web 服务器日志依日期归档（Powershell 实现，附源代码）
[运维日志] Web 服务器日志依日期归档（Powershell 实现，附源代码）
jcLee95
291 0
阿甘兄
|
分布式计算
33 MAPREDUCE的 web日志预处理
33 MAPREDUCE的 web日志预处理
阿甘兄
179 0
武子康
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
武子康
348 1
wljslmz
|
存储 分布式计算 算法
MapReduce 处理压缩文件的能力
【8月更文挑战第12天】
wljslmz
216 4
孜倦与shine
|
分布式计算 监控 大数据
spark实战：实现分区内求最大值，分区间求和以及获取日志文件固定日期的请求路径
spark实战：实现分区内求最大值，分区间求和以及获取日志文件固定日期的请求路径
孜倦与shine
268 1
听风de歌
|
数据采集 SQL 分布式计算
Hadoop性能优化MapReduce任务中的小文件问题
【6月更文挑战第4天】
听风de歌
452 3
VipSoft
|
应用服务中间件 Linux nginx
Nginx log 日志文件较大，按日期生成 实现日志的切割
Nginx log 日志文件较大，按日期生成 实现日志的切割
VipSoft
4254 0
计算机学长猫哥
|
存储 Java 关系型数据库
基于JSP的九宫格日志网站
基于JSP的九宫格日志网站
计算机学长猫哥
170 0
孜倦与shine
|
分布式计算 Hadoop Java
使用Hadoop MapReduce分析邮件日志提取 id、状态 和 目标邮箱
使用Hadoop MapReduce分析邮件日志提取 id、状态 和 目标邮箱
孜倦与shine
293 0
wljslmz
|
监控 安全 Linux
如何使用Linux命令和工具在Linux系统中根据日期过滤日志文件？
如何使用Linux命令和工具在Linux系统中根据日期过滤日志文件？
wljslmz
964 1
如何使用Linux命令和工具在Linux系统中根据日期过滤日志文件？

热门文章

最新文章

  • 1
    MapReduce入门（一篇就够了）（下）
  • 2
    【云计算与大数据技术】大数据系统总体架构概述（Hadoop+MapReduce ）
  • 3
    IDEA 打包MapReduce程序到集群运行的两种方式以及XShell和Xftp过期的解决
  • 4
    MapReduce 的架构
  • 5
    【云计算与大数据技术】Hadoop MapReduce的讲解（图文解释，超详细必看）
  • 6
    当HBase遇上MapReduce头歌答案
  • 7
    Hadoop【基础知识 02】【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
  • 8
    Hadoop运行模式（二）、SSH无密登录配置、生成公钥和私钥、集群配置、集群部署规划、默认配置文件、核心配置文件、HDFS配置文件、YARN配置文件、MapReduce配置文件、在集群上分发配置好的
  • 9
    Spark 与 MapReduce 的 Shuffle 的区别？
  • 10
    带你领略基于ELK+Kafka的日志分析系统和Elasticsearch运维实践
  • 1
    阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
    1178
  • 2
    阿里云E-MapReduce集群-开源Ldap密码不安全问题解决方案
    686
  • 3
    阿里云E-MapReduce集群不同计算引擎sleep task使用笔记
    698
  • 4
    阿里云E-MapReduce节点优雅下线-基于Yarn Node Labels特性
    1065
  • 5
    伪分布式安装部署（运行MapReduce程序）
    414
  • 6
    Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（二）
    396
  • 7
    Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（一）
    520
  • 8
    Hadoop基础学习---6、MapReduce框架原理（二）
    417
  • 9
    Hadoop基础学习---6、MapReduce框架原理（一）
    312
  • 10
    Hadoop基础学习---5、MapReduce概述和WordCount实操（本地运行和集群运行）、Hadoop序列化
    421

    • 相关课程

    更多
  • 基于MongoDB构建实时日志分析平台
  • 日志服务SLS 构建可观测体系实战
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • Hadoop 分布式计算框架 MapReduce

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接
    • 下一篇
    狂揽7.5k星！这款开源API网关彻底解放开发者：一键聚合GPT-4、Suno、Midjourney，还能在线充值！