Redamancy_社区达人页
产品
解决方案
文档与社区
权益中心
定价
云市场
合作伙伴
支持与服务
了解阿里云
AI 助理
备案
控制台
开发者社区
首页
探索云世界
探索云世界
云上快速入门,热门云上应用快速查找
了解更多
问产品
动手实践
官方博客
考认证
TIANCHI大赛
活动广场
活动广场
丰富的线上&线下活动,深入探索云世界
任务中心
做任务,得社区积分和周边
高校计划
让每位学生受益于普惠算力
训练营
资深技术专家手把手带教
话题
畅聊无限,分享你的技术见解
开发者评测
最真实的开发者用云体验
乘风者计划
让创作激发创新
阿里云MVP
遇见技术追梦人
直播
技术交流,直击现场
下载
下载
海量开发者使用工具、手册,免费下载
镜像站
极速、全面、稳定、安全的开源镜像
技术资料
开发手册、白皮书、案例集等实战精华
插件
为开发者定制的Chrome浏览器插件
探索云世界
新手上云
云上应用构建
云上数据管理
云上探索人工智能
云计算
弹性计算
无影
存储
网络
倚天
云原生
容器
serverless
中间件
微服务
可观测
消息队列
数据库
关系型数据库
NoSQL数据库
数据仓库
数据管理工具
PolarDB开源
向量数据库
热门
百炼大模型
Modelscope模型即服务
弹性计算
云原生
数据库
云效DevOps
龙蜥操作系统
平头哥
钉钉开放平台
物联网
大数据
大数据计算
实时数仓Hologres
实时计算Flink
E-MapReduce
DataWorks
Elasticsearch
机器学习平台PAI
智能搜索推荐
数据可视化DataV
人工智能
机器学习平台PAI
视觉智能开放平台
智能语音交互
自然语言处理
多模态模型
pythonsdk
通用模型
开发与运维
云效DevOps
钉钉宜搭
支持服务
镜像站
码上公益
Redamancy
已加入开发者社区
730
天
勋章
更多
专家博主
专家博主
星级博主
星级博主
技术博主
技术博主
初入江湖
初入江湖
成就
已发布61篇文章
0条评论
已回答0个问题
0条评论
已发布0个视频
github地址
我关注的人
更多
叶秋学长
叶秋学长
粉丝
更多
心动的日记
心动的日记
cwbee2fpgln7q
cwbee2fpgln7q
技术能力
兴趣领域
擅长领域
技术认证
Apsara Clouder大数据技能认证:基于房源的画像分析
获得于2022-09-21 21:43:55
暂无个人介绍
精选
高分内容
最新动态
文章
问答
视频
暂无精选文章
暂无更多信息
2022年08月
08.28
17:26:35
发表了文章
2022-08-28 17:26:35
Hadoop中HDFS的API操作、HDFS文件上传(测试参数优先级)、copyFromLocalFile参数解读、HDFS文件下载、文件更名和移动、删除文件和目录、文件详情查看、文件和文件夹判断
参数优先级排序:(1)客户端代码中设置的值 >(2)在项目资源目录下的用户自定义配置文件(如在resources下创建的hdfs-site.xml,可以看上面的过程) >(3)服务器的自定义配置(hdfs-site.xml) >(4)服务器的默认配置(hdfs-default.xml)、CRC文件是一个校验文件,保证文件传输完整、对文件名称的修改、文件的更名和移动、目录更名、删除文件、删除空目录、删除非空目录、如果执行上面代码,下载不了文件,有可能是你电脑的微软支持的运行库少,需要安装一下微软运行库。...
08.28
17:26:02
发表了文章
2022-08-28 17:26:02
Hadoop中HDFS的读写流程(面试重点)、为什么搜不到BlockPlacementPolicyDefault、网络拓扑-节点距离计算、机架感知(副本存储节点选择)
(1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。 (2)NameNode返回是否可以上传。 (3)客户端请求第一个 Block上传到哪几个DataNode服务器上。 (4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。 (5)客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。 (
08.28
17:25:27
发表了文章
2022-08-28 17:25:27
Hadoop中NameNode和SecondaryNameNode、NN和2NN工作机制、Fsimage和Edits解析、oiv查看Fsimage、oev查看Edits、CheckPoint时间设置
查看oiv和oev命令、sz命令,从虚拟机上下载到windows上、通常情况下,SecondaryNameNode每隔一小时执行一次、一分钟检查一次操作次数,当操作次数达到1百万时,SecondaryNameNode执行一次、第一阶段:NameNode启动、第二阶段:Secondary NameNode工作、hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径、可以看出,Fsimage中没有记录块所对应DataNode,为什么?在集群启动后,要求DataNode上报数据块信息,并间隔一段
08.28
17:24:51
发表了文章
2022-08-28 17:24:51
Hadoop中的DataNode、工作机制、数据完整性、掉线时限参数设置
思考:如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号(1)和绿灯信号(0),但是存储该数据的磁盘坏了,一直显示是绿灯,是否很危险?(1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。(2)DataNode启动后向NameNode注册,通过后,周期性(6小时)的向NameNode上报所有的块信息。(4)常见的校验算法crc(32),md5(128),sha1(160)用这个网站检验CRC循环冗余校验。...
08.28
17:23:45
发表了文章
2022-08-28 17:23:45
Hadoop中的MapReduce概述、优缺点、核心思想、编程规范、进程、官方WordCount源码、提交到集群测试、常用数据序列化类型、WordCount案例实操
优点:易于编程、良好的扩展性、高容错性、适合PB级以上海量数据的离线处理、缺点:不擅长实时计算、不擅长流式计算、不擅长DAG(有向无环图)计算、MapReduce核心功能是将`用户编写的业务逻辑代码`和`自带默认组件`整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。(1)分布式的运算程序往往需要分成至少2个阶段。(2)第一个阶段的MapTask并发实例,完全并行运行,互不相干。(3)第
08.28
17:22:56
发表了文章
2022-08-28 17:22:56
Hadoop序列化、概述、自定义bean对象实现序列化接口(Writable)、序列化案例实操、编写流量统计的Bean对象、编写Mapper类、编写Reducer类、编写Driver驱动类
什么是序列化、为什么要序列化、为什么不用Java的序列化、Hadoop序列化特点:1)紧凑 :高效使用存储空间。2)快速:读写数据的额外开销小。3)互操作:支持多语言的交互、在企业开发中往往常用的基本序列化类型不能满足所有需求,比如在Hadoop框架内部传递一个bean对象,那么该对象就需要实现序列化接口。具体实现bean对象序列化步骤如下7步。1)必须实现Writable接口2)反序列化时,需要反射调用空参构造函数,所以必须有空参构造3)重写序列化方法4)重写反序列化方法`5)注意反序列化的顺序和序列化的
08.28
17:21:05
发表了文章
2022-08-28 17:21:05
Linux中top 实时监控系统进程状态
在top里按k然后杀死4148进程然后再输入9,(9是kill -l中的一个命令下面一会附上图)shift+m 从大到小。shift+p 从大到小。shift + n 从大到下。在top里按u然后输入用户。详细的请看我之前发的博客。linux常用命令下。linux常用命令中。linux常用命令上。...
08.28
17:12:27
发表了文章
2022-08-28 17:12:27
Linux中的crontab 定时任务设置
crontab [选项]详细的请看我之前发的博客。linux常用命令下。linux常用命令中。linux常用命令上。
08.28
17:04:56
发表了文章
2022-08-28 17:04:56
Hadoop中的MapReduce框架原理、Job提交流程源码断点在哪断并且介绍相关源码、切片与MapTask并行度决定机制、MapTask并行度决定机制
如果是集群模式,还有jar包,面试官问这类问题是时候问你看过源码吗,回答是:提交三样东西,一个是xml,一个jar包,一个切片信息、job.xml的内容是job运行所需要的参数设置默认值、state的值为RUNNING,说明job开始运行了、如果是本地模式则不会提交jar包,如果是集群模式,则会提交jar包、数据块:Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。数据切片:数据切片只是在逻辑上对输入进行分片,并不会在磁盘上将其切分成片进行存储。数据切片是MapReduce程序计算/job.xml的内容是job运行所需要的参数设置默认值
08.28
16:32:14
发表了文章
2022-08-28 16:32:14
Java中常用类String与基本数据类型转换字符串 > 基本数据类型、包装类、基本数据类型、包装类 > 字符串、字符数组 > 字符串、字符串 > 字符数组、字节数组 > 字符串、字符串 > 字节数组
Integer包装类的public static int parseInt(String s):可以将由“数字”字符组成的字符串转换为整型。调用String类的public String valueOf(int n)可将int型转换为字符串、String 类的构造器:String(char[]) 和 String(char[],int offset,int length) 分别用字符数组中的全部字符和部分字符创建字符串对象public char[] toCharArray():将字符串中的全部字符存放在一个字符数组中的方法。、String(byte[]):通过使用平台的默认字符集解码指定的 b
08.27
16:15:33
发表了文章
2022-08-27 16:15:33
Hadoop中的FileInputFormat切片机制、FileInputFormat切片大小的参数配置、TextInputFormat、CombineTextInputFormat切片机制
源码中计算切片大小的公式、切片大小设置、获取切片信息API、FileInputFormat常见的接口实现类包括:`TextInputFormat、KeyValueTextInputFormat、NLineInputFormat、CombineTextInputFormat和自定义InputFormat等、虚拟存储切片最大值设置、虚拟存储过程、CombineTextInputFormat案例实操、剩余的大小为4.02M,如果按照4M逻辑划分,就会出现0.02M的小的虚拟存储文件,所以将剩余的4.02M文件切分成(2.01M和2.01M)两个文件。框架默认的TextInputFormat切片机制是
08.26
22:26:04
发表了文章
2022-08-26 22:26:04
Hadoop中的MapReduce框架原理、切片源码断点在哪断并且介绍相关源码、FileInputFormat切片源码解析、总结,那些可以证明你看过切片的源码
然后就是这个1.1倍的事splitSize他的值取决于块大小,minSize,maxSize,但是块大小是不能改变的,因为他是实实在在存在物理地址的数据,因此块是不能改变的,但是minSize,和maxSize是可以改变的,可以通过改变这两个值来改变切片大小、如果文件大小除以切片大小大于1.1则切成两片,如果小于1.1则按一片来处理、因为minSize为1,maxSize为long 的最大值,blockSize是32,所以切片的大小与minSize和maxSize有关,可以通过调整这两个的值来改变切片的大小、isSplitable
1
2
跳转至:
发表了文章
2022-08-28
linux中的cal 查看日历、用户管理命令、useradd 添加新用户、passwd 设置用户密码、id 查看用户是否存在、su 切换用户、userdel 删除用户、who 查看登录用户信息、sudo 设置普通用户具有 root 权限
发表了文章
2022-08-28
linux中的usermod 修改用户、groupadd 新增组、groupdel 删除组、groupmod 修改组、cat /etc/group 查看创建了哪些组、文件权限类、rwx 作用文件和目录的不同解释、chmod改变权限、修改bigbig.txt文件使其所属主用户只有读权限、修改bigbig.txt文件使其所属组用户具有写权限
发表了文章
2022-08-28
linux中的chgrp改变所属组、修改bigbig.txt文件所属主用户拥有读写权限,并使其他用户具有写执行权限、find查找文件或者目录、locate快速定位文件路径、grep 过滤查找及“|”管道符、gzip/gunzip 压缩、zip/unzip 压缩
发表了文章
2022-08-28
Linux中的添加一块新的硬盘
发表了文章
2022-08-28
linux中的tar打包、压缩多个文件、磁盘查看和分区类、du查看文件和目录占用的磁盘空间、df查看磁盘空间使用情况、lsblk查看设备挂载情况、fdisk分区、mount/umount挂载/卸载、设置开机自动挂载
发表了文章
2022-08-28
Linux中的pstree 查看进程树、netstat 显示网络状态和端口占用信息、kill 终止进程、进程管理类、ps 查看当前系统进程状态、内存置换算法LRU、查看与sshd相关进程
发表了文章
2022-08-28
Python列表推导式字典推导式
发表了文章
2022-08-28
Python文件相关知识点strip、open、read、write、close、readline、readlines、encoding、encode、decode
发表了文章
2022-08-28
Python面向对象、类的抽象、类的定义、类名遵循大驼峰的命名规范创建对象、类外部添加和获取对象属性、类内部操作属性魔法方法__init__()__str__()__del__()__repr__()
发表了文章
2022-08-28
Python面向对象、继承的基本语法、单继承和多层继承、子类重写父类的同名方法、子类调用父类的同名方法、继承中的 init 、 多继承、私有权限、类属性、类方法、静态方法、多态、鸭子类型
发表了文章
2022-08-28
Python模块管理
发表了文章
2022-08-28
python异常
发表了文章
2022-08-28
Python中的模块、包、import module1,mudule2、from…import、from … import *、as、定位模块、模块中的__all__和__name__、模块的注意点
发表了文章
2022-08-28
python学生管理系统-面向对象版
发表了文章
2022-08-28
Shell脚本的常用执行方式、bash 和 sh 的关系、子shell、Centos 默认的解析器是 bash、Linux 提供的 Shell 解析器、Shell 概述、Shell 脚本入门
发表了文章
2022-08-28
Shell变量、系统预定义变量$HOME、$PWD、$SHELL、$USER、自定义变量、特殊变量$n、$#、$*、$@、$?、env看所有的全局变量值、set看所有变量
发表了文章
2022-08-28
Shell运算符、$((运算式))” 或 “$[运算式]、expr方法、条件判断、test condition、[ condition ]、两个整数之间比较、按照文件权限进行判断、按照文件类型进行判断
发表了文章
2022-08-28
Shell流程控制(重点)、if 判断、case 语句、let用法、for 循环中有for (( 初始值;循环控制条件;变量变化 ))和for 变量 in 值 1 值 2 值 3… 、while 循环
发表了文章
2022-08-28
Shell的read 读取控制台输入、read的使用
发表了文章
2022-08-28
Shell函数、系统函数、basename [string / pathname] [suffix] 可以理解为取路径里的文件名称 、dirname 文件绝对路径、自定义函数
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息
正在加载, 请稍后...
暂无更多信息
勋章
关注
粉丝