能力说明:
掌握Linux文件管理方式和技巧,对用户和组管理有基本认知,掌握Linux网络知识,对TCP/IP协议及OSI七层模型有较为清晰的概念,掌握Linux磁盘与文件系统管理技巧,知道如何安装Linux软件包,逐步掌握Shell脚本的编程技巧。
暂时未有相关云产品技术能力~
暂无个人介绍
RabbitMQ现在用的也比较多,但是没有过去那么多啦。现在很多的流行或者常用技术或者思路都是从过去的思路中演变而来的。了解一些过去的技术,对有些人来说可能会产生众里寻他千百度的顿悟,加深对技术的理解,更好的应用于工作中去。
flink的TimeCharacteristic
MapReduce是分为Map阶段和Reduce阶段,其实提高执行效率就是提高这两个阶段的执行效率
针对HDFS而言,每一个小文件在namenode中都会占用150字节的内存空间,最终会导致集群中虽然储了很多个文件,但是文件的体积并不大,这样就没有意义了。
今天下午突然遇到一个问题: 报表直接进不去了,重启也没有生效。
我们生活在一个数据大爆炸的时代,数据飞快的增长,急需解决海量数据的存储和计算问题Hadoop适合海量数据 分布式存储 和 分布式计算Hadoop的作者是Doug Cutting,Hadoop这个名字是作者的孩子给他的毛绒象玩具起的名字
Flink on Yarn的两种运行方式
Topic 类型与 Direct 相比,都是可以根据 RoutingKey 把消息路由到不同的队列。只不过 Topic 类型Exchange 可以让队列在绑定 Routing key 的时候使用通配符!
Google 大数据“三驾马车”的第一驾是 GFS(Google 文件系统),而Hadoop 的第一个产品是 HDFS,可以说分布式文件存储是分布式计算的基础,也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪,那么数据就是食材,而Hadoop 分布式文件系统 HDFS 就是烧菜的那口大锅。
大数据技术主要是要解决大规模数据的计算处理问题,
大数据技术和传统的软件开发技术在架构思路上有很大不同,大数据技术更为关注数据,所以相关的架构设计也围绕数据展开,如何存储、计算、传输大规模的数据是要考虑的核心要素。
从最开始的 Google 在搜索引擎中开始使用大数据技术,到现在无处不在的各种人工智能应用,伴随着大数据技术的发展,大数据应用也从曲高和寡走到了今天的遍地开花。
从我的角度而言,不管是学习某门技术,还是讨论某个事情,最好的方式一定不是一头扎到具体细节里,而是应该从时空的角度先了解它的来龙去脉,以及它为什么会演进成为现在的状态。当你深刻理解了这些前因后果之后,再去看现状,就会明朗很多,也能更直接地看到现状背后的本质。
目前,hadoop已经演变为大数据计算的代名词,形成了一套完善的大数据计算的生态系统,所以针对hadoop也出现了很多版本
Centos7 Hadoop伪分布模式安装
在阅读一部分大牛写的脚本,开头总会有一些set
Web协议详解与抓包实战-HTTP协议之长链接和短连接
HTTP响应码
Chrome 抓包:快速定位 HTTP 协议问题
Web协议详解与抓包实战(1)
最近在使用jedis 操作redis,在处理一个sortedset key的返回值时遇到一个棘手的问题。
vagrant是一个构件虚拟开发环境的工具。他用于创建部署虚拟的开发环境,说白了就是使用vagrant装虚拟机,而装虚拟机的文件由运维组对开发环境做的一个镜像。
/bin/bash^M: bad interpreter: No such file or directory
spug是一款优秀的自动化运维平台, 这让我们想自动化又向前迈了一步.
使用 jd-gui.exe反编译工具,反编译时部分类无法反编译。
PS1 是shell命令行界面的主提示符。
通常来说,使用反射 API 的第一步便是获取 Class 对象。在 Java 中常见的有这么三种。
Spring navigate to the spring bean是什么意思?
用 cp 拷贝了一个 100 GiB 的文件,竟然一秒不到就拷贝完成了。一个 SATA 机械盘的写能力能到 150 MiB/s (大部分的机械盘都是到不了这个值的)就算非常不错了,所以,正常情况下,copy 一个 100G 的文件至少要 682 秒 ( 100 GiB/ 150 MiB/s ),也就是 11 分钟。
深度剖析 Linux 的 3 种“拷贝”命令
在 system1 上创建一个脚本,名为 /root/mkusers , 此脚本能实现为系统 system1 创建本地用户, 并且这些用户的用户名来自一个包含用户名列表的文件。
我们知道使用不同的 Namespace,可以实现容器中的进程看不到别的容器的资源,但是有一个问题你是否注意到?
Namespace 是 Linux 内核的一项功能,该功能对内核资源进行分区,以使一组进程看到一组资源,而另一组进程看到另一组资源。Namespace 的工作方式通过为一组资源和进程设置相同的 Namespace 而起作用,但是这些 Namespace 引用了不同的资源。资源可能存在于多个 Namespace 中。这些资源可以是进程 ID、主机名、用户 ID、文件名、与网络访问相关的名称和进程间通信。
什么是HiveHive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载,可以简称为ETL。
Linux系统如何在命令行创建以当前日期命名的目录或文件
用GitLab搭建自己的私有GitHub
云原生技术基础 练习题
docker文件存储驱动:AUFS 文件系统原理及生产环境的最佳配置
例如存放代码的github,gitlab ,存放jar包的maven这些中心仓库的作用是存储。同样镜像的存储也可以搭建属于自己的仓库,任由自己存取需要的镜像。
目前为止,我所有的操作都是围绕单个容器进行的
在使用shell脚本编程中,经常会遇到单引号、双引号、以及反单引号,这三者有何区别?
22端口作为远程登录服务器的知名端口,如果22端口暴露在互联网必然会引起攻击。
如果没有外网可以先在一台有外网的机器上把镜像build好并save,然后把镜像传到局域网的机器。
bash shell用一个叫作环境变量( environment variable)的特性来存储有关shell会话和工作环境的信息(这也是它们被称作环境变量的原因)。这项特性允许你在内存中存储数据,以便程序或shell中运行的脚本能够轻松访问到它们。这也是存储持久数据的一种简便方法。
迁移在许多情况下都是不可避免的。硬件升级、数据中心变化、过时的操作系统,所有这些都可能成为迁移的触发点。
重学操作系统----25 | 内存管理单元: 什么情况下使用大内存分页?
重学操作系统----24 | 虚拟内存 :一个程序最多能使用多少内存?
进程(Process),顾名思义就是正在执行的应用程序,是软件的执行副本。而线程是轻量级的进程。
当你拿到一个问题时,需要冷静下来思考和探索解决方案。你可以查资料、看视频或者咨询专家,但是在这之前,你先要进行一定的思考和梳理,有的问题可以直接找到答案,有的问题却需要继续深挖寻找其背后的理论支撑。
重学操作系统----13 Linux 内核和 Windows 内核有什么区别