能力说明:
掌握Linux文件管理方式和技巧,对用户和组管理有基本认知,掌握Linux网络知识,对TCP/IP协议及OSI七层模型有较为清晰的概念,掌握Linux磁盘与文件系统管理技巧,知道如何安装Linux软件包,逐步掌握Shell脚本的编程技巧。
暂时未有相关云产品技术能力~
暂无个人介绍
CentOS7安装oh-my-zsh(github start Top 10)
三十六、Linux性能优化实战学习笔记-套路篇:怎么评估系统的网络性能?
说到网络,我想你肯定经常提起七层负载均衡、四层负载均衡,或者三层设备、二层设备等等。那么,这里说的二层、三层、四层、七层又都是什么意思呢?
三十一、 套路篇:磁盘 I/O 性能优化的几个思路
二十七 | 案例篇:为什么我的磁盘I/O延迟很高?
使用率、饱和度、IOPS、吞吐量以及响应时间等。这五个指标,是衡量磁盘性能的基本指标。
进程每打开一个文件(linux下一切皆文件,包括socket) ,都会消耗一定的内存资源。如果有不怀好心的人启动一个进程来无限的创建和打开新的文件,会让服务器崩溃。所以linux系统出于安全角度的考虑,在多个位置都限制了可打开的文件描述符的数量,包括系统级、用户级、进程级。这三个限制的含义和修改方式如下:
shell实战案例- 实现文件锁(调用外部脚本)
shell实战案例-批量ping ip(多进程限制并发)
flock申请的锁对象是处于 内核空间层的全局级别的open file table中的。
Linux shell 内建命令、常见外部命令以及常见环境变量
经常写shell,那么shell如何被解析的呢?
测试区Codis集群之前废了,今天重新搭起来之后,测试程序发现很多key的数据都没了。 如果整个库迁移过来没有必要。 只需要把特定的几个key迁移过来即可。
我们知道 Docker 镜像是分层的,并且每一层镜像都会额外占用存储空间,一个 Docker 镜像层数越多,这个镜像占用的存储空间则会越多。
随着我们的业务规模越来越大,我们的容器规模也逐渐增大时,数量庞大的容器管理将给我们带来许多挑战。Docker 官方为了解决多容器管理的问题推出了 Docker Swarm ,我们可以用它来管理规模更大的容器集群。
RabbitMQ现在用的也比较多,但是没有过去那么多啦。现在很多的流行或者常用技术或者思路都是从过去的思路中演变而来的。了解一些过去的技术,对有些人来说可能会产生众里寻他千百度的顿悟,加深对技术的理解,更好的应用于工作中去。
针对HDFS而言,每一个小文件在namenode中都会占用150字节的内存空间,最终会导致集群中虽然储了很多个文件,但是文件的体积并不大,这样就没有意义了。
今天下午突然遇到一个问题: 报表直接进不去了,重启也没有生效。
Flink on Yarn的两种运行方式
Google 大数据“三驾马车”的第一驾是 GFS(Google 文件系统),而Hadoop 的第一个产品是 HDFS,可以说分布式文件存储是分布式计算的基础,也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪,那么数据就是食材,而Hadoop 分布式文件系统 HDFS 就是烧菜的那口大锅。
从最开始的 Google 在搜索引擎中开始使用大数据技术,到现在无处不在的各种人工智能应用,伴随着大数据技术的发展,大数据应用也从曲高和寡走到了今天的遍地开花。
从我的角度而言,不管是学习某门技术,还是讨论某个事情,最好的方式一定不是一头扎到具体细节里,而是应该从时空的角度先了解它的来龙去脉,以及它为什么会演进成为现在的状态。当你深刻理解了这些前因后果之后,再去看现状,就会明朗很多,也能更直接地看到现状背后的本质。
目前,hadoop已经演变为大数据计算的代名词,形成了一套完善的大数据计算的生态系统,所以针对hadoop也出现了很多版本
Centos7 Hadoop伪分布模式安装
Web协议详解与抓包实战-HTTP协议之长链接和短连接
HTTP响应码
Chrome 抓包:快速定位 HTTP 协议问题
Web协议详解与抓包实战(1)
最近在使用jedis 操作redis,在处理一个sortedset key的返回值时遇到一个棘手的问题。
spug是一款优秀的自动化运维平台, 这让我们想自动化又向前迈了一步.
使用 jd-gui.exe反编译工具,反编译时部分类无法反编译。
PS1 是shell命令行界面的主提示符。
Spring navigate to the spring bean是什么意思?
用 cp 拷贝了一个 100 GiB 的文件,竟然一秒不到就拷贝完成了。一个 SATA 机械盘的写能力能到 150 MiB/s (大部分的机械盘都是到不了这个值的)就算非常不错了,所以,正常情况下,copy 一个 100G 的文件至少要 682 秒 ( 100 GiB/ 150 MiB/s ),也就是 11 分钟。
深度剖析 Linux 的 3 种“拷贝”命令
我们知道使用不同的 Namespace,可以实现容器中的进程看不到别的容器的资源,但是有一个问题你是否注意到?
Namespace 是 Linux 内核的一项功能,该功能对内核资源进行分区,以使一组进程看到一组资源,而另一组进程看到另一组资源。Namespace 的工作方式通过为一组资源和进程设置相同的 Namespace 而起作用,但是这些 Namespace 引用了不同的资源。资源可能存在于多个 Namespace 中。这些资源可以是进程 ID、主机名、用户 ID、文件名、与网络访问相关的名称和进程间通信。
Linux系统如何在命令行创建以当前日期命名的目录或文件
用GitLab搭建自己的私有GitHub
docker文件存储驱动:AUFS 文件系统原理及生产环境的最佳配置
例如存放代码的github,gitlab ,存放jar包的maven这些中心仓库的作用是存储。同样镜像的存储也可以搭建属于自己的仓库,任由自己存取需要的镜像。
在使用shell脚本编程中,经常会遇到单引号、双引号、以及反单引号,这三者有何区别?
22端口作为远程登录服务器的知名端口,如果22端口暴露在互联网必然会引起攻击。
如果没有外网可以先在一台有外网的机器上把镜像build好并save,然后把镜像传到局域网的机器。
bash shell用一个叫作环境变量( environment variable)的特性来存储有关shell会话和工作环境的信息(这也是它们被称作环境变量的原因)。这项特性允许你在内存中存储数据,以便程序或shell中运行的脚本能够轻松访问到它们。这也是存储持久数据的一种简便方法。
迁移在许多情况下都是不可避免的。硬件升级、数据中心变化、过时的操作系统,所有这些都可能成为迁移的触发点。
重学操作系统----24 | 虚拟内存 :一个程序最多能使用多少内存?
当你拿到一个问题时,需要冷静下来思考和探索解决方案。你可以查资料、看视频或者咨询专家,但是在这之前,你先要进行一定的思考和梳理,有的问题可以直接找到答案,有的问题却需要继续深挖寻找其背后的理论支撑。
重学操作系统----13 Linux 内核和 Windows 内核有什么区别
作为同时具备高性能、高可靠和高可扩展性的典型键值数据库,Redis不仅功能强大,而且稳定,理所当然地成为了大型互联网公司的首选。