能力说明:
掌握Linux文件管理方式和技巧,对用户和组管理有基本认知,掌握Linux网络知识,对TCP/IP协议及OSI七层模型有较为清晰的概念,掌握Linux磁盘与文件系统管理技巧,知道如何安装Linux软件包,逐步掌握Shell脚本的编程技巧。
暂时未有相关云产品技术能力~
暂无个人介绍
Vagrant Box 镜像配置国内源
如果本地build的镜像需要共享的时候,就需要把镜像推送到镜像仓库,供其他人下载使用。 dockerHub就是这么一个东西。你可以将你的镜像设置为私有或者公有。
在公司你的终端一般会给你分配一个内网ip,然后经过NAT,因为不可能办公室里面的 IP 也是公网可见的,公网地址实在是太贵了,所以一般就是整个办公室共用一个到两个出口 IP 地址。
今天在玩DNS解析记录的追踪。
CentOS7安装oh-my-zsh(github start Top 10)
阿里云服务器被入侵
Linux 中如何对变量进行切分截取?获取文件的扩展名
三十六、Linux性能优化实战学习笔记-套路篇:怎么评估系统的网络性能?
说到网络,我想你肯定经常提起七层负载均衡、四层负载均衡,或者三层设备、二层设备等等。那么,这里说的二层、三层、四层、七层又都是什么意思呢?
三十一、 套路篇:磁盘 I/O 性能优化的几个思路
最容易想到的是存储空间的使用情况,包括容量、使用量以及剩余空间等。我们通常也称这些为磁盘空间的使用量,因为文件系统的数据最终还是存储在磁盘上。
二十七 | 案例篇:为什么我的磁盘I/O延迟很高?
使用率、饱和度、IOPS、吞吐量以及响应时间等。这五个指标,是衡量磁盘性能的基本指标。
进程每打开一个文件(linux下一切皆文件,包括socket) ,都会消耗一定的内存资源。如果有不怀好心的人启动一个进程来无限的创建和打开新的文件,会让服务器崩溃。所以linux系统出于安全角度的考虑,在多个位置都限制了可打开的文件描述符的数量,包括系统级、用户级、进程级。这三个限制的含义和修改方式如下:
shell实战案例- 实现文件锁(调用外部脚本)
shell实战案例-批量ping ip(多进程限制并发)
flock申请的锁对象是处于 内核空间层的全局级别的open file table中的。
Linux shell 内建命令、常见外部命令以及常见环境变量
shell中的信号捕获trap(shell 进阶)
经常写shell,那么shell如何被解析的呢?
测试区Codis集群之前废了,今天重新搭起来之后,测试程序发现很多key的数据都没了。 如果整个库迁移过来没有必要。 只需要把特定的几个key迁移过来即可。
我们知道 Docker 镜像是分层的,并且每一层镜像都会额外占用存储空间,一个 Docker 镜像层数越多,这个镜像占用的存储空间则会越多。
提到 DevOps 相信很多人并不陌生,DevOps 作为一个热门的概念,近几年被提及的频率也越来越高。有些人说它是一种方法论,有些人说它是一堆工具,有些人说它是企业的一种管理模式。那么,DevOps 究竟是什么呢?Docker 在 DevOps 中又扮演了什么角色呢?今天,我们就来详细聊聊这个话题。
随着我们的业务规模越来越大,我们的容器规模也逐渐增大时,数量庞大的容器管理将给我们带来许多挑战。Docker 官方为了解决多容器管理的问题推出了 Docker Swarm ,我们可以用它来管理规模更大的容器集群。
平时在多个服务器之间传输文件或者文件夹的时候经常用到scp。当有时候遇到某些场景时scp无法满足我们的需求,这时候就需要使用resync这个命令。
RabbitMQ现在用的也比较多,但是没有过去那么多啦。现在很多的流行或者常用技术或者思路都是从过去的思路中演变而来的。了解一些过去的技术,对有些人来说可能会产生众里寻他千百度的顿悟,加深对技术的理解,更好的应用于工作中去。
flink的TimeCharacteristic
MapReduce是分为Map阶段和Reduce阶段,其实提高执行效率就是提高这两个阶段的执行效率
针对HDFS而言,每一个小文件在namenode中都会占用150字节的内存空间,最终会导致集群中虽然储了很多个文件,但是文件的体积并不大,这样就没有意义了。
今天下午突然遇到一个问题: 报表直接进不去了,重启也没有生效。
我们生活在一个数据大爆炸的时代,数据飞快的增长,急需解决海量数据的存储和计算问题Hadoop适合海量数据 分布式存储 和 分布式计算Hadoop的作者是Doug Cutting,Hadoop这个名字是作者的孩子给他的毛绒象玩具起的名字
Flink on Yarn的两种运行方式
Topic 类型与 Direct 相比,都是可以根据 RoutingKey 把消息路由到不同的队列。只不过 Topic 类型Exchange 可以让队列在绑定 Routing key 的时候使用通配符!
Google 大数据“三驾马车”的第一驾是 GFS(Google 文件系统),而Hadoop 的第一个产品是 HDFS,可以说分布式文件存储是分布式计算的基础,也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪,那么数据就是食材,而Hadoop 分布式文件系统 HDFS 就是烧菜的那口大锅。
大数据技术和传统的软件开发技术在架构思路上有很大不同,大数据技术更为关注数据,所以相关的架构设计也围绕数据展开,如何存储、计算、传输大规模的数据是要考虑的核心要素。
从最开始的 Google 在搜索引擎中开始使用大数据技术,到现在无处不在的各种人工智能应用,伴随着大数据技术的发展,大数据应用也从曲高和寡走到了今天的遍地开花。
从我的角度而言,不管是学习某门技术,还是讨论某个事情,最好的方式一定不是一头扎到具体细节里,而是应该从时空的角度先了解它的来龙去脉,以及它为什么会演进成为现在的状态。当你深刻理解了这些前因后果之后,再去看现状,就会明朗很多,也能更直接地看到现状背后的本质。
目前,hadoop已经演变为大数据计算的代名词,形成了一套完善的大数据计算的生态系统,所以针对hadoop也出现了很多版本
Centos7 Hadoop伪分布模式安装
Web协议详解与抓包实战-HTTP协议之长链接和短连接
HTTP响应码
Chrome 抓包:快速定位 HTTP 协议问题
Web协议详解与抓包实战(1)
最近在使用jedis 操作redis,在处理一个sortedset key的返回值时遇到一个棘手的问题。
vagrant是一个构件虚拟开发环境的工具。他用于创建部署虚拟的开发环境,说白了就是使用vagrant装虚拟机,而装虚拟机的文件由运维组对开发环境做的一个镜像。
/bin/bash^M: bad interpreter: No such file or directory
spug是一款优秀的自动化运维平台, 这让我们想自动化又向前迈了一步.
使用 jd-gui.exe反编译工具,反编译时部分类无法反编译。
PS1 是shell命令行界面的主提示符。
Spring navigate to the spring bean是什么意思?