能力说明:
掌握Linux文件管理方式和技巧,对用户和组管理有基本认知,掌握Linux网络知识,对TCP/IP协议及OSI七层模型有较为清晰的概念,掌握Linux磁盘与文件系统管理技巧,知道如何安装Linux软件包,逐步掌握Shell脚本的编程技巧。
暂时未有相关云产品技术能力~
暂无个人介绍
Linux shell 内建命令、常见外部命令以及常见环境变量
shell中的信号捕获trap(shell 进阶)
shell中需要掌握的几个信号(shell 进阶)
shell的作用域?(shell 进阶)
经常写shell,那么shell如何被解析的呢?
高级重定向的示例(shell 进阶)
自2006年8月9日,Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会(SESSanJose2006)首次提出“云计算”(Cloud Computing)的概念之后,云计算的发展可以用日新月异这个词来形容。那么究竟什么才是Serverless呢?
测试区Codis集群之前废了,今天重新搭起来之后,测试程序发现很多key的数据都没了。 如果整个库迁移过来没有必要。 只需要把特定的几个key迁移过来即可。
我们知道 Docker 镜像是分层的,并且每一层镜像都会额外占用存储空间,一个 Docker 镜像层数越多,这个镜像占用的存储空间则会越多。
Docker 虽然在容器领域有着不可撼动的地位,然而在容器的编排领域,却有着另外一个事实标准,那就是 Kubernetes。本课时,我就带你一起来认识下 Kubernetes。
提到 DevOps 相信很多人并不陌生,DevOps 作为一个热门的概念,近几年被提及的频率也越来越高。有些人说它是一种方法论,有些人说它是一堆工具,有些人说它是企业的一种管理模式。那么,DevOps 究竟是什么呢?Docker 在 DevOps 中又扮演了什么角色呢?今天,我们就来详细聊聊这个话题。
随着我们的业务规模越来越大,我们的容器规模也逐渐增大时,数量庞大的容器管理将给我们带来许多挑战。Docker 官方为了解决多容器管理的问题推出了 Docker Swarm ,我们可以用它来管理规模更大的容器集群。
最近在学习Flink ,在看到Flink的重启策略机制时感觉这个设计很好。
Flink 对内存区域的划分
推荐一个pg 参数设定调优的网站
Java8里面Predicate<T>是一个函数式接口,它接受一个参数返回一个boolean类型,通常在集合对象的筛选器中使用。
java8的函数式编程中中提供了Optional 类型, 旨在帮助用户规避NEP, 如果stram中的值都为0
平时在多个服务器之间传输文件或者文件夹的时候经常用到scp。当有时候遇到某些场景时scp无法满足我们的需求,这时候就需要使用resync这个命令。
RabbitMQ现在用的也比较多,但是没有过去那么多啦。现在很多的流行或者常用技术或者思路都是从过去的思路中演变而来的。了解一些过去的技术,对有些人来说可能会产生众里寻他千百度的顿悟,加深对技术的理解,更好的应用于工作中去。
flink的TimeCharacteristic
数据库发生异常,集群的一个节点发生异常。和数据库相关的系统均发生了不同程度的异常,从这次异常发生发现了一些系统设计存在的问题
什么是flume?
MapReduce是分为Map阶段和Reduce阶段,其实提高执行效率就是提高这两个阶段的执行效率
针对HDFS而言,每一个小文件在namenode中都会占用150字节的内存空间,最终会导致集群中虽然储了很多个文件,但是文件的体积并不大,这样就没有意义了。
shuffer是一个网络拷贝的过程,是指通过网络把数据从map端拷贝到reduce端的过程.
今天下午突然遇到一个问题: 报表直接进不去了,重启也没有生效。
MapReduce系统学习
我们生活在一个数据大爆炸的时代,数据飞快的增长,急需解决海量数据的存储和计算问题Hadoop适合海量数据 分布式存储 和 分布式计算Hadoop的作者是Doug Cutting,Hadoop这个名字是作者的孩子给他的毛绒象玩具起的名字
Flink on Yarn的两种运行方式
Topic 类型与 Direct 相比,都是可以根据 RoutingKey 把消息路由到不同的队列。只不过 Topic 类型Exchange 可以让队列在绑定 Routing key 的时候使用通配符!
Google 大数据“三驾马车”的第一驾是 GFS(Google 文件系统),而Hadoop 的第一个产品是 HDFS,可以说分布式文件存储是分布式计算的基础,也可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪,那么数据就是食材,而Hadoop 分布式文件系统 HDFS 就是烧菜的那口大锅。
大数据技术主要是要解决大规模数据的计算处理问题,
大数据技术和传统的软件开发技术在架构思路上有很大不同,大数据技术更为关注数据,所以相关的架构设计也围绕数据展开,如何存储、计算、传输大规模的数据是要考虑的核心要素。
从最开始的 Google 在搜索引擎中开始使用大数据技术,到现在无处不在的各种人工智能应用,伴随着大数据技术的发展,大数据应用也从曲高和寡走到了今天的遍地开花。
从我的角度而言,不管是学习某门技术,还是讨论某个事情,最好的方式一定不是一头扎到具体细节里,而是应该从时空的角度先了解它的来龙去脉,以及它为什么会演进成为现在的状态。当你深刻理解了这些前因后果之后,再去看现状,就会明朗很多,也能更直接地看到现状背后的本质。
目前,hadoop已经演变为大数据计算的代名词,形成了一套完善的大数据计算的生态系统,所以针对hadoop也出现了很多版本
Centos7 Hadoop伪分布模式安装
在阅读一部分大牛写的脚本,开头总会有一些set
Linux date对时间戳的转换
Web协议详解与抓包实战-HTTP协议之长链接和短连接
HTTP响应码
HTTP 请求行
Chrome 抓包:快速定位 HTTP 协议问题
Web协议详解与抓包实战(2)-wireshark中理解网络协议的分层
Web协议详解与抓包实战(1)
最近在使用jedis 操作redis,在处理一个sortedset key的返回值时遇到一个棘手的问题。
在Pingdom输入 URL 地址,即可测试页面加载速度,分析并找出性能瓶颈。帮助用户找出影响网站速度的原因,并给出改善网页性能的可行性方案,很适合做网站的用户。
输入一个字符串 和 一个pattern. 返回结果是否匹配上
vagrant是一个构件虚拟开发环境的工具。他用于创建部署虚拟的开发环境,说白了就是使用vagrant装虚拟机,而装虚拟机的文件由运维组对开发环境做的一个镜像。
/bin/bash^M: bad interpreter: No such file or directory