dasein58_个人页
dasein58
文章
970
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2021-11-05
使用Profile抓住慢查询
在很多情况下，DBA都要对数据库的性能进行分析处理，找出降低性能的根源 而Mongo就有一种分析工具来检测并追踪影响性能的慢查询---Profile 有两种方式可以控制Profiling的开关和级别， 第一种是直接在启动参数中进行设置，如下: 如果想要全局开启Profiling，则可以在mongod启动时加上参数 mongod --profile 1 --slowms 100 # 1表示追踪级别，100表示慢查询判定时间(ms) 若是配置文件中开启的话，配置如下： operationProfiling: slowOpThresholdMs: 100 mode: s
-
发表了文章 2021-11-05
老师，你确定Java注释不会被执行吗？
之前在博客上分享过一篇文章，涉及到 Java 中的注释，就信誓旦旦地写了一句话：“注释是不会被执行的！”结果，有小伙伴留言说，“老师，你确定吗？” 我这个人一直有个优点，就是能听得进去别人的声音，管你是赞美的还是批评的，从来都是虚心接受。因为我相信，大多数小伙伴都是出于善的目的。 况且，我在技术上从来没想过要成为多牛逼的大佬，就是喜欢分享的感觉，而已。很多文章中出现的错误，我都原封不动的保留，因为如果把修正了，那么留言中那些指出错误的人，在后来的读者眼里，就会觉得不合时宜。 那些 diss 我的小伙伴们，放心，我是不会介意的。 尽管如此，但对于注释这件事，真的是不能忍啊！注释肯定不会
-
发表了文章 2021-11-05
HBase Filter 过滤器之RowFilter详解
前言：本文详细介绍了HBase RowFilter过滤器Java&Shell API的使用，并贴出了相关示例代码以供参考。RowFilter 基于行键进行过滤，在工作中涉及到需要通过HBase Rowkey进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文：HBase Filter 过滤器之比较器 Comparator 原理及源码学习 一。Java Api 头部代码 public class RowFilterDemo { private static boolean isok = false; private static String tableName
-
发表了文章 2021-11-05
大数据和人工智能工程上的一些点
大数据 大数据这个词最早出现在上世纪90年代的美国，直到2012年后才火起来。大数据没有一个明确的概念，之所以称之为大是因为数据量太大超过了单台计算机的资源，这时就需要分布式的数据处理工具，以便能在用户可容忍的时间内进行数据处理。大数据从业人员肯定会去了解谷歌的mapreduce论文和hadoop开源工具。然而海量数据本来是静态，只有通过对数据进行分析和利用才能让数据产生价值。正所谓量变产生质变。 人工智能 人工智能在1956年的达特茅斯会议上被提出来，它研究的是如何制造智能机器或模拟人类的智能行为。大数据与人工智能之间可以说是相辅相成，人工智能的基础是数据，而数据的利用又离不开人工智能。各
-
发表了文章 2021-11-05
SSL与SSH的区别
在OSI七层模型中,这两个安全传输协议其实都是建立在应用层上的 在最初的设计意图中； SSL(Secure Sockets Layer (SSL) and Transport Layer Security (TLS))被设计为加强Web安全传输(HTTP/HTTPS/)的协议(事实上还有SMTP/NNTP等) ，默认使用443端口 SSH(Secure Shell)更多的则被设计为加强Telnet/FTP安全的传输协议,默认地,它使用22端口. ssl是通讯链路的附加层。可以包含很多协议。https, ftps, ..... ssh只是加密的shell，最初是用来替代telnet的。通过p
-
发表了文章 2021-11-05
什么情况下不能使用 Java 泛型
1. 前言 Java 1.5 引入了泛型来保证类型安全，防止在运行时发生类型转换异常，让类型参数化，提高了代码的可读性和重用率。但是有些情况下泛型也是不允许使用的，今天就总结一下编码中不能使用泛型的一些场景。 2. 基本类型无法直接使用泛型 以下写法是错误的： // error Map<int,char> wrong= new HashMap<>() 复制代码 基本类型是不能够作为泛型类型的,需要使用它们对应的包装类。 // OK Map<Integer,Character> wrong= new HashMap<>() 复制代码 3. 泛型类型无法被直接实例化 泛型类型可以理解为一个
-
发表了文章 2021-11-05
如何在PostgreSQL故障切换后找回丢失的数据
作者简介 陈华军，苏宁易购云软件公司架构专家，主要负责数据库产品的相关设计工作。十年以上数据库相关工作经验。PostgreSQL中文社区核心组成员，主要负责PostgreSQL中文手册翻译项目的维护。 1. 背景 PostgreSQL的HA方案一般都基于其原生的流复制技术，支持同步复制和异步复制模式。 同步复制模式虽然可以最大程度保证数据不丢失，但通常需要至少部署三台机器，确保有两台以上的备节点。 因此很多一主一备HA集群，都是使用异步复制。 在异步复制下，主库宕机，把备节点切换为新的主节点后，可能会丢失最近更新的少量数据。 如果这些丢失的数据对业务比较重要，那么，能不能从数据库里找回来呢?
-
发表了文章 2021-11-05
PostgreSQL 数据类型
本章节，我们将讨论 PostgreSQL 的数据类型，数据类型是我们再创建表的时候为每个字段设置的。 设置数据类型的好处： PostgreSQL提 供了丰富的数据类型。用户可以使用 CREATE TYPE 命令在数据库中创建新的数据类型。PostgreSQL 的数据类型有很多种，下面我们具体来说明。 数值类型 数值类型由 2 字节、4 字节或 8 字节的整数以及 4 字节或 8 字节的浮点数和可选精度的十进制数组成。 下表列出了可用的数值类型。
-
发表了文章 2021-11-05
一些docker的技巧和秘诀
关于docker容器和镜像的关系 无论容器里做什么操作，写文件，删文件。该容器的基本镜像都不会有任何改变。这是因为Docker从父镜像建立增量镜像，只存储每个容器的更改。因此，如果你有一个300MB的父镜像，如果你在容器中安装了50MB的额外应用或服务，你的容器只有50MB，父镜像还是300MB。 但是可以使用Dockfile或commit命令来，把增量镜像和父镜像一起生成一个新的镜像。 dock top -- 显示容器中运行的进程 查看容器的root用户名和密码 docker logs <容器名orID> 2>&1 | grep '^User: ' | tail -n1 因为docker
-
发表了文章 2021-11-05
Vagrant 和 Docker的使用场景和区别?
首先，相似之处是Vagrant和Docker都是虚拟化技术。Vagrant是基于Virtualbox的虚拟机来构建你的开发环境，而Docker则是基于LXC(LXC)轻量级容器虚拟技术。全面理解这两种虚拟技术的区别，需要阅读很多文档。我这里打个简单的比方，虚拟机之于容器虚拟技术相当于进程和线程。虚拟机内可以包含很多容器，正如一个进程中可以包含很多线程。虚拟机重，容器虚拟技术轻。前者的Image一般以GB计算，Docker则以100MB为单位计算。 当然，提问者肯定更希望从应用层面来了解两者的区别。简单点讲，Vagrant就是你的开发环境的部署工具；而docker是你的运行环境部署工具。 很多
-
发表了文章 2021-11-05
下一代容器架构已出，Docker何去何处？看看这里的6问6答！！
我们今天讨论的是《下一代容器架构已出，Docker何去何处？》 其实就目前来说，下一代容器架构可以约等于≒Podman+Skopeo+Buildah 其实这半年来很多自媒体都在鼓吹新的容器架构，吹嘘将要很快的替代Docker。但是很少人讨论新的架构和老的架构的区别，以及目前迁移的可能性等等等等。。。这些都是摆在企业面前去接触新架构的大山。所以，我们今天不做具体的新容器架构实战，我们只回答以下几个问题。 Q1 什么是Linux容器以及它如何工作？ 一句话回答：就像港口的集装箱 （1）linux容器又名LXC(Linux Container)，我们要形象的理解Linux容器的话，我们可以
-
发表了文章 2021-11-05
PostgreSQL连接（JOIN）
PostgreSQL JOIN子句用于把两个或多个表的行结合起来，基于这些表之间的共同变量。 在PostgreSQL中，JOIN有五种连接类型： CROSS JOIN：交叉连接 内连接：内连接 LEFT OUTER JOIN：左外连接 右外连接：右外连接 FULL OUTER JOIN：全外连接 接下来让我们创建两张表COMPANY和DEPARTMENT。
-
发表了文章 2021-11-05
PostgreSQL TRANSACTION（事务）
TRANSACTION（事务）是数据库管理系统执行过程中的一个逻辑单位，由一个有限的数据库操作序列构成。 数据库事务通常包含了一个序列的对数据库的读/写操作。包含有以下两个目的： 为数据库操作序列提供了一个从失败中恢复到正常状态的方法，同时提供了数据库即使在异常状态下仍能保持一致性的方法。 当多个应用程序在并发访问数据库时，可以在这些应用程序之间提供一个隔离方法，以防止彼此的操作互相干扰。 当事务被提交给了数据库管理系统（DBMS），则 DBMS 需要确保该事务中的所有操作都成功完成且其结果被永久保存在数据库中，如果事务中有的操作没有成功完成，则事务中的所有操作都需要回滚，回到事务执行前的
-
发表了文章 2021-11-05
HBase 和 Hive 的差别是什么，各自适用在什么场景中？
网络上有篇deck，题目为 NoSQL and Big Data Processing - Hbase, Hive and Pig cs。kent。edu/~jin/Cloud12Spring/HbaseHivePig.pptx)，从 关系型数据库开始，到 NoSQL, 到 CAP 原理，再到 HBase 和 Hive，基本描述了整个数据存储的演进路线以及原因。 以下是我个人对这篇deck的整理，和deck的结构基本相同。虽然不能直接回答题主的问题，但相信读完这个deck之后，这个问题一定可以迎刃而解。 1. RDBMS 让数据集保持在一台单一的机器上是RDBMS提供ACID特性和丰富查询
-
发表了文章 2021-11-05
吃透了这些Redis知识点，面试官一定觉得你很厉害
是数据结构而非类型 很多文章都会说，redis支持5种常用的数据类型，这其实是存在很大的歧义。redis里存的都是二进制数据，其实就是字节数组（byte[]），这些字节数据是没有数据类型的，只有把它们按照合理的格式解码后，可以变成一个字符串，整数或对象，此时才具有数据类型。 这一点必须要记住。所以任何东西只要能转化成字节数组（byte[]）的，都可以存到redis里。管你是字符串、数字、对象、图片、声音、视频、还是文件，只要变成byte数组。 因此redis里的String指的并不是字符串，它其实表示的是一种最简单的数据结构，即一个key只能对应一个value。这里的key和value都是b
-
发表了文章 2021-11-05
Hbase作者为什么允许一张表可以有多个列簇?
HBase的设计目标是海量，高吞吐存储。数据在底层是基于LSMT那一套的实现（当然分了很多region，支持分布式）。简单来说，要维护一套memstore + 可分裂的filestore的存储，差不多就是： 新数据写入/更改先写入WAL，然后进入memstore memstore满了就进filestore filestore太大了就分裂 而这一套机制实现的单位是column family——每个column family有自己的memstore和filestore。尽管在高层上看起来是同一张表，但是表里每一个column family的存储都是相互独立的。如果和mysql比较的话，colum
-
发表了文章 2021-11-05
HBase 操作和性能配置选项
设置 hbase.regionserver.handler.count（在 hbase-site.xml）为用于并发的核心 x 轴。 可选地，将调用队列分成单独的读取和写入队列以用于区分服务。该参数 hbase.ipc.server.callqueue.handler.factor 指定调用队列的数量： 0 意味着单个共享队列。 1 意味着每个处理程序的一个队列。 一个0和1之间的值，按处理程序的数量成比例地分配队列数。例如，0.5 的值在每个处理程序之间共享一个队列。 使用 hbase.ipc.server.callqueue.read.ratio（hbase.ipc.server.call
-
发表了文章 2021-11-05
很详细Redis入门教程
这篇文章主要介绍了很详细Redis入门教程,本文详细介绍了Redis数据库各个方面的知识,需要的朋友可以参考下 【redis是什么】 redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。 redis的官网地址，非常好记，是redis.io。（特意查了一下，域名后缀io属于国家域名，是british Indian Ocean territory，即英属印度洋领地） 目前，Vmware在资助着redis项目的开发和维护。 【redis的作者何许人也】 开门见山，先看照片： 是不是出乎了你的意料，嗯，高手总会有些地方与众不同的。 这
-
发表了文章 2021-11-05
一次HBase读超时的调优
现象：因为系统实时性要求比较高，HBase超时时间设置为2秒。偶尔会出现（几个小时）出现一波超时的情况，看了监控IO、CPU等并没有出现明显大波动。不过集群是高读写的，每秒几万的请求。就开始参与协助帮忙集群的排查、调优工作。 汗，最关键的是集群都用上了SSD，这是开大的节奏。 先来看看HBase主要的几个参数： 1、major compaction（大合并操作，几天执行一次，或者手动执行。对IO影响很大，对性能影响也很大） 2、memstore：regions数量、列簇数量有影响 ，一个列簇就需要一个memstore ,会占用region server的内存。 3、负载均衡：是不是某
-
发表了文章 2021-11-05
一次HBase读超时的调优
现象：因为系统实时性要求比较高，HBase超时时间设置为2秒。偶尔会出现（几个小时）出现一波超时的情况，看了监控IO、CPU等并没有出现明显大波动。不过集群是高读写的，每秒几万的请求。就开始参与协助帮忙集群的排查、调优工作。 汗，最关键的是集群都用上了SSD，这是开大的节奏。 先来看看HBase主要的几个参数： 1、major compaction（大合并操作，几天执行一次，或者手动执行。对IO影响很大，对性能影响也很大） 2、memstore：regions数量、列簇数量有影响 ，一个列簇就需要一个memstore ,会占用region server的内存。 3、负载均衡：是不是某
-
发表了文章 2021-11-05
HBase 性能调优第一弹：内存篇
这是使用 HBase 最不可避免的一个话题，就是 HBase 的性能调优，而且通常建立在我们对 HBase 内部运行机制比较了解的基础上进行的，因此无论怎么说，调优这块都是一个相对复杂的事情。这一篇我们先来介绍与 HBase 内存最相关的调优内容。 1. 合理配置 JVM 内存 这里首先涉及 HBase 服务的堆内存设置。一般刚部署的 HBase 集群，默认配置只给 Master 和 RegionServer 分配了 1G 的内存，RegionServer 中 MemStore 默认占 0.4 即 400MB 左右的空间，而一个 MemStore 刷写阈值默认 128M，所以一个 Regi
-
发表了文章 2021-11-05
mongodb 基于oplog的时间点恢复
本文简单介绍mongodb时间点恢复的过程： 1.首先创建hezi集合，并插入10000条数据； MongoDB Enterprise liuhe_rs:PRIMARY>use liuwenhe MongoDB Enterprise liuhe_rs:PRIMARY>for ( var i = 0; i < 100000; i++) { db.hezi.insert({id: i}); } MongoDB Enterprise liuhe_rs:PRIMARY> db.hezi.count(); 100000 2.执行备份操作，使用参数 --oplog ，会在备份路径下产生oplog.b
-
发表了文章 2021-11-05
MongoDB的选举过程
MongoDB的复制集具有自动容忍部分节点宕机的功能,在复制集出现问题时时,会触发选举相关的过程,完成主从节点自动切换. 每个复制集成员都会在后台运行与复制集所有节点的心跳线程,在两种情况下会触发状态检测过程: 1).复制集成员心跳检测结果发生变化,比如某个节点挂了或者新增节点. 2).超过4s没有执行状态检测过程. 在状态检测过程大致包含以下步骤: 1).检测自身是否处于选举过程,如果是,退出本次过程. 2).维护一个主节点的备用列表,列表中所有节点都可能被选举为主节点,每个节点都会检测自身以及全局条件是否满足: a.是否看见复制集中是否有Majority在线. b.自身
-
发表了文章 2021-11-05
Redis 21问，你接得住不？
1.什么是redis? Redis 是一个基于内存的高性能key-value数据库。 2.Reids的特点 Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是已知性能最快的Key-Value DB。 Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外单个value的最大限制是1GB，不像 memcached只能保存1MB的数据，因此Redis可以用来实现
-
发表了文章 2021-11-05
《Redis 使用手册》：一网打尽
今天想要自来水式地推荐一本去年的新书《Redis 使用手册》。Redis 可算是现今内存数据库的实施标准，拥有丰富的数据结构和强大的功能，适用于各种不同的开发场景。对于泛化的大数据研发工程师来说，Redis 是职业生涯中绕不过去的一道坎。这本书由超过十年经验的 Redis 专家，擅长技术协作的黄健宏先生撰写，至少有以下几个特点，使得它非常适合大数据研发方向的新手。 内容详尽，循序渐进 全书一共分为三个部分总二十章。第一章仅用八页就介绍完安装 redis 和 redis-py 等准备工作，毫不拖泥带水混页数。第二章到第十章针对 Redis 开箱即用的数据结构从基础到复杂，从常用到专用一一列举
-
发表了文章 2021-11-05
Hive、Hbase、mysql的区别
1、Hive和HBase的区别 1）hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。 2）hive是面向行存储的数据库。 3）Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。 4）HBase为查询而生的，它通过组织起节点內所有机器的內存，提供一個超大的內存Hash表 。 5）hbase不是关系型数据库，而是一个在hdfs上开发的面向列的分布式数据库，不支持sql。 6）hbase是物理表，不是逻辑表，提供一个超大的内存hash表，搜索引擎通过它来存储索引
-
发表了文章 2021-11-05
CockroachDB之本地以及分布式查询处理
译者注：本文详细介绍了CockroachDB的两种查询处理方式：本地及分布式，其中详细描述了设计分布式引擎的目的，为了达到分布式，还存在哪些遗留问题。以下为译文。 当CockroachDB节点接收到查询SQL时，大概会发生什么事情呢： pgwire模块负责与客户端应用通信，从客户端接收查询请求。将SQL文本分析并转换为抽象语法树（Abstract Syntax Tree，简称AST）。然后进一步分析并将其转换为逻辑查询计划，该计划是关系运算符的树，如过滤器，渲染（项目），连接。 顺便说一下，逻辑计划树是由EXPLAIN语句报告的数据。 然后将逻辑计划交给负责执行查询的back-end层
-
发表了文章 2021-11-05
HBase 1.0 之后在最近两年加的一些新功能
HBase作为BigTable的开源实现（之一，但也是应用最广的），其架构应该很多人即使完全没看过HBase的代码也都很清楚，毕竟干这个的几乎没人没读过BigTable的论文。但一个系统除了最基础的架构外还需要有一些细节的优化和实用的功能，很多功能大家就不见得了解了。因此感觉有必要介绍下最近两年HBase新增的一些比较重要的功能。以0.98为基准，在此假设0.98所包含的功能是大家所了解的，毕竟0.98.0是2014年2月发布了的。 HBase 1.0.0 在2015年2月发布后，首先最直观的改变是版本号采用了semantic versioning的语义，a.b.c的版本号，a major
-
发表了文章 2021-11-04
Apache Storm与Apache Spark对比
随着实时数据的增加，对实时数据流的需求也在增长。更不用说，流技术正在引领大数据世界。使用更新的实时流媒体平台，用户选择一个平台变得很复杂。Apache Storm和Spark是该列表中最流行的两种实时技术。 让我们根据它们的功能比较Apache Storm和Spark，并帮助用户做出选择。本文的目的是Apache Storm Vs与Apache Spark无关，不是要对两者进行判断，而是要研究两者之间的异同。 什么是Apache Storm与Apache Spark？ 要了解Spark Vs Storm，让我们首先了解两者的基础！ Apache Storm Apache Storm是一个
-
发表了文章 2021-11-04
Docker的优缺点有哪些？
对比一下，同样要安装运行一个软件，用Docker和不用Docker的差异： 下载安装： Docker：pull一个image下来就可以了。 包管理：用发行版自带命令，直接apt-get或者yum install。但很多时候，需要同时下载安装依赖的库，不过发行版的包管理系统通常会帮你搞定——前提是不要跟你现在的包发生冲突，否则有你搞的。 源码编译：发行版仓库里面的有可能版本有点老，你需要用最新版的功能。怎么办？去官网/Github下载源码，编译安装——等等，不要说的那么轻巧，你有对应的编译环境么？没有的话要先安装配置好编译环境。你知道用什么命令什么参数编译么？你装好编译依赖的底层库了么？
-
发表了文章 2021-11-04
一次HBase读超时的调优
现象：因为系统实时性要求比较高，HBase超时时间设置为2秒。偶尔会出现（几个小时）出现一波超时的情况，看了监控IO、CPU等并没有出现明显大波动。不过集群是高读写的，每秒几万的请求。就开始参与协助帮忙集群的排查、调优工作。 汗，最关键的是集群都用上了SSD，这是开大的节奏。 先来看看HBase主要的几个参数： 1、major compaction（大合并操作，几天执行一次，或者手动执行。对IO影响很大，对性能影响也很大） 2、memstore：regions数量、列簇数量有影响 ，一个列簇就需要一个memstore ,会占用region server的内存。 3、负载均衡：是不是某
-
发表了文章 2021-11-04
Linux下3种常用的网络测速工具
不管你用的是什么操作系统，网速都是你非常关心的一个性能指标，毕竟，谁都不想看个视频结果网速卡到你怀疑人生。本文介绍三个 Linux 命令行下的网络测速工具，让你随时随地知道你的网络状况。 fast fast 是 Netflix 提供的一项服务，它不仅可以通过命令行来使用，而且可以直接在 Web 端使用：fast.com。 我们可以通过以下命令来安装这个工具： $ npm install --global fast-cli 不管是网页端还是命令行，它都提供了最基本的网络下载测速。命令行下最简单的使用方法如下： $ fast 93 Mbps ↓ 从以上结果可以看出，直接使用 fa
-
发表了文章 2021-11-04
优秀的程序员真的不写注释吗？
我在很多地方看到这样一个观点，“请停止写注释，因为只有烂的代码才需要注释。”这个观点非常巧妙，它让我想起了孟子的一句话，“杨氏为我，是无君也；墨氏兼爱，是无父也。无父无君，是禽兽也。” 动不动就骂别人是“禽兽”，我总觉得有点不妥，这很不符合孟子的浩然之气啊。有些大牛也有孟子这样的觉悟，如果有人要他给自己的代码加上注释，就好像是对他的一种侮辱：“我的代码写得这么优雅，你难道看不懂吗？注释是多余的！” 我必须得承认，每个程序员都应该有一颗追求“优雅”的心，力争自己的代码更易阅读和理解——不只是针对机器，还有我们程序员同行。但不是每个程序员在一开始都能写出“高标准”的代码的，就好像不是所有君王
-
发表了文章 2021-11-04
五分钟零基础介绍 spark
相信大家都听说过火的不能再火、炒得不能再炒的新一代大数据处理框架 Spark. 那么 Spark 是何方神圣？为何大有取代 Hadoop 的势头？Spark 内部又是如何工作的呢？我们会用几篇文章为大家一一介绍。 Hadoop：我不想知道我是怎么来的，我就想知道我是怎么没的？ 还是从 Hadoop 处理海量数据的架构说起，一个 Hadoop job 通常都是这样的： 从 HDFS 读取输入数据； 在 Map 阶段使用用户定义的 mapper function, 然后把结果写入磁盘； 在 Reduce 阶段，从各个处于 Map 阶段的机器中读取 Map 计算的中间结果，使用用户定义的 r
-
发表了文章 2021-11-04
与 hadoop 对比，如何看待 spark 技术？
我先说我个人的结论。 我的结论必须基于2017年9月初这个时间节点。因为未来，是存在一切可能的变数的。 1.Hive 在短期2-3年内，仍然无法被取代。大部分中大型互联网公司的sql类大数据分析job，70%以上都仍旧会跑在hive上。 2.presto ／ impala / sparksql / hive on tez . 我认为presto目前是最有可能胜出的一个。 3.spark 的地位有些尴尬。在大热之后，我不太看好他的未来。 我当然会慢慢来说我为什么会下这些结论。 首先，我在说几个我在工作当中看到的事实： 1.spark在小数据集的优势明显。 spark更容易编写类
-
发表了文章 2021-11-04
spark面试必须掌握的知识点概览
最近很多球友都说在准备面试，不知道准备点啥，尤其是spark，实际上星球里浪尖分享的内容真的都掌握了，应对一般面试绝对没问题，但是遗憾的事情是很多人都是处于不会主动搜集资料，主动梳理知识，主动记忆整理知识，而是伸手要粮的境地。浪尖觉得这个是阻止你成长的罪魁祸手。前天跟朋友聚餐就说道这种情况，不努力，不加班给自己喂粮的，没有足够量和时间积累的人很难在一个领域里有所建树。 主动学习，保持激情，不断提高～ 言归正传，大部分面试者被面试的spark问题估计都会集中于spark core，spark streaming和spark sql，至于mllib和graphx这些估计都是了解项，当然也要逐步
-
发表了文章 2021-11-04
生产环境使用HBase，你必须知道的最佳实践
前面，我们已经打下了很多关于HBase的理论基础，今天，我们主要聊聊在实际开发使用HBase中，需要关注的一些最佳实践经验。 1.Schema设计七大原则 1）每个region的大小应该控制在10G到50G之间； 2）一个表最好保持在 50到100个 region的规模； 3）每个cell最大不应该超过10MB，如果超过，应该有些考虑业务拆分，如果实在无法拆分，那就只能使用mob； 4）跟传统的关系型数据库不同，一个HBase的表中列族最多不超过3个，列族中的列可以动态添加的，不要设计过多列族； 5）列族名必须尽量短，因为我们知道在存储的时候，每个keyvalue都会包含列族名；
-
发表了文章 2021-11-04
传统容器已死，安全容器将成为云原生标配
云原生是一座由精妙理论所构筑的摩天大厦，但其中的砖石还需加固。 当云原生将容器技术作为下一代云计算的基础之一时，并不意味着容器本身停止了演化。事实上，以Docker为代表的传统容器在遇到多租户场景时，它的安全问题立刻暴露了出来，这时，人们才怀念起虚拟化的好处。于是，采用虚拟化技术的“安全容器”这一概念应运而生，而开启这一变革的，正是Kata Containers，前不久，它刚刚度过两周年。 新的Kata Containers为我们带来虚拟机的安全性和隔离性、与容器兼容的API接口，同时还有与容器同一级别的性能，这意味着采用安全容器的时机已经成熟。 与此相对的是，上个月，Docker的企业
-
发表了文章 2021-11-04
云原生基础架构最佳状态，就是没有基础架构
本篇我们讨论云原生基础架构，它是通向云原生时代的基石。 对于很多架构师来说，上云之后，架构为什么成为了云原生架构而不是传统的架构，两者有何区别？云原生基础架构是如何演进的？本文进行全面梳理。 什么不是云原生基础架构？ 云原生被谈的很多了，导致概念很乱。有人把云原生基础架构和公有云、容器、容器编排系统等划等号，之所以出现这种情况，原因是云原生架构并没有一个统一的概念。 为了更好的理解云原生系统，这里先做一些排除。 首先，云原生并不等于公有云。云原生基础架构不仅仅是在公有云上运行基础架构，这是因为仅仅从云服务商那里租用服务器时长，并不会使你的基础架构云原生化，管理IaaS和运行物理数据中心
-
发表了文章 2021-11-04
云原生平台：市场现状分析
对于期望获得云原生能力的企业，在IaaS提供的云计算弹性与开发云原生应用之间，还有一个很大的空白地带：如何用云计算为软件交付的过程服务。Docker和Kubernetes等工具提供了容器化和容器编排的能力，但是企业需要解决“为了承载我（期望）的开发流程，我需要怎样的容器和编排”的问题。这就给云原生平台（Cloud Native Platforms）创造了市场空间。 总体介绍 为分布式云应用提供支撑的平台从2015年开始受到广泛的关注，围绕着Docker、容器编排等技术，开始出现各种商业模式。云原生平台可以视为下一代中间件，其用途是交付企业级分布式应用所需的各种支撑能力。以容器和容器编排为基础
-
发表了文章 2021-11-04
为什么云原生应用程序是未来
现在，每个人都在谈论如今在云原生态环境中构建的应用程序。什么是云原生的，为什么它如此重要？ 在深入挖掘之前，可以先看看一个有趣的陈述。据调研机构IDC称，到2022年，90％的新应用都将采用微服务架构，提高设计、调试、更新和利用第三方代码的能力；所有生产应用程序的35％将是云原生的。 显然，未来属于云原生应用程序。现在看一下云原生的定义。 云原生（或基于云计算）应用程序是在云中创建的应用程序，它是作为打包在容器中的微服务构建的。
-
发表了文章 2021-11-04
Docker安装与基本操作
0x01 核心概念 Docker镜像类似于虚拟机镜像，可以理解为一个面向Docker引擎的只读模板，包含了文件系统。镜像是创建Docker容器的基础。 Docker容器类似于一个轻量级的沙箱，Docker利用容器来运行和隔离应用。容器是从镜像创建的应用运行实例，可以将其启动、停止、删除，而这些容器都是相互隔离、互不可见的。 镜像自身是只读的。容器从镜像启动的时候，Docker会在镜像的最上层创建一个可写层，镜像本身将保持不变。 Docker仓库类似于代码仓库，是Docker集中存放镜像文件的场所。Docker仓库分为公开仓库和私有仓库。 注册服务器（Registry）是存放仓库的地方，其
-
发表了文章 2021-11-04
你一定要知道的--MongoDB：基础知识
通过优锐课架构学习分享中，研究什么是MongoDB，什么是NoSQL数据库，以及对现有数据库管理系统的介绍。码了很多实用的笔记，分享 大家参考学习。 1. 目的 在本文中，我们将研究什么是MongoDB，什么是NoSQL数据库，以及对现有数据库管理系统的介绍。 此外，我们将讨论MongoDB功能-为什么使用MongoDB以及MongoDB历史记录。 此外，我们还将通过一些示例查看MongoDB应用程序和MongoDB安装。 2.什么是NoSQL数据库？ 在开始之前，我们必须了解NoSQL。 NoSQL或“ Not Only SQL”是非结构化数据库。 它提供了一种使用字段存储和检索数据的功能
-
发表了文章 2021-11-04
MongoDB Go Driver使用帮助文档
正式的MongoDB Go Driver近来变成1.0的GA版本。它现在被认为是一个完整的特性， 并且准备好在正式产品中使用。这篇使用说明书将帮助你开始使用 MongoDB Go Driver。你将会创建一个简单的程序并且学到如何： 安装MongoDB Go Driver 使用Go Driver来连接MongoDB 在Go内使用BSON对象 给MongoDB发送CRUD操作 你可以在github代码仓库看到这篇帮助文档的完整代码。为了可以按步骤进行， 你需要一个MongoDB数据库来连接， 你可以使用一个运行在本地的MongoDB数据库， 或者很容易地使用MongoDB Atlas来创建一个
-
发表了文章 2021-11-04
Spark之BloomFilter有趣的bitwise运算
最近好奇的研究了下Spark的BloomFilter的实现，发现其org/apache/spark/util/sketch/BitArray.java对bit处理的实现很巧妙（源码可能是从其他开源项目借鉴的也不好说），从中学到不少东西，记录下。 BitArray巧妙的核心设计 BitArray内部采用long[] data来表示一个大的bitmap，long类型相比int在相同的数组个数下可以存放更多的bit信息。 比较有意思的是set方法的实现，核心代码如下： // 将指定index位置的bit位设置为1，表示指定的index处有值 void set(long index) { d
-
发表了文章 2021-11-04
记一次HDFS报EOFException异常的问题
现象 大晚上的收到线上DataNode挂掉异常的报警，值班同学随即做了重启处理，重启完成后，进程虽然在运行，但是NameNode的WebUI上显示大量的block丢失。 There are 12622047 missing blocks. Number of Under-Replicated Blocks 14436901 重新启动的DataNode节点block数量为0，明显不正常 HDFS在对丢失的block做恢复，missing blocks的数量在减少，但是丢失的的太多了，恢复速度很慢，这种情况肯定不能指望集群自动恢复的。
-
发表了文章 2021-11-04
《Redis 使用手册》：一网打尽
今天想要自来水式地推荐一本去年的新书《Redis 使用手册》。Redis 可算是现今内存数据库的实施标准，拥有丰富的数据结构和强大的功能，适用于各种不同的开发场景。对于泛化的大数据研发工程师来说，Redis 是职业生涯中绕不过去的一道坎。这本书由超过十年经验的 Redis 专家，擅长技术协作的黄健宏先生撰写，至少有以下几个特点，使得它非常适合大数据研发方向的新手。 内容详尽，循序渐进 全书一共分为三个部分总二十章。第一章仅用八页就介绍完安装 redis 和 redis-py 等准备工作，毫不拖泥带水混页数。第二章到第十章针对 Redis 开箱即用的数据结构从基础到复杂，从常用到专用一一列举
-
发表了文章 2021-11-04
用Redis快速实现BloomFilter！
背景 最近工作上有个类似需求是： 现有约3亿条数据词典存在于一个csv文件A中，作为数据源。对于 用户输入的任意单词M，需要快速的在A中匹配M单词是否存在。（A文件约3G大小左右，总行数三亿） 拿到这个需求，你的第一想法怎么做呢？ 正常思路可能是： 将csv文件A导入某关系型数据库。 sql查询按M匹配。 上面的方式有个明显的缺点是：慢！
-
发表了文章 2021-11-04
从面试官的角度谈谈大数据面试
作为一只老鸟，我的面试经验还算丰富，无论是作为面试者还是面试官。其实这篇对于面试者来说也是有意义的，毕竟知己知彼，百战不殆，知道对方会从哪些方面问问题，从哪些方面考核，才能更好地提前做好准备。 首先，我觉得面试官有责任保证面试过程是一次高效的交流。你要获取到你需要的信息，对面试者做全方位的考量；面试者也要获取到他需要的信息，面试官（若面试成功很大可能是自己的上级）的水平，公司技术要求水平，自己是否适合这家公司，公司是否需要自己。面试是一个双向选择的过程，面试官在选人，面试者在选公司。而面试者了解这家公司最直接的途径就是通过面试官。
-
发表了文章 2021-11-04
Redis 21问，你接得住不？
1.什么是redis? Redis 是一个基于内存的高性能key-value数据库。 2.Reids的特点 Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是已知性能最快的Key-Value DB。 Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外单个value的最大限制是1GB，不像 memcached只能保存1MB的数据，因此Redis可以用来实
暂无更多信息
-
发表了文章
2025-05-24
深入浅出React中的refs
-
发表了文章
2025-05-24
日志与追踪的完美融合：OpenTelemetry MDC 实践指南
-
发表了文章
2025-05-23
使用 Uber automaxprocs 正确设置 Go 程序线程数
-
发表了文章
2025-05-22
【微前端】singleSpa&importHTMLEntry（流程图）源码解析
-
发表了文章
2025-05-22
一行代码搞定禁用 web 开发者工具
-
发表了文章
2025-05-20
TP6操作pgSQL13报错解决方案
-
发表了文章
2025-05-20
Go 1.24 相比 Go 1.23 有哪些值得注意的改动？
-
发表了文章
2025-05-20
一文搞懂 GPU 共享方案： NVIDIA Time Slicing
-
发表了文章
2025-05-20
借助大模型提升甲方安全黑白灰运营效率实践
-
发表了文章
2025-05-20
封装 uniapp 请求库的最佳实践
-
发表了文章
2025-05-18
Vue 2 与 Vue 3 的区别：深度对比与迁移指南
-
发表了文章
2025-05-18
three.js简单实现一个3D三角函数学习理解
-
发表了文章
2025-05-18
如何提高爬虫的抓取效率
-
发表了文章
2025-05-18
CentOS系统安装phpStudy的详细步骤和注意事项
-
发表了文章
2025-05-18
mysql数据引擎有哪些
-
发表了文章
2025-05-17
C语言与操作系统交互探秘
-
发表了文章
2025-05-17
Nuxt 3环境变量读取问题解决方案
-
发表了文章
2025-05-17
从多维度解构 Lead Time：定义、应用与优化策略
-
发表了文章
2025-05-17
mysql数据备份方式，如何恢复？你们的备份策略是什么？
-
发表了文章
2025-05-17
Vue与TypeScript：如何实现更强大的前端开发
滑动查看更多
暂无更多信息
暂无更多信息