Hbase万亿级存储性能优化总结
背景
hbase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对hbase的认识经历了懵懂到熟的过程。
xgboost的原理没你想像的那么难
导读
xgboost 已然火爆机器学习圈,相信不少朋友都使用过。要想彻底掌握xgboost,就必须搞懂其内部的模型原理。这样才能将各个参数对应到模型内部,进而理解参数的含义,根据需要进行调参。本文的目的就是让大家尽可能轻松地理解其内部原理。
一句话说清分布式锁,进程锁,线程锁
在分布式集群系统的开发中,线程锁往往并不能支持全部场景的使用,必须引入新的技术方案分布式锁。
线程锁,进程锁,分布式锁
线程锁:大家都不陌生,主要用来给方法、代码块加锁。当某个方法或者代码块使用锁时,那么在同一时刻至多仅有有一个线程在执行该段代码。
ubuntu下 Zookeeper安装与集群
简介
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
CentOS 7部署Kafka和Kafka集群
CentOS 7部署Kafka和Kafka集群
注意事项
需要启动多个shell脚本交互客户端进行验证,运行中的客户端不要停止。
准备工作:
安装java并设置java环境变量,在`/etc/profile`中加入
export JAVA_HOME=/usr/java/jdk1.