@dailidong@
@dailidong@_个人页
@dailidong@
文章
372
问答
0
视频
0
个人介绍
专注架构 外功修行,内功修神 CSDN博客：http://blog.csdn.net/odalidong
擅长的技术
- Java
- 数据库
-
发表了文章 2014-12-07
Hbase万亿级存储性能优化总结
背景 hbase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对hbase的认识经历了懵懂到熟的过程。
-
发表了文章 2014-03-20
TCP洪水攻击（SYN Flood）的诊断和处理
TCP洪水攻击（SYN Flood）的诊断和处理 Posted by 海涛 on 2013 年 7 月 11 日 Tweet1 1. SYN Flood介绍 前段时间网站被攻击多次，其中最猛烈的就是TCP洪水攻击，即SYN Flood。
-
发表了文章 2014-03-20
使用tcpdump监控网络消息发送
tcpdump是一个用于截取网络分组，并输出分组内容的工具，简单说就是数据包抓包工具。tcpdump凭借强大的功能和灵活的截取策略，使其成为Linux系统下用于网络分析和问题排查的首选工具。
-
发表了文章 2014-02-12
Maatkit--Mysql的高级管理工具
Maatkit是不错的mysql管理工具，已经成为Percona的一部分。包含以下主要工具： 1、mk-table-checksum 检查主从表是否一致的有效工具 2、mk-table-sync 有效保证表一致的工具，不必重载从表而能够保证一致。
-
发表了文章 2014-02-10
Apache Flume - File通道设计
原文链接：https://blogs.apache.org/flume/entry/apache_flume_filechannel 说明：翻译在尽量符合原文表达的基础上，尽量保证行文流畅。
-
发表了文章 2014-02-10
HBase工具之监控Region的可用和读写延时状况
1、介绍HBase集群上region数目由于业务驱动而越来越多，由于服务器本身，网络以及hbase内部的一些不确定性bug等因素使得这些region可能面临着不可用或响应延时情况。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
HBase在保证高性能的同时，为用户提供了便于理解的一致性数据模型MVCC (Multiversion Concurrency Control)，即多版本并发控制技术，把数据库的行锁与行的多个版本结合起来，从而去提高数据库系统的并发性能。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
region分裂有2种触发情景：1是用户手动触发(参见HRegionServer的splitRegion方法)，2是后台flush线程flush完一个region的memstore时，会去检查这个region是否需要分裂(参见MemStoreFlushe的flushRegion方法)。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
zookeeper提供顺序一致性、原子性、统一视图、可靠性保证服务zookeeper使用的是zab(atomic broadcast protocol)协议而非paxos协议zookeeper能处理并发地处理多个客户端的写...
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
背景 hbase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对hbase的认识经历了懵懂到熟的过程。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
原文链接：https://blogs.apache.org/flume/entry/apache_flume_filechannel 说明：翻译在尽量符合原文表达的基础上，尽量保证行文流畅。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
一般来说，Linux的虚拟内存会根据系统负载自动调整。内存页（page）swap到磁盘会显著的影响Kafka的性能，并且Kafka重度使用page cache，如果VM系统swap到磁盘，那说明没有足够的内存来分配page cache。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
一个测试环境hadoop集群由于磁盘满导致宕机，启动后发现journalnode报如下异常： 2018-03-19 20:48:04,817 WARN namenode.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
解决方式如下： 1）删除虚拟机配置文件下面的.lck文件 2）删除类型为快照的.vmsn/.vmsd文件 然后重启虚拟机即可
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
1、linalg=linear（线性）+algebra（代数），norm则表示范数。 2、函数参数 [python] view plain copy x_norm=np.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
经常做数据处理的伙伴们肯定会有这样一种体会：最近一周内的数据会被经常使用到，而比如最近几周的数据使用率会有下降，每周仅仅被访问几次；在比如3月以前的数据使用率会大幅下滑，存储的数据可能一个月才被访问几次。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
1、使用nvidia-smi pmon 查看linux系统的gpu情况，如下： 显然是2张显卡，如何让它们都工作呢 2、keras提供了keras.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
我们知道intel的cpu拥有超线程技术，可以为一个逻辑核心开启两个处理线程。通过查看物理CPU数，每个CPU的逻辑核数，CPU线程数可以得知是否开启了超线程。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
Hive性能优化（全面） 2018-02-02 Hadoop大数据应用 1.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
输入python，进入python命令行 import tensorflow as tf tf.__version__ 查询tensorflow安装路径为: tf.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
在spark on yarn运行中，有时会发现spark程序运行完毕后，spark的运行界面没有信息，或者找不到相关的运行信息了，经仔细查看NodeManager UI,出现如下信息：Log Aggregation Sta...
-
发表了文章 2019-06-01
<span style="font-weight:normal;">其他请<a href="http://blog.csdn.net/odailidong/article/details/72943877">参考： App统计指标定义</a></span>
（一）流量统计 1. 独立用户数：在当前计算周期内，访问统计对象的不重复用户数。万瑞数据系统通过对用户所使用的浏览器赋予唯一标识来识别用户的身份。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
最近在使用Spark Streaming过程中，对foreachRDD有点疑问，查阅资料后记录如下： foreachRDD(func)的官方解释为 The most generic output operator ...
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
大数据元数据和数据管理框架 Apache Atlas实践 今天技术小伙伴占卫同学分享了Apache Atlas元数据管理实践，被atlas的强大的血缘关系管理能力震撼，以下为本次分享内容： •Apache Atlas...
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
为何要建数据仓库 数据仓库整体架构 数据仓库—分层 数据仓库—STG层 数据仓库—ODS层 数据仓库—DWD层 数据仓库—DWS层 ...
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
大赛简介 目前互联网领域有很多公司都在做APP领域的“用户行为分析”产品，与Web时代的行为分析相类似，其目的都是帮助公司的运营、产品等部门更好地优化自家产品，比如查看日活和月活，查看渠道来源，提高留存、转化、活跃度等等。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
大赛简介 目前互联网领域有很多公司都在做APP领域的“用户行为分析”产品，与Web时代的行为分析相类似，其目的都是帮助公司的运营、产品等部门更好地优化自家产品，比如查看日活和月活，查看渠道来源，提高留存、转化、活跃度等等。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式) 首先将要导入的数据文件top5000W.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
两步完成 vi /etc/sysctl.conf net.ipv6.conf.all.disable_ipv6=1sysctl -p /etc/sysctl.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
度量（指标） 定义 活跃用户 指启动应用的用户（去重，即1台设备打开多次会被计为1个活跃用户）。 是衡量一个应用运营情况最基础的一个指标，用以表示用户规模。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
今天在腾讯云上搭的开发环境里的一台机器cpu load飚升老高，然后还能登陆上去，top后发现两个可疑进程、/root/目录下有修改过的文件、/opt目录被干掉了， 后经分析，这台机器上有redis外网服务，/root目录下还有个READ_ME.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
摘自网络
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
Proxy式架构和客户端式架构的优劣 Proxy式架构 客户端式架构 优点 1， 集中式管理监控和升级维护方便 2， 解决连接数问题 1.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
volatile关键字经常在并发编程中使用，其特性是保证可见性以及有序性，但是关于volatile的使用仍然要小心，这需要明白volatile关键字的特性及实现的原理，这也是本篇文章的主要内容 一、Java内存模型 想要理解volatile为什么能确保可见性，就要先理解Java中的内存模型是什么样的。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
生产环境（cdh5.5.1）遇到一个问题：已经设置 dfs.datanode.du.reserved预留空间为20G，但是磁盘仍然被写满了。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
今天发现一个线上kafka(版本为0.8.2.2)多天前已不再消费的topic标记为删除(marked for deletion)，而我们每天有定时删除topic的shell脚本，会把无用的topic干掉，但发现这些topic只是被标记为删除，而并没有真正删除，其server.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
打算对新建的hadoop集群使用管理工具，列了以下主要的不同点： 主要的不同点 apache Ambari ClouderaManager Express(免费版) 配置版本控制和历史记录 支...
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
今天在网上找了很久，终于找到1个snappy压缩命令行，记录下来： 1.wget https://bootstrap.pypa.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
1、Client 向 YARN 提交应用程序，其中包括 ApplicationMaster 程序及启动 ApplicationMaster 命令2、ResourceManager 为该 ApplicationMaster ...
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
修改的ranger ui的admin用户登录密码时，需要在ranger的配置里把admin_password改成一样的，否则hdfs的namenode在使用admin时启动不起来,异常如下: Traceback (mos...
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
Caffe Torch Theano TensorFlow Language C++, Python Lua Python Python Pretrained Yes ++ Yes ++ Ye...
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
1.样本要随机化，防止大数据淹没小数据 2.样本要做归一化。关于归一化的好处请参考：为何需要归一化处理3.激活函数要视样本输入选择(多层神经网络一般使用relu)4.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
为什么要对数据进行归一化？ 归一化后加快了梯度下降求最优解的速度；2）归一化有可能提高精度。下面我简单扩展解释下这两点。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
Artificial Intelligence，也就是人工智能。TensorFlow是Google在2015年底开源的项目 TensorFlow的论文地址：http://download.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
举例：GDP指标的组成
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
1.工具或者服务化平台。Hadoop基础套件的，像亚马逊云等 2.数据统计分析。这一类主要是BI,既有企业自有产品,也有第三方产品 3.数据交易。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
由于想在项目中使用类似yarn的事件处理机制，就看了实现。主要是由Dispatcher.java，EventHandler.java，Service.java这3个类撑起来的。
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
@echo off echo 正在清除系统垃圾文件，请稍等...... del /f /s /q %systemdrive%\*.
-
发表了文章 2019-06-01
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384)，指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.
暂无更多信息
-
发表了文章
2019-06-13
分布式工作流任务调度系统EasyScheduler自定义任务插件开发
-
发表了文章
2019-06-13
开源分布式工作流任务调度系统EasyScheduler使用详解
-
发表了文章
2019-05-28
分布式工作流任务调度系统--Easy Scheduler 1.0.3 发布
-
发表了文章
2019-03-30
分布式工作流任务调度系统Easy Scheduler正式开源
-
发表了文章
2019-01-04
大数据分析的下一代架构--IOTA架构设计实践
-
发表了文章
2018-06-03
HBase之Rowkey设计总结及方舟实战篇
-
发表了文章
2018-05-26
以获客为目标 ，如何从0到1实现用户增长？
-
发表了文章
2018-05-22
那些100%被浪费的运营预算，其实本可以避免
-
发表了文章
2018-05-22
用户召回推送消息到达率低？用这4问推出最优解
-
发表了文章
2018-05-16
下一代大数据即时分析架构--IOTA架构
-
发表了文章
2018-04-22
大数据分析的下一代架构--IOTA
-
发表了文章
2018-04-22
mac下ll命令使用
-
发表了文章
2018-04-18
工作要做对，更要做到位
-
发表了文章
2018-03-31
class kafka.common.NotLeaderForPartitionException(kafka.server.ReplicaFetcherThread)异常处理
-
发表了文章
2018-03-27
Hive实现分组排序或者分页
-
发表了文章
2018-03-23
五种开源协议的比较(BSD，Apache，GPL，LGPL，MIT)
-
发表了文章
2018-03-22
永久关闭linux swap
-
发表了文章
2018-03-20
journalnode Can't scan a pre-transactional edit log异常处理
-
发表了文章
2018-03-19
该虚拟机的某个磁盘已经由虚拟机或者快照使用 问题解决
-
发表了文章
2018-03-19
np.linalg.norm(求范数)
滑动查看更多
暂无更多信息
暂无更多信息