@dailidong@_个人页

千万级规模高性能、高并发的网络架构经验分享

千万级规模高性能、高并发的网络架构经验分享 主 题 ：INTO100沙龙时间 ：2015年11月21日下午地点 ：梦想加联合办公空间分享人：卫向军（毕业于北京邮电大学，现任微博平台架构师，先后在微软、金山云、新浪微博从事技术研发工作，专注于系统架构设计、音视频通讯系统、分布式文件系统和数据挖掘等领域。

支付宝数据建模介绍

支付宝数据建模介绍

hive executeTask被interrupt处理

异常信息如下： java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException; Host Details : local host is: "hadoop008/192.

Linux网络进程监控工具nethogs

  Linux网络监控工具nethogs 标签： 监控工具linux 2015-12-17 22:06 448人阅读 评论(0) 收藏 举报  分类： linux（40）  版权声明：本文为博主原创文章，未经博主允许不得转载。

DataXceiver error processing unknown operation src: /127.0.0.1:36479 dst: /127.0.0.1:50010处理

异常信息如下：  2015-12-09 17:39:20,310 ERROR datanode.DataNode (DataXceiver.java:run(278)) - hadoop07:50010:DataXceiver error processingunknown operation  src: /127.

构建企业级数据仓库五步法

在上一期的专栏文章中，我们曾经提到：数据分析系统的总体架构分为四个部分 —— 源系统、数据仓库、多维数据库、客户端（图一：pic1.bmp） 其中，数据仓库（DW）起到了数据大集中的作用。

数据仓库建设步骤

数据仓库建设步骤Posted on 2015-03-04 10:18 xuzhengzhu 阅读(1164) 评论(0) 编辑 收藏 1.系统分析，确定主题 确定一下几个因素：    ·操作出现的频率，即业务部门每隔多长时间做一次查询分析。

数据仓库建模：定义事实表的粒度

数据仓库建模：定义事实表的粒度Posted on 2015-08-25 09:03 xuzhengzhu 阅读(28) 评论(0) 编辑 收藏 维度建模中一个非常重要的步骤是定义事实表的粒度。

分布式数据仓库设计

做大做强事实表，做小做弱维表； 分布式模式-维度建模新原则　　（1）以值代键：针对键值唯一的维表，除非必要，否则不引入维表，如IP地址维表，采用IP作为维表的主键，事实表中存储IP值；      （2）合理分表：传统关系型数据仓库存在多表整合的冲动，如上图Event事实表，各种Acount Ind，Finance Ind等，用来扩展表的通用性，试图把所有的数据都存储到一张表 中。

多维数据模型

一、概述 　　多维数据模型是最流行的数据仓库的数据模型，多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式，本文以实例方式展示三者的模式和区别。 二、星型模式（star schema） 　　星型模式的核心是一个大的中心表（事实表），一组小的附属表（维表）。

Kafka消息delivery可靠性保证(Message Delivery Semantics)

原文见:http://kafka.apache.org/documentation.html#semantics kafka在生产者和消费者之间的传输是如何保证的，我们可以知道有这么几种可能提供的delivery guarantee： At most once 消息可能会丢，但绝不会重复传输 At least one 消息绝不会丢，但可能会重复传输 Exactly once 每条消息肯定会被传输一次且仅传输一次，很多时候这是用户所想要的。

深度分析Java的ClassLoader机制（源码级别）

深度分析Java的ClassLoader机制（源码级别） 写在前面：Java中的所有类，必须被装载到jvm中才能运行，这个装载工作是由jvm中的类装载器完成的，类装载器所做的工作实质是把类文件从硬盘读取到内存中，JVM在加载类的时候，都是通过ClassLoader的loadClass（）方法来加载class的，loadClass使用双亲委派模式。

忘记mysq rootl密码后解决办法

如果mysql正在运行，/etc/init.d/mysqld stop 启动mysql(无需输入密码)：bin/safe_mysqld –skip-grant-tables & 在bin目录下执行mysql，此时无需输入密码即可进入 # /usr/bin/mysq...

ambari server内存溢出

抛出的异常信息如下： java.lang.OutOfMemoryError: PermGen space at java.lang.ClassLoader.defineClass1(Native Method)at java.

HDFS集中化缓存管理

概述 HDFS中的集中化缓存管理是一个明确的缓存机制，它允许用户指定要缓存的HDFS路径。NameNode会和保存着所需快数据的所有DataNode通信，并指导他们把块数据缓存在off-heap缓存中。

hive Illegal Operation state transition from CLOSED to ERROR的处理

异常堆栈如下： 2015-11-24 16:49:11,495 ERROR org.apache.hive.service.cli.operation.Operation: Error running hive query:org.

数据仓库3级范式(3NF)基础

一、引言 　　最近在整理理大数据模式下的数据仓库数据模型，资料来自互联网和读过的数据仓库理论和实践相关。 二、3NF （1）1NF-无重复的列 　　数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。

TCP之close_wait

TCP之close_wait 浏览:3697次  出处信息 /*  * @author: ahuaxuan  * @date: 2010-4-30  */  查看各状态连接数： netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 最近遇到的一个关于socket.

authentication vs authorization 验证与授权的区别

authentification验证 - 是指验证who you are(你是谁), 所以需要用到username和password进行身份验证。 authorization授权 - 是指what can you do(你可以做什么), 而且这个发生在验证通过后。

停止ambari上服务的顺序

Before performing any upgrades or uninstalling software, stop all of the Hadoop services in the following order: Ranger Knox Oozie ...

CentOS 6.4安装配置ldap

CentOS 6.5安装配置ldap 时间:2015-07-14 00:54来源:blog.51cto.com 作者:“ly36843运维” 博客 举报 点击:274次 一.

hive 动态分区(Dynamic Partition)异常处理

Changing Hive Dynamic Partition Limits Symptoms: Hive enforces limits on the number of dynamic partitions that it creates.

数据库事务隔离级别

一,事务的4个基本特征  Atomic（原子性）： 事务中包含的操作被看做一个逻辑单元，这个逻辑单元中的操作要 么全部成功，要么全部失败。 Consistency（一致性）： 只有合法的数据可以被写入数据库，否则事务应该将其回滚到最初 状态。

凯立德如何获取设备特征码、版本号、激活码?

如何获取设备特征码、版本号、激活码？方式一 第一步：打开凯立德移动导航系统，进入地图界面，点击“查找”第二步：在查找页面以“快拼”的输入方式下，输入“AAAAAA”（6个A）

CRM系统主要业务流程思维导图

【CRM五策略】           对客户进行分类，不是根据规模，而是根据和你的关系，越细腻越好；           不定期更新客户资料，信息越全面越好；           主动对客户进行关怀，拿出你的诚意和关爱；           定...

生产服务器环境最小化安装后Centos 6.5优化配置备忘

生产服务器环境最小化安装后 Centos 6.5优化配置备忘 本文 centos 6.5 优化 的项有18处,列表如下: 1、centos6.

java实现极简的LRU算法

import java.util.LinkedHashMap;import java.util.Map; /** * LRU (Least Recently Used)  */public class LRUCache extends LinkedHashMap ...

kafka.common.ConsumerRebalanceFailedException异常解决

kafka.common.ConsumerRebalanceFailedException: group_dd-1446432618163-2746a209 can't rebalance after 10 retries  at kafka.

linux 下查看网卡工作速率

[root@hadoop058 ~]# mii-tool eth0: negotiated 100baseTx-FD, link ok 100M linux 下查看网卡工作速率 Ethtool是用于查询及设置网卡参数的命令。

centos关闭ipv6

1.使用lsmod查看ipv6的模块是否被加载。 lsmod | grep ipv6 [root@dmhadoop011 ~]# lsmod | grep ipv6 ipv6                  317340  127 bonding 如果加载了，则进行如下操作： 2.

sysctl -P net.bridge.bridge-nf-call-ip6tables报错解决办法

问题症状 修改 linux 内核文件 #vi /etc/sysctl.conf后执行sysctl  -P 报错 error: "net.bridge.

hive对有特殊值null的数据倾斜处理

对有特殊值的数据倾斜处理 SET mapred.reduce.tasks=20;SET hive.map.aggr=TRUE;SET hive.groupby.skewindata=TRUE;SET hive.

hive连接数

使用hive分析日志作业很多的时候，需要修改mysql的默认连接数 修改方法   打开/etc/my.cnf文件 在[mysqld]  中添加 max_connections=1000 重启mysql服务  service mysqld restart mysql>show variables like '%max_connections%'; 查看当前mysql的连接数方法 mysqladmin -uroot -p status 其中，Uptime:mysqld运行时间，单位秒。

mysql修改表、字段、库的字符集

mysql修改表、字段、库的字符集 修改数据库字符集： ALTER DATABASE db_name DEFAULT CHARACTER SET character_name [COLLATE .

mysql 存在update不存在insert

     如果在INSERT语句末尾指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则在出现重复值的行执行UPDATE；如果不会导致唯一值列重复的问题，则插入新行。

Linux下清理内存和Cache方法

　频繁的文件访问会导致系统的Cache使用量大增 　　$ free -m 　　total used free shared buffers cached 　　Mem: 3955 3926 28 0 55 3459 　　-/+ buffers/cache...

高效工作指南

Facebook 内部分享：不论你如何富有，你都赚不到更多的时间，你也回不到过去。没有那么多的假如，只有指针滴答的时光飞逝和你应该好好把握的现在，以下25张PPT的分享将为您带来时间价值管理的技巧。

java中byte转换int时为何与0xff进行与运算

本文总结了java中byte转换int时总是与0xff进行与运算的原因。在剖析该问题前请看如下代码： public static String bytes2HexString(byte[] b) { String ret = ""; for (int i = 0; i < b.

DSP投放进阶指南

cloudera manager配置

cloudera manager的数据库配置文件位置：    /etc/cloudera-scm-server/db.properties

cloudera manager 5.3完整卸载脚本

service cloudera-scm-agent stop service cloudera-scm-agent stop umount /var/run/cloudera-scm-agent/process umount /var/run/clou...

异常message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore

NoSuchObjectException(message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore_df61080e04cd7eb36c4336f71b5a8bc4) at org.

Connection reset by peer的常见原因

 Connection reset by peer的常见原因： 1）服务器的并发连接数超过了其承载量，服务器会将其中一些连接关闭；    如果知道实际连接服务器的并发客户数没有超过服务器的承载量，看下有没有网络流量异常。

java远程调试

服务端需在vm arguments一栏下加上    -agentlib:jdwp=transport=dt_socket,server=y,address=8000 并以run模式启动 如果以debug模式启动服务端，将会报 ERROR: Can...

网站防刷方案

目录[-] 网站防刷方案 网站重复请求解决方案 Mr. Neo Chen (netkiller), 陈景峰(BG7NYT) 1. 访问网站所涉及环节 2. 浏览器款控制方案 3. CDN 与 反向代理 4. 网络设备控制方法 5. 服务器上做控制 5.1. 操作系统部分 提示 5.2. WEB 服务器部分 6. 通过程序控制访问行为 提示 7. 总结 网站防刷方案 摘要 这是讲述如何防止重复请求你的网站， 包括如，爬虫，数据采集，刷排名，批量注册，批量发帖，利用漏洞获取网站数据等等。

mapreduce出现大量task被KILLED_UNCLEAN的3个原因

Request received to kill task 'attempt_201411191723_2827635_r_000009_0' by user ------- Task has been KILLED_UNCLEAN by the user 原因如下： 1.

基于大数据的精准营销与应用场景

基于大数据的精准营销与应用场景 2015年08月11日 大数据 大数据营销时代来临营销学领域过去半个多世纪的发展让我们见证了从“以产品为中心”到“以客户为中心”的转变。

Math.abs为Integer.Min_VALUE返回错误的值

  Math.abs为Integer.Min_VALUE返回错误的值 这段代码： System.out.println(Math.abs(Integer.

使用http_load网站压力测试

http_load用以测试web服务器的吞吐量与负载。但是它不同于大多数压力测试工具， 它可以以一个单一的进程运行，一般不会把客户机搞死。它可以自定义测试的URL列表 下载：http://acme.

可伸缩系统的架构经验

可伸缩系统的架构经验 Feb 27th, 2013 | Comments 最近，阅读了Will Larson的文章Introduction to Architecting System for Scale，感觉很有价值。