阿尔法胖哥
阿尔法胖哥_个人页
阿尔法胖哥
文章
164
问答
0
视频
0
个人介绍
资深数据产品专家，人工智能探索者。
擅长的技术
-
发表了文章 2015-04-27
数据仓库专题（6）-数据仓库、主题域、主题概念与定义
一、数据仓库 关于数据仓库概念的标准定义业内认可度比较高的，是由数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出： 中文定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
-
发表了文章 2015-04-21
数据仓库专题（5）-如何构建主题域模型原则之站在巨人的肩上（二）NCR FS-LDM主题域模型划分
一、前言 分布式数据仓库模型的架构设计，受分布式技术的影响，很多有自己特色的地方，但是在概念模型和逻辑模型设计方面，还是有很多可以从传统数据仓库模型进行借鉴的地方。NCR FS-LDM数据模型是金融行业事实上的工业标准。
-
发表了文章 2015-04-20
招聘专题1-新浪微博职位2015.4.20
一、前言 来自新浪微博的职位，大家感兴趣的可以联系HR。 二、职位描述 职位1、架构师岗位职责：－负责微博私信IM与Push系统核心研发与维护工作；－负责微博私信IM与Push系统架构设计与调优； 任职要求：－熟练掌握C、C++、Java、Go、Erlang等任一高级语言；－熟练...
-
发表了文章 2015-04-19
数据仓库专题（5）-如何构建主题域模型原则之站在巨人的肩上（一）IBM-FSDM主题域模型划分
一、前言 如何构建主题域模型原则是构建企业级数据仓库重要的议题，最好的路径就是参照成熟的体系。IBM金融数据模型数据存储模型FSDM，是金融行业应用极为广泛的数据模型，可以作为我们构建企业级数据仓库主题域模型划分的重要依据。
-
发表了文章 2015-04-16
数据仓库专题（4）-分布式数据仓库事实表设计思考---讨论精华
一、前言 上一篇分享博文《数据仓库专题（3）--分布式数据仓库事实表设计思考》后，陆续有各位兄弟参加大讨论，提出了各种问题，关于分布式环境下，维表和事实表设计，进行了比较深入的探讨，在此汇集整理，分享给大家。
-
发表了文章 2015-04-14
数据仓库专题（3）-分布式数据仓库事实表设计思考
一、前言 最近在设计数据仓库的数据逻辑模型，考虑到海量数据存储在分布式数据仓库中的技术架构模式，需要针对传统的面相关系型数据仓库的数据存储模型进行技术改造。设计出一套真正适合分布式数据仓库的数据存储模型。
-
发表了文章 2015-03-31
数据仓库专题（2）-Kimball维度建模四步骤
一、前言 四步过程维度建模由Kimball提出，可以做为业务梳理、数据梳理后进行多维数据模型设计的指导流程，但是不能作为数据仓库系统建设的指导流程。本文就相关流程及核心问题进行解读。 二、数据仓库建设流程 以下流程是根据业务系统、组织结构、团队结构现状设定的数据仓库系统建设流程，适合系统结构复杂，团队协作复杂，人员结构复杂的情况，并且数据仓库建设团队和业务系统建设团队不同的情况。
-
发表了文章 2015-03-31
数据仓库专题（1）-数据仓库生命周期模型
一、前言 工作内容的变更，导致重新回到数据仓库模型的架构和设计，于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系，记录下来，作为笔记吧。 二、模型 无论数据仓库技术如何变化，从RDBMS到NoSQL,从传统技术到大数据，其实只是实现技术手段的变化，数据仓库建设生命周期的模式从来都不曾真正颠覆性改变过。
-
发表了文章 2015-01-20
数据仓库3NF基础理论和实例
一、引言 最近在梳理大数据模式下的数据仓库数据模型，花了点时间，系统的回顾一下传统数据仓库数据模型设计的理论，作为笔记分享给大家，很多资料来自互联网和读过的数据仓库理论和实践相关的熟悉，无剽窃之心，共勉吧。
-
发表了文章 2015-01-20
三个例子，让你看懂数据仓库多维数据模型的设计
一、概述 多维数据模型是最流行的数据仓库的数据模型，多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式，本文以实例方式展示三者的模式和区别。 二、星型模式（star schema） 星型模式的核心是一个大的中心表（事实表），一组小的附属表（维表）。
-
发表了文章 2015-01-12
数据仓库建模方法初步
一、前言 数据仓库得建模方法同样也有很多种，每一种建模方法其实代表了哲学上的一个观点，代表了一种归 纳，概括世界的一种方法。目前业界较为流行的数据仓库的建模方法非常多，这里主要介绍范式建模法，维度建模法，实体建模法等几种方法，每种方法其实从本质 上讲就是从不同的角度看我们业务中的问题，不管从技术层面还是业务层面，其实代表的是哲学上的一种世界观。
-
发表了文章 2014-11-04
金融行业信用评级主题和概念清单
前言 最近在整合保险行业的风险控制模型，陆续的会共享一些资料，希望参与保险行业风险控制模型的业务专业和技术专家，可以加群: 保险数据挖掘模型交流 387252306 信用评级的定义是评级公司制定评级方法和评级标准的基础。
-
发表了文章 2014-09-28
数据挖掘标准规范之CRISP-DM基础
一、前言 每每提到数据挖掘，总有些人上来就是ETL、是算法、是数学模型，作为搞工程实施的我而言，很是头疼。其实作为数据挖掘的而言，算法只是其实现手段、是工具和实现手段而已，我们不是在创造算法（国外职业搞研究的除外），我们是在使用算法而已，换句话说我们是算法的工程化实践者。
-
发表了文章 2014-09-21
HBase与Zookeeper数据结构查询
一、前言 最近一年了吧，总是忙于特定项目的业务分析和顶层设计，很少花时间和精力放到具体的技术细节，感觉除了架构理念和分析能力的提升，在具体技术层次却并没有多大的进步。因为一些原因，总被人问及一些技术细节，很多细节都模糊了，花点时间，温习一下吧。
-
发表了文章 2014-08-23
Hadoop2.2.0 eclipse插件编译及Ecliipse配置说明（图文版）
一、引言： 最近在做一个城商行项目的POC测试it版本，涉及到编译Linux64bti的源码和开发插件使用，作为笔记分享给大家。 二、插件编译 Hadoop2x版本的Eclipse插件已经单独抽取成独立的开源项目，区别于之前版本直接集成到Hadoop1.
-
发表了文章 2014-07-20
phoenix psqlline输入命令无法删除问题解决技巧
一、引言： phoenix psqlline使用过程中，使用CRT客户端，命令输入后无法删除，想起曾经处理HBaseShell输入后无法删除的解决办法，尝试了一下，居然有效，还是分享给大家把。 二、操作步骤 secureCRT中，点击【选项】【回话选项】【终端】【仿真】，右边的终端选择linux 英文版本请对应选择输入: 三、删除操作 执行删除操作时，使用自己Backspace按键即可。
-
发表了文章 2014-06-25
胖子哥的大数据之路（12）-三张图告诉你大数据安全方案设计
一、引言： 最近一直很忙，在做一个全国性项目的IT架构，所以一直没有更新，好在算是告一段落，继续努力吧。项目沟通中过程客户反复在强调，大数据的安全性，言下之意，用了大数据，就不安全了，就有漏洞了。
-
发表了文章 2014-05-26
Building the Unstructured Data Warehouse: Architecture, Analysis, and Design
Building the Unstructured Data Warehouse: Architecture, Analysis, and Design earn essential techniques from data warehouse legend Bill Inmon on how t...
-
发表了文章 2014-05-22
Hadoop专业解决方案-第3章：MapReduce处理数据
前言：非常感谢团队的努力，最新的章节终于有了成果，因为自己的懒惰，好久没有最新的进展了，感谢群里兄弟的努力。 群名称是Hadoop专业解决方案群 313702010 本章主要内容： 理解MapReduce基本原理 了解MapReduce应用的执行 理解MapReduce应用的设计 截止到目前，我们已经知道Hadoop如何存储数据，但Hadoop不仅仅是一个高可用 的，规模巨大的数据存储引擎，它的另一个主要特点是可以将数据存储与处理相结合。
-
发表了文章 2014-05-10
胖子哥的大数据之路（11）-我看Intel&&Cloudera的合作
一、引言 5月8日，作为受邀嘉宾，参加了Intel与Cloudera在北京中国大饭店新闻发布会，两家公司宣布战略合作，该消息成为继Intel宣布放弃大数据平台之后的另外一个热点新闻。对于Intel的放弃早在预料之中，对于Intel与Cloudera合作也在意料之中，但是没有想到的是居然那么快。
-
发表了文章 2014-04-23
胖子哥的大数据之路（10）- 基于Hive构建数据仓库实例
一、引言 基于Hive+Hadoop模式构建数据仓库，是大数据时代的一个不错的选择，本文以郑商所每日交易行情数据为案例，探讨数据Hive数据导入的操作实例。 二、源数据-每日行情数据 三、建表脚本 CREATE TABLE IF NOT EXISTS t_day_detail( ...
-
发表了文章 2014-04-18
胖子哥的大数据之路（9）-数据仓库金融行业数据逻辑模型FS-LDM
引言： 大数据不是海市蜃楼，万丈高楼平地起只是意淫，大数据发展还要从点滴做起，基于大数据构建国家级、行业级数据中心的项目会越来越多，大数据只是技术，而非解决方案，同样面临数据组织模式，数据逻辑模式的问题。
-
发表了文章 2014-04-14
胖子哥的大数据之路（8）- 数据仓库命名规范
引言： 从对大数据的狂热到理性的回归，项目实施起到了醍醐灌顶的作用，大数据技术只能作为一种IT基础架构（存储+运算），而实际的工程化实施，还是要回归到IT传统技术，最近在整合大数据时代的数据仓库框架，希望能有更多的人参与进来。
-
发表了文章 2014-04-02
胖子哥的大数据之路（7）- 传统企业切入核心or外围
一、引言 昨天和一个做互联网大数据（零售行业）的朋友交流，关于大数据传统企业实施的切入点产生了争执，主要围绕两个问题进行了深入的探讨： 问题1：对于一个传统企业而言什么是核心业务，什么是外围业务？ 问题2：大数据传统企业实施切入点到底是从核心开始还是该从外围介入？ 两个问题有关联关系，如果界定不了核心与外围的边界，那么第二个问题也就无从回答。
-
发表了文章 2014-04-01
Hadoop专业解决方案-第5章 开发可靠的MapReduce应用
本章主要内容： 1、利用MRUnit创建MapReduce的单元测试。 2、MapReduce应用的本地实例。 3、理解MapReduce的调试。 4、利用MapReduce防御式程序设计。 在WOX.COM下载本章源代码 本章在wox.com网站的源码可以在www.wiley.com/go/prohadoopsolutions的源码下载标签找到。
-
发表了文章 2014-02-25
NoSQL高级培训课程-HBase&&MongoDB（两天版）
课程大纲 主题 时间 主题 列数据库 （第1天） 上午 HBase发展简史-Google BigTable的开源实现 HBase基础：安装部署、管理命令、运行监控和开发接口； HBase专题：服务组件、存储...
-
发表了文章 2014-02-23
胖子哥的大数据之路（五）- 数据资源-垄断的壁垒
一、事件背景 昨天接触到一个客户，政府背景，行业应用，某部委直属的下属企业，算是垄断行业，依托政府资源，手里面掌握着全国XX行业所有的数据。原以为是大数据平台的一个营销对象，聊半天才发现，原来这也是一个被我们误认为甲方的乙方，我们反倒成了他们心目中的甲方。
-
发表了文章 2014-02-20
胖子哥的大数据之路（四）- VisualHBase功能需求框架
一、引言 大数据在结构化数据存储方面的应用需求越来越明确，但是大数据环境下辅助开发工具的不完善，给数据库管理人员和开发人员带来的不变难以言表，基于此创建了开源项目VisualHBase，同时创建了VisualHBase的开发群：263505724，希望能够借助社区的力量，解决大数据企业实施的瓶颈。
-
发表了文章 2014-02-20
胖子哥的大数据之路（三）- 数据仓库的需求分析该怎么做
一、引言 基于大数据技术构建数据仓库平台，源于大数据技术本身的不成熟和普及度问题，以及辅助工具的缺失，注定了其实施过程与传统数据仓库的差异性，和更大的实施难度。本文针对大数据技术应用与数据仓库类项目需求分析阶段，需要完成的主要工作基于用户需求分析说明书的文档结构进行目录式展现。
-
发表了文章 2014-02-14
胖子哥的大数据之路（二）- 大数据结构化数据存储应用模式
一、楔子 胖子哥是我网名，叫了很多年的网名，网名的来历与自己的沧桑和身材有关，不知是IT改变了我，显得苍老，还是我本就苍老，顺应了IT行业的需要。25岁那年，曾被跟我一样高的漂亮美眉叫叔叔，从此再也不敢打小姑娘的注意，走上了重口味热爱阿姨级别女性的不归路；曾被三十五、六岁的同事阿姨说苍老：看你也就三十五六吧，那年我25；周一的时候，还有一个60后的同事问及我的年龄，他很含蓄的，明显带着保留的口吻问我：你是75年的吧？因为他一直认为和我一般大。
-
发表了文章 2014-02-12
胖子哥的大数据之路（一）-数据仓库也需要大数据
一、楔子 大数据传统企业实施，其路漫漫，绝不会如昙花一现，探索大数据在传统行业的实施之路，寻找一条适合传统行业的企业大数据实施方法体系，是我执着坚守的信念，大数据是一种信仰，吾将上下而求索。记下项目中的点滴，算是日志，自勉。
-
发表了文章 2014-01-24
论战大数据----胖子哥的PK之旅（一）
胖子哥(1106110976) 9:35:36 http://www.cnblogs.com/hadoopdev/p/3531963.htmlnosqlt数据库-肖(380594863) 9:38:05 理论啊，没啥干货。
-
发表了文章 2014-01-24
大数据传统企业实施理性篇---请放慢你的步伐
一、楔子 社区的力量是巨大的，开源的诱惑也 是魅力无穷，靠忽悠无法长久的云计算已是昨日黄花，IT新贵的发力点聚焦大数据，言必称大数据，语必谈数据黄金，更有甚者，高唱2013是大数据元 年，2014必将是大数据爆发的一年。
-
发表了文章 2014-01-18
企业大数据战略规划高级培训课程
一、课程对象 本课程是大数据高级培训课程，主要面向企业中层及以上管理人员，IT战略规划部门。理论联系实际，就大数据的应用方向，演进路线和企业大数据战略规划进行探讨，结合完整的大数据项目实施案例，进行讲解。
-
发表了文章 2014-01-17
大数据工具篇之flume1.4-安装部署指南
一、引言 flume-ng是一个分布式、高可靠和高效的日志收集系统，flume-ng是flume的新版本的意思，其中“ng”意为new generate(新一代)，目前来说，flume-ng 1.4是最新的版本。
-
发表了文章 2014-01-10
大数据工具篇之Hive与MySQL整合完整教程
一、引言 Hive元数据存储可以放到RDBMS数据库中，本文以Hive与MySQL数据库的整合为目标，详细说明Hive与MySQL的整合方法。 二、安装驱动 MySQL最新的Java驱动版本为：mysql-connector-java-5.1.28-bin.jar，下载后拷贝到：Hive/Lib目录。
-
发表了文章 2014-01-08
通用网络信息采集器（爬虫）设计方案
一、引言 Heritrix3.X与1.X版本变化比较大，基于此带来的Extractor定向扩展方法也受到影响，自定义扩展方面因为接口的变化受阻，从而萌生了通用网络信息采集器设计的想法。一直没有一个好的网络信息采集器，必须能够适应下载对象的多样性和下载内容的复杂性。
-
发表了文章 2014-01-07
大数据导论之为何需要引入大数据
一、引言 最近各种客户咨询项目中，往往涉及大数据引入必要性和价值意义的深层次挖掘，客户有数据，有平台，但是不知到底要不要上大数据，为何要上大数据和大数据可以带来哪些价值和意义。本文关于大数据的必要性进行阐述，来源实际项目，算是分享吧。
-
发表了文章 2014-01-03
招募贴：Hadoop专业解决方案招募义务翻译人员
一、招募启事 招募贴：Hadoop专业解决方案招募义务翻译人员，英文原著名称：《Wrox.Professional.Hadoop.Solutions》。愿意参与到此项工作中来的请加群：313702010 欢迎大家踊跃报名。
-
发表了文章 2014-01-03
Hadoop文件系统支持释疑之S3
一、引言 Hadoop版本提供了对多种文件系统的支持，但是这些文件系统是以何种方式实现的，其实现原理是什么以前并没有深究过。今天正好有人咨询我这个问题：Hadoop对S3的支持原理是什么？特此总结一下。
-
发表了文章 2014-01-02
大数据工具篇之Hive与HBase整合完整教程
一、引言 最近的一次培训，用户特意提到Hadoop环境下HDFS中存储的文件如何才能导入到HBase，关于这部分基于HBase Java API的写入方式，之前曾经有过技术文章共享，本文就不再说明。
-
发表了文章 2013-12-27
Heritrix3.x自定义扩展Extractor
一、引言： Heritrix3.x与Heritrix1.x版本差异比较大，全新配置模式的引入+扩展接口的变化，同时由于说明文档的匮乏，给Heritrix的开发者带来困惑，前面的文章已经就Heritrix的配置部署和运行做了说明，本文就Heritrix3.x版本就Extractor扩展做出实例说明。
-
发表了文章 2013-12-24
NoSQL非结构化数据库高级培训课程-大纲
一、课程概述 本课程面向No-SQL开发人员、系统分析和系统架构师，目的在于帮助他们建立起完整的No-SQL数据库的概念，应用场景、相关开源技术框架和优缺点。 二、课程大纲 主题 时间 主题 No-SQL概述 （第1天） 上午 ...
-
发表了文章 2013-12-24
Hadoop高级培训课程大纲-管理员版
一、课程概述 本次培训课程主要面向大数据系统管理人员和开发设计人员，基于开源社区大数据应用最活跃的Hadoop和HBase技术框架。围绕分布式文件存储（HDFS）、分布式并行计算（Map/Recue）和非关系型数据库(NoSql)三个大数据核心应用展开，旨在帮助培训对象建立起完整的大数据理论基础框架和实践操作能力。
-
发表了文章 2013-12-24
Hadoop高级培训课程大纲-开发者版
一、课程概述 本次培训课程主要面向大数据系统管理人员和开发设计人员，基于开源社区大数据应用最活跃的Hadoop和HBase技术框架，围绕分布式文件存储（HDFS）、分布式并行计算（Map/Recue）和非关系型数据库(NoSql)三个大数据核心应用展开，旨在帮助培训对象建立起完整的大数据理论基础框架和实践操作能力。
-
发表了文章 2013-12-19
大数据挖掘算法篇之K-Means实例
一、引言 K-Means算法是聚类算法中，应用最为广泛的一种。本文基于欧几里得距离公式：d = sqrt((x1-x2)^+(y1-y2)^)计算二维向量间的距离，作为聚类划分的依据，输入数据为二维数据两列数据，输出结果为聚类中心和元素划分结果。
-
发表了文章 2013-12-17
断篇-金融大数据最佳实践总结篇
一、数据挖掘的价值体现 任何数据分析或者挖掘的项目都不会直接产生经济价值和意义，分析出的数据结果既不能给企业直接带来一个客户，也不能帮助企业卖出一件产品。数据分析的价值体现在于业务部门根据分析结果制定相关的经营策略并贯彻执行。
-
发表了文章 2013-12-11
网络爬虫之Windows环境Heritrix3.0配置指南
一、引言： 最近在忙某个商业银行的项目，需要引入外部互联网数据作为参考，作为技术选型阶段的工作，之前已经确定了中文分词工具，下一个话题就是网络爬虫的选择，目标很明确，需要下载一些财经网站的新闻信息，然后进行文本计算。
-
发表了文章 2013-12-09
开源中文分词框架分词效果对比smartcn与IKanalyzer
一、引言： 中文分词一直是自然语言处理的一个痛处，早在08年的时候，就曾经有项目涉及到相关的应用（Lunce构建全文搜索引擎），那时的痛，没想到5年后的今天依然存在，切分效果、扩展支持、业务应用等方面依然不甚理想。
-
发表了文章 2013-12-05
Eclipse整合Tomcat开发Dynamic Web Project环境总结
一、引子 习惯了MyEclipse的你是否曾想过基于Eclipse进行Dynamic Web Project项目开发呢？网上资料颇多，但是实践起来却发现总有这样那样的问题，设计Lucene搜索引擎项目的一个需要，重新搭建了一次环境，感触颇多，先总结下来，以备后用。
暂无更多信息
-
发表了文章
2018-06-05
一张图看懂自然语言处理技术框架
-
发表了文章
2018-03-06
如何系统学习知识图谱-胖子哥的实践经验分享
-
发表了文章
2018-03-05
知识图谱实战开发案例剖析（16）-第一个智能对话机器人（附完整源码）
-
发表了文章
2018-02-07
知识图谱实战开发案例剖析（2）
-
发表了文章
2018-02-05
知识图谱实战开发案例剖析（1）
-
发表了文章
2018-01-15
自己动手开发智能聊天机器人完全指南（附python完整源码）
-
发表了文章
2018-01-05
2017知识图谱存储系统排名：那些你不知道的知识图谱存储系统
-
发表了文章
2017-12-29
21天实战人工智能系列：人工智能产品经理最佳实践（2）
-
发表了文章
2017-12-29
21天实战人工智能系列：人工智能产品经理最佳实践（1）
-
发表了文章
2017-10-17
人工智能：决胜未来之道培训课程大纲
-
发表了文章
2017-10-10
VM环境下Linux虚拟机扩展存储空间操作方法总结
-
发表了文章
2017-06-21
人工智能技术实践篇：espeak开发环境调试
-
发表了文章
2017-02-23
数据产品经理最佳实践-数据战略规划
-
发表了文章
2017-02-04
从浏览器市场份额，探究百度在移动互联网时代失败的原因
-
发表了文章
2016-08-19
数据产品设计专题（5）- 分布式数据仓库技术架构
-
发表了文章
2016-08-18
数据产品设计专题（4）- 程序化交易业务架构模型
-
发表了文章
2016-08-09
数据仓库专题（24）-数据仓库架构体系总结
-
发表了文章
2016-08-05
数据产品设计专题（3）-数据运营方法体系框架
-
发表了文章
2016-08-03
R语言之中文分词：实例
-
发表了文章
2016-07-22
R语言之词云：wordcloud&wordcloud2安装及参数说明
滑动查看更多
暂无更多信息
暂无更多信息