thinkgamer.cn
thinkgamer.cn_个人页
thinkgamer.cn
文章
237
问答
0
视频
0
个人介绍
wechat 搜索【数据与算法联盟】，专注于云计算和算法，目前就职于京东
擅长的技术
-
发表了文章 2016-10-19
【Docker江湖】之hub上镜像的使用，Dockerfile语法解读和数据管理
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-10-12
【Docker江湖】之docker部署与理解
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-10-08
ELK stack实战之结合rsyslog分析系统日志(auth.log)
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2016-09-28
Filebeat的架构分析、配置解释与示例
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前边的话 在看filebeat之前我们先来看下Beats，Beats 平台是 Elastic.co 从 packetbeat 发展出来的数据收集器系统。
-
发表了文章 2016-09-27
linux 部署ELK 日志分析系统与简单测试
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前边的话 ELK stack是指由Elasticsearch，Logstash，Kibana三个组件结合起来而构成的一个日志收集，分析，可视化的一个套件。
-
发表了文章 2016-09-24
《hadoop进阶》基于hadoop和hive的微博热词跟踪系统
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-09-22
hadoop提交jar包卡住不会往下执行的解决方案
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2016-09-21
基于python impyla的hive客户端
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2016-09-17
HIVE一些小技巧和java操作hive
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2016-09-14
针对Hadoop YARN 的REST API web服务介绍
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 （欢迎互撩） Github：https://github.
-
发表了文章 2016-09-14
Spark RDD编程（二）
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2016-09-13
我所理解的REST API
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 （欢迎互撩） Github：https://github.
-
发表了文章 2016-09-11
10.Django细节性知识点回顾（二）
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2016-09-07
使用python的hdfs包操作分布式文件系统（HDFS）
转载请注明出处：@http://blog.csdn.net/gamer_gyt，Thinkagmer 撰写 博主微博：http://weibo.com/234654758 （欢迎互撩） Github：https://github.
-
发表了文章 2016-09-01
数据库的方向 - 行vs列
转载请注明出处：@http://blog.csdn.net/gamer_gyt，Thinkagmer 撰写 博主微博：http://weibo.com/234654758 （欢迎互撩） 私人博客：http://blog.
-
发表了文章 2016-08-31
Hadoop 容错之1.X的单点故障 到 2.X的HA和HDFS Federation
转载请注明出处：@http://blog.csdn.net/gamer_gyt，Thinkagmer 撰写 博主微博：http://weibo.com/234654758 （欢迎互撩）私人博客：http://blog.
-
发表了文章 2016-08-30
三台PC服务器部署Hadoop HA（Hadoop 高可用性架构）
写在前边的话： 转载请注明出处：@http://blog.csdn.net/gamer_gyt，Thinkagmer 撰写 之前是在自己电脑上部署的hadoop集群，但并未涉及到HA配置，这次将集群迁移到PC服务器，但是问题来了，只有三台，但是我还想配置HA，PC服务器是CentOS6.5，原来想着在上边部署VM，从而部署HA集群，但经测试，未果，遂弃之，就想到了在三台机器上部署HA集群。
-
发表了文章 2016-08-23
基于Spark和Hive进行的豆瓣电影数据分析
写在前边的话： 算是自己做的一个小课题吧，自己搭建平台，自己爬取数据，自己进行数据清洗和分析，自己进行可视化展示，写这篇博客不为别的，只是记录下自己做这个课题的整个过程，大神们勿喷 环境说明：hadoop2.
-
发表了文章 2016-08-10
关于Hive中的复杂数据类型Array,Map,Structs的一些使用案例
写在前边的话： 同样是在做豆瓣电影数据分析的小课题的时候遇到的一个问题：hive表中的电影类型存储格式为array，那么我如何针对每一个类型做统计呢？ 本来是想在基于豆瓣电影数据进行相关的数据分析项目 中进行相关解释说明的，仔细想了下，刚好拿...
-
发表了文章 2016-08-09
IDEA构建Spark编程环境和用Scala实现PageRank算法
写在前边的话 以前在学习编写mapreduce时，由于没有shell，就是首先在eclipse里配置环境，利用eclipse的强大功能进行编写，调试，编译，最终打包到集群上运行，同样面对Spark的时候，虽然spark提供了强大的shell 脚本能力，但对于定期或者处理时间很长...
-
发表了文章 2016-08-06
09.Apache 2.4 基于端口配置多个Diango项目
写在前边的话： 基于多端口配置普通的web项目是非常简单的，大家上网搜索就能得到很多答案，而且不会出错，然而在配置Django的多端口时，却出现了各种bug，苦苦的折腾了一晚上 环境 说明： 服务器 Windows Server 2008 Apache 2.
-
发表了文章 2016-08-04
带你走进Spark编程之Scala入门
写在前边的话： 1：什么是Scala？ Scala是一门多范式的编程语言，类似于Java，并集成了面向对象编程和函数式编程的各种特性，具体可参考知乎上的一个帖子 2：本篇博客包含哪些内容？ Scala中变量的声明与函数定义 Scala中的控制结构 ...
-
发表了文章 2016-08-01
Hive的内置服务和hiveserver/hiveserver2的比较
一：Hive的几种内置服务 执行bin/hive --service help 如下： [master@master1 hive]$ bin/hive --service help ls: 无法访问/opt/spark/lib/spark-assembly-*.
-
发表了文章 2016-08-01
Spark集群启动python shell错误： Could not resolve hostname localhost: Temporary failure
Hadoop集群部署参考：点击查看 Spark集群部署参考：点击查看 最近在自己搭建的平台上测试spark-python脚本，发现一个错误如下： [master@slave1 spark]$ bin/pyspark Python 2.
-
发表了文章 2016-07-28
基于hadoop2.7集群的Spark2.0，Sqoop1.4.6，Mahout0.12.2完全分布式安装
写在前边的话 hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客 基本环境： CentOS 6.5，Hadoop 2.
-
发表了文章 2016-07-27
基于hadoop集群的Hive1.2.1、Hbase1.2.2、Zookeeper3.4.8完全分布式安装
写在前边的话： hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客 基本环境： Hadoop 2.
-
发表了文章 2016-07-25
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
写在前边的话： 最近找了一个云计算开发的工作，本以为来了会直接做一些敲代码，处理数据的活，没想到师父给了我一个课题“基于质量数据的大数据分析”，那么问题来了首先要做的就是搭建这样一个平台，毫无疑问，底层采用hadoop集群，在此之上，进行一些其他组件的安装和二次开发 hadoop...
-
发表了文章 2016-07-21
Centos6.5使用yum安装mysql——快速上手必备
第1步、yum安装mysql [root@stonex ~]# yum -y install mysql-server 安装结果： Installed: mysql-server.
-
发表了文章 2016-07-06
Python调用微博API获取微博内容
一：获取app-key 和 app-secret 使用自己的微博账号登录微博开放平台(http://open.weibo.com/)，在微博开放中心下“创建应用”创建一个应用，应用信息那些随便填，填写完毕后，不需要提交审核，需要的只是那个app-key和app-secret 二：设置授权回调页 在“微博开放平台”的“管理中心”找到刚才创建的应用，点开这个应用，点开左边“应用信息”栏，会看见“App key”和“App Secret”的字样，这两个东西是要在后面程序中使用的。
-
发表了文章 2016-07-05
Spark的运行架构分析（二）之运行模式详解
在上一篇博客 spark的运行架构分析（一）中我们有谈到Spark的运行模式是多种多样的，那么在这篇博客中我们来具体谈谈Spark的运行模式 一：Spark On Local 此种模式下，我们只需要在安装Spark时不进行hadoop和Yarn的环境配置，只要将Spark包解压...
-
发表了文章 2016-07-05
Spark的运行架构分析（一）之架构概述
1：Spark的运行模式 2：Spark中的一些名词解释 3：Spark的运行基本流程 4：RDD的运行基本流程 一：Spark的运行模式 Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布模式运行，而当以分布式集群的方式部署时，也有众多的运行模式可供选择，这取决于集群的实际情况，底层的资源调度即可以依赖外部资源调度框架，也可以使用Spark内建的Standalone模式。
-
发表了文章 2016-07-04
Spark 的键值对（pair RDD）操作，Scala实现
一：什么是Pair RDD？ Spark为包含键值对对类型的RDD提供了一些专有操作，这些操作就被称为Pair RDD，Pair RDD是很多程序的构成要素，因为它们提供了并行操作对各个键或跨节点重新进行数据分组的操作接口。
-
发表了文章 2016-06-26
利用采样器实现mapreduce任务输出全排序
采样器是hadoop内自带的一个可以对目标文件部分数据进行提取的工具类,以方便我们对这些采样的数据做一些参考或者处理。hadoop提供了多种采样器供我们使用，以满足不同的需求。另外，采样器不同于普通mapreduce操作。
-
发表了文章 2016-06-25
hadoop中NameNode、DataNode、Secondary、NameNode、ResourceManager、NodeManager 介绍
1：NameNode 2：SecondNameNode 3：DataNode 4：ResourceManager 5：NodeManager --------------------------------------------------------------------...
-
发表了文章 2016-06-21
Hive的数据类型解析和表的操作实例
另外一篇关于Hive的表，外部表，分区，桶的理解的博客：点击阅读 本文所需要的HIveQL源码和所需的测试用例github地址为：点击查看 一：Hive中的数据类型 Hive支持两种数据类型，一类叫原子数据类型，一类叫复杂数据类型。
-
发表了文章 2016-06-18
Spark RDD编程（Python和Scala版本）
Spark中的RDD就是一个不可变的分布式对象集合，是一种具有兼容性的基于内存的集群计算抽象方法，Spark则是这个方法的抽象。 Spark的RDD操作分为转化操作（transformation）和行动操作（action），两者的区别在于： a.
-
发表了文章 2016-06-17
Spark 的 Shell操作，核心概念，构建独立应用
1：Spark中的Python和Scala的shell 2：Spark核心概念简介 3：独立应用 4：Spark数据集 一：Spark中的Python 和Scala 的shell 1：shell设置显示日志 进入Spark的安装目录，启动spar...
-
发表了文章 2016-06-16
《推荐系统》基于图的推荐算法
1：概述 2：原理简介 3：代码实现 4：问题说明 一：概述 基于图的模型（graph-based model）是推荐系统中的重要内容。其实，很多研究人员把基于邻域的模型也称为基于图的模型，因为可以把基于邻域的模型看做基于图的模型的简单形式 在研究基于图的模型之前，首先需要将用户的行为数据，表示成图的形式，下面我们讨论的用户行为数据是用二元数组组成的，其中每个二元组（u,i）表示用户u对物品i的产生过行为，这种数据很容易用一个二分图表示 令G（V，E）表示用户物品二分图，其中 由用户顶点集合 和物品顶点集合 组成。
-
发表了文章 2016-06-16
《推荐系统》基于标签的用户推荐系统
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 1：联系用户兴趣和物品的方式 2：标签系统的典型代表 3：用户如何打标签 4：基于标签的推荐系统 5：算法的改进 6：标签推荐 源代码查看地址：github查看 一：联系用户兴趣和物品的方式 推荐系统的目的是联系用户的兴趣和物品，这种联系方式需要依赖不同的媒介。
-
发表了文章 2016-06-11
Spark的伪分布安装和wordcount测试
基于hadoop2.6伪分布的Spark安装和wordcount测试 一：环境说明 Ubuntu：15.10（不稳定版，建议安装在稳定版，Ubuntu下XX..4是稳定的） Hadoop：2.
-
发表了文章 2016-06-11
《Hadoop进阶》利用Hadoop构建豆瓣图书推荐系统
转载请注明出处： 转载自 Thinkgamer的CSDN博客：blog.csdn.net/gamer_gyt 代码下载地址：点击查看 1：推荐系统概述 2：需求分析：推荐系统的指标设计 3：算法模型：基于物品的协同过滤并行算法设计 4：架构...
-
发表了文章 2016-05-30
《推荐系统》基于用户和Item的协同过滤算法的分析与实现（Python）
1：协同过滤算法简介 2：协同过滤算法的核心 3：协同过滤算法的应用方式 4：基于用户的协同过滤算法实现 5：基于物品的协同过滤算法实现 一：协同过滤算法简介 关于协同过滤的一个最经典的例子就是看电影，有时候不知道哪一部电影是我们喜欢的或者评分比较高的，那么通常的做法就是问问周围的朋友，看看最近有什么好的电影推荐。
-
发表了文章 2016-05-29
《hadoop进阶》PeopleRank从社交关系中挖掘价值用户
转载请注明出处： 转载自 Thinkgamer的CSDN博客： blog.csdn.net/gamer_gyt 代码下载地址：点击查看 pagerank算法的python实现请参考：http://blog.
-
发表了文章 2016-05-27
《排序算法》——希尔排序，桶式排序（Java）
一：希尔排序 也称缩小增量排序，是直接插入排序算法的一种更高效的改进版本。 希尔排序是非稳定排序算法，先取一个小于n的整数d1作为第一个增量，把文件的全部记录分组。
-
发表了文章 2016-05-27
《hadoop进阶》web日志系统 KPI指标的分析与实现
推广一下个人的微信公众号【数据与算法联盟】 ...
-
发表了文章 2016-05-26
《矩阵》——稀疏矩阵（Java）
转载请注明出处： 转载自 Thinkgamer的CSDN博客：blog.csdn.net/gamer_gyt 1：稀疏矩阵的背景 2：什么是稀疏矩阵？ 3：为什么要对稀疏矩阵进行压缩存储以及压缩存储的方式？ 4：稀疏矩阵的相关运算 一：背景 第一此介绍稀...
-
发表了文章 2016-05-25
《图论》——图的存储与遍历（Java）
一：图的分类 1：无向图 即两个顶点之间没有明确的指向关系，只有一条边相连，例如，A顶点和B顶点之间可以表示为 也可以表示为，如下所示 2：有向图 顶点之间是有方向性的，例如A和B顶点之间，A指向了B，B也指向了A，...
-
发表了文章 2016-05-22
《树》——二叉树（Java）
完整代码下载地址： 点击下载 1：二叉树的分类 (1)空二叉树——如图(a)； (2)只有一个根结点的二叉树——如图(b)； (3)只有左子树——如图(c)； (4)只有右子树——如图(d)； (5)完全二叉树——如图(e)。
-
发表了文章 2016-05-20
《链表》——单向链表和双向链表（Java）
完整的代码地址为：github 点击查看 单链表 单链表包括数据域和指向下一个节点的指针域，其结构如上图所示 首先定义一个数据类： class DATA{ //定义链表的一个节点 String key; //节点的关键字 Stri...
-
发表了文章 2016-05-19
《栈 队列》——栈与队列（Java）
一：对列 队列是一种先进先出的数据结构 实现代码： package Queue; /* * 使用java构建队列，并模拟实现队列的入队和出对方法 */ public class Queue { //队列类 private int maxSize; //定义队列...
暂无更多信息
-
发表了文章
2018-03-26
推荐系统的一些思考
-
发表了文章
2018-02-04
Scala 解析 XML
-
发表了文章
2018-02-04
Spark求统计量的两种方法
-
发表了文章
2018-01-30
云栖社区ID(我的搬家邀请码：IMIZB)：https://yq.aliyun.com/u/thinkgamer
-
发表了文章
2018-01-25
Spark多路径输出和二次排序
-
发表了文章
2018-01-23
Spark提交参数说明和常见优化
-
发表了文章
2017-12-14
梯度算法之批量梯度下降，随机梯度下降和小批量梯度下降
-
发表了文章
2017-11-20
异常检测之指数平滑（利用elasticsearch来实现）
-
发表了文章
2017-11-07
回归分析之Sklearn实现电力预测
-
发表了文章
2017-09-29
回归分析之线性回归（N元线性回归）
-
发表了文章
2017-09-20
几种距离计算公式在数据挖掘中的应用场景分析
-
发表了文章
2017-09-17
回归分析之理论篇
-
发表了文章
2017-09-01
数据归一化和其在sklearn中的处理
-
发表了文章
2017-08-29
异常检测之正态分布
-
发表了文章
2017-07-25
K-means 聚类算法的理解与案例实战
-
发表了文章
2017-07-16
MachingLearning中的距离和相似性计算以及python实现
-
发表了文章
2017-07-13
Scrapy 爬取百度贴吧指定帖子的发帖人和回帖人
-
发表了文章
2017-07-05
推荐算法的回顾总结
-
发表了文章
2017-04-06
使用filebeat进行数据加密传输和区别不同的日志源
-
发表了文章
2017-04-06
__str__ returned non-string (type int)
滑动查看更多
暂无更多信息
暂无更多信息