thinkgamer.cn
thinkgamer.cn_个人页
thinkgamer.cn
文章
237
问答
0
视频
0
个人介绍
wechat 搜索【数据与算法联盟】，专注于云计算和算法，目前就职于京东
擅长的技术
-
发表了文章 2018-03-26
推荐系统的一些思考
推荐系统一直以来都是电商网站必不可少的一项，在提升用户转化，增加GMV方面可谓功不可没，那么一个好的推荐算法必然会创造更大的价值，刚好最近听了一个关于推荐算法的讲座，写出来一些思考吧，算是分享一下。
-
发表了文章 2018-02-04
Scala 解析 XML
在使用Spark时，有时候主函数入口参数过多的时候，会特别复杂，这个时候我们可以将相应的参数写在xml文件中，然后只要将xml文件的路径传进去即可，这里的xml路径可以是本地的，也可以是hdfs上的。
-
发表了文章 2018-02-04
Spark求统计量的两种方法
Spark对于统计量中的最大值，最小值，平均值和方差（均值）的计算都提供了封装，这里小编知道两种计算方法，整理一下分享给大家
-
发表了文章 2018-01-30
云栖社区ID(我的搬家邀请码：IMIZB)：https://yq.aliyun.com/u/thinkgamer
我的博客即将入住“云栖社区”，诚邀技术同仁一同入驻。 $(function () { $('pre.prettyprint code').
-
发表了文章 2018-01-25
Spark多路径输出和二次排序
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 在实际应用场景中，我们对于Spark往往有各式各样的需求，比如说想MR中的二次排序，Top N，多路劲输出等。
-
发表了文章 2018-01-23
Spark提交参数说明和常见优化
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 最近在搞一个价格分类模型，虽说是分类，用的是kmeans算法，求出聚类中心，对每个价格进行级别定级。
-
发表了文章 2017-12-14
梯度算法之批量梯度下降，随机梯度下降和小批量梯度下降
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2017-11-20
异常检测之指数平滑（利用elasticsearch来实现）
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 指数平滑法是一种特殊的加权平均法，加权的特点是对离预测值较近的历史数据给予较大的权数，对离预测期较远的历史数据给予较小的权数，权数由近到远按指数规律递减，所以，这种预测方法被称为指数平滑法。
-
发表了文章 2017-11-07
回归分析之Sklearn实现电力预测
标签（空格分隔）： 回归分析 sklearn pandas 交叉验证 打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 参考原文：http://www.cnblogs.com/pinard/p/6016029.html 这里进行了手动实现，增强记忆。
-
发表了文章 2017-09-29
回归分析之线性回归（N元线性回归）
标签（空格分隔）： 回归分析 二元线性回归 多元线性回归 打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 在上一篇文章中我们介绍了 回归分析之理论篇，在其中我们有聊到线性回归和非线性回归，包括广义线性回归，这一篇文章我们来聊下回归分析中的线性回归。
-
发表了文章 2017-09-20
几种距离计算公式在数据挖掘中的应用场景分析
标签： 数据挖掘／曼哈顿距离／欧几里得距离／皮尔逊相关系数／余弦相似度 打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.
-
发表了文章 2017-09-17
回归分析之理论篇
标签： 回归分析 / 正态分布 / T检验 / 关系 打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2017-09-01
数据归一化和其在sklearn中的处理
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 一：数据归一化 数据归一化（标准化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。
-
发表了文章 2017-08-29
异常检测之正态分布
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 一：异常检测概述 1）引用维基百科 在数据挖掘中，异常检测（英语：anomaly detection）对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别。
-
发表了文章 2017-07-25
K-means 聚类算法的理解与案例实战
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 前言 工作之后，发现对算法和技术的理解和上学时学习是不一样的，当时也整理了几篇关于k-means聚类的文章，但是现在看起来比较苍白和空洞，于是打算带着重新学习的态度对以往学习过或者见过的一些机器学习算法进行温习和总结，写的不足之处还望路过大神指点一二。
-
发表了文章 2017-07-16
MachingLearning中的距离和相似性计算以及python实现
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 前言 写这篇文章的目的不是说摘抄网上其他人的总结，刚才最近在看这方面的东西，为了让自己能够实际的去感受下每种求距离公式的差别，然后用python进行具体实现。
-
发表了文章 2017-07-13
Scrapy 爬取百度贴吧指定帖子的发帖人和回帖人
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2017-07-05
推荐算法的回顾总结
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 前言 之前看过一段时间协同过滤的推荐算法，当时理解并不深刻，对于其浅显的理解是从海量数据中挖掘出小部分与你品味相同的用户，协同过滤分为基于用户的和基于物品的。
-
发表了文章 2017-04-06
使用filebeat进行数据加密传输和区别不同的日志源
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前边的话 数据在远程传输过程中，可能被劫持和获取，继而造成的后果是数据信息泄露，那么如何有效的进行数据传输呢，在ELK Stack中filebeat 提供了这样的一个解决方案，其不仅可以监听指定文件夹的数据，还可以对数据进行TLS 双向认证加密，从而保证数据传输过程中的可靠性。
-
发表了文章 2017-04-06
__str__ returned non-string (type int)
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 前言 这个问题是我在做这个项目【点击查看】时遇到的，主要是因为以前在使用django的models时，在models的str(self) 函数时，默认返回的字段都是CharField类型的，而在这次返回了一个IntegerField类型导致出现了题目中的错误。
-
发表了文章 2017-03-29
Logstash：从grok到5.X版本的dissect
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前边的话 grok 作为 Logstash 最广为人知的插件，在性能和资源损耗方面同样也广为诟病。
-
发表了文章 2017-03-29
一柱香，一页文带你走进Logstash的世界
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2017-03-27
11. Django 引入富文本编辑器KindEditor
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前边的话 一路走来，DJango也用了挺久了，自己也做了一些基于Django的小项目，具体可看github，但是Django默认的admin后台编辑文本框实在是太丑了，而且单一，其实在很久之前就想写这篇文章了，但是由于种种原因拖延到了现在，终于下定了决心来写，现在时间是00:17。
-
发表了文章 2017-03-18
Elasticsearch 集群优化篇
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前边的话 ES5.2.1 集群部署参考：http://blog.csdn.net/gamer_gyt/article/details/59077189 对于集群的监控和优化是很重要的一部分，如果想持久维护集群，单单靠增加物理内存，cpu，硬盘是不够的，必须通过一些方法来进行优化。
-
发表了文章 2017-03-08
07+. Django用户登录验证系统和登录注销
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前边的话 一直以来对Django的用户权限登录保护模棱两可，最近由于在做一个django的项目，其中涉及到用户的权限登录保护，所以算是有些清楚了，总结下来，给还在模棱两可的你阅读。
-
发表了文章 2017-03-06
Node.js历险记之express框架入门篇
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前面的话 Express 是一种保持最低程度规模的灵活 Node.js Web 应用程序框架，为 Web 和移动应用程序提供一组强大的功能。
-
发表了文章 2017-03-05
Node.js历险记之剑未配好，已出江湖
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt/ 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2017-03-02
Elasticsearch5.2.1集群搭建，动态加入节点，并添加监控诊断插件
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前面的话 之前写过一篇文章是： 如何使用一个IP搭建ES集群——Docker如你所愿，在该篇文章中说明了Elasticsearch集群的单播和多播的概念和差别，以及在生产环境中的利与弊。
-
发表了文章 2017-02-18
重拾初心——Sqoop1和Sqoop2的刨析对比
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前面的话 或许我们经常会遇到这样一个场景，就是当我们的某种日志数据积累到一定程度的时候，我们需要大数据平台来进行存储，包括hdfs，hive等，这个时候Sqoop就发挥他的巨大价值了。
-
发表了文章 2017-02-04
关于docker容器网络的一些理解
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2017-01-07
如何解决linux SSH log 中不带年份的问题
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-12-26
异常检测之浅谈入侵检测
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2016-12-23
Python写的CSDN信息推送小助手
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.
-
发表了文章 2016-12-21
别了青春与流年，遇见下一个自己
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 如果说岁月是年轮，我们便是推行者，如果说成长是一场华丽的蜕变，我们便是领舞者。
-
发表了文章 2016-12-15
如何使用一个IP搭建ES集群——Docker如你所愿
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 写在前边的话 随着业务的发展，elasticsearch部署在一台机子上显然会不够用，那么我们该如何处理呢，幸运的elasticsearch支持横向扩展，即集群模式，这样无论数据量增长多大，我们只需要扩展我们的es集群即可。
-
发表了文章 2016-12-14
【Python3.5】读写JSON格式的数据
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-11-28
【Elastalert】告警模式之spike配置详解实例
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-11-19
聊一聊Elasticsearch的健康状态
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-11-16
10张图带你深入理解Docker容器和镜像
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-11-16
NoMethodError：undefined method to_ISO8601 for nil:NilClass
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-11-09
TypeError: view must be a callable or a list/tuple in the case of include().
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-11-03
ELK Stack 之X-pack
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-11-02
hive2.1.0初探以及其中踩的坑
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-10-31
【Docker江湖】之创建Web应用服务镜像——Apache/Nginx
打开微信扫一扫，关注微信公众号【数据与算法联盟】 http://blog.csdn.net/gamer_gyt/article/details/52976232转载请注明出处：http://blog.
-
发表了文章 2016-10-30
【Docker江湖】之创建带有SSH服务的镜像
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-10-28
Elasticsearch5.0 beta版本安装错误
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-10-26
Search-guard在ELK Stack日志分析系统中的应用
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-10-24
Elastalert-基于Elasticsearch层面的监控告警框架
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-10-23
Shield在ELK Stack中的权限保护实例
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
-
发表了文章 2016-10-23
ELK Stack之Shield介绍
打开微信扫一扫，关注微信公众号【数据与算法联盟】 转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.
暂无更多信息
-
发表了文章
2018-03-26
推荐系统的一些思考
-
发表了文章
2018-02-04
Scala 解析 XML
-
发表了文章
2018-02-04
Spark求统计量的两种方法
-
发表了文章
2018-01-30
云栖社区ID(我的搬家邀请码：IMIZB)：https://yq.aliyun.com/u/thinkgamer
-
发表了文章
2018-01-25
Spark多路径输出和二次排序
-
发表了文章
2018-01-23
Spark提交参数说明和常见优化
-
发表了文章
2017-12-14
梯度算法之批量梯度下降，随机梯度下降和小批量梯度下降
-
发表了文章
2017-11-20
异常检测之指数平滑（利用elasticsearch来实现）
-
发表了文章
2017-11-07
回归分析之Sklearn实现电力预测
-
发表了文章
2017-09-29
回归分析之线性回归（N元线性回归）
-
发表了文章
2017-09-20
几种距离计算公式在数据挖掘中的应用场景分析
-
发表了文章
2017-09-17
回归分析之理论篇
-
发表了文章
2017-09-01
数据归一化和其在sklearn中的处理
-
发表了文章
2017-08-29
异常检测之正态分布
-
发表了文章
2017-07-25
K-means 聚类算法的理解与案例实战
-
发表了文章
2017-07-16
MachingLearning中的距离和相似性计算以及python实现
-
发表了文章
2017-07-13
Scrapy 爬取百度贴吧指定帖子的发帖人和回帖人
-
发表了文章
2017-07-05
推荐算法的回顾总结
-
发表了文章
2017-04-06
使用filebeat进行数据加密传输和区别不同的日志源
-
发表了文章
2017-04-06
__str__ returned non-string (type int)
滑动查看更多
暂无更多信息
暂无更多信息