傲海_个人页

【玩转数据系列十三】机器学习算法基于信用卡消费记录做信用评分

机器学习算法基于信用卡消费记录做信用评分 背景 如果你是做互联网金融的，那么一定听说过评分卡。评分卡是信用风险评估领域常用的建模方法，评分卡并不简单对应于某一种机器学习算法，而是一种通用的建模框架，将原始数据通过分箱后进行特征工程变换，继而应用于线性模型进行建模的一种方法。

【机器学习PAI实践八】用机器学习算法评估学生考试成绩

（本文数据为实验用例） 一、背景 母亲是老师反而会对孩子的学习成绩造成不利影响？能上网的家庭，孩子通常能取得较好的成绩？影响孩子成绩的最大因素居然是母亲的学历？本文通过机器挖掘算法和中学真实的学生数据为您揭秘影响中学生学业的关键因素有哪些。 本文的数据采集于某中学在校生的家庭背景数据以及在校行为数据。通过逻辑回归算法生成离线模型和学业指标评估报告，并且可以对学生的期

十图详解TensorFlow数据读取机制（附代码）

在学习TensorFlow的过程中，有很多小伙伴反映读取数据这一块很难理解。确实这一块官方的教程比较简略，网上也找不到什么合适的学习材料。今天这篇文章就以图片的形式，用最简单的语言，为大家详细解释一下TensorFlow的数据读取机制，文章的最后还会给出实战代码以供参考。 TensorFlow读取机制图解 首先需要思考的一个问题是，什么是数据读取？以图像数据为例，读取数据的过程可以用下图来表示

五大机器学习微信公众号推荐

背景 机器学习是目前非常火热的领域，每天都有大量的机器学习相关的资讯产生。博主也是从事机器学习相关的工作，每天上下班在地铁上都喜欢通过相关微信公众号了解咨询，现在就为大家推荐几个我觉得比较不错的公众号，排名不分先后。 36大数据 36大数据以大数据实操性介绍为主的媒体，会有很多关于机器学习以及BI分析相关的实践性文章。通常我会比较关注这里面的一些关于机器学习的创

如何使用阿里云机器学习PAI的离线周期性调度功能

【机器学习PAI实践七】文本分析算法实现新闻自动分类

一、背景 新闻分类是文本挖掘领域较为常见的场景。目前很多媒体或是内容生产商对于新闻这种文本的分类常常采用人肉打标的方式，消耗了大量的人力资源。本文尝试通过智能的文本挖掘算法对于新闻文本进行分类。无需任何人肉打标，完全由机器智能化实现。 本文通过PLDA算法挖掘文章的主题，通过主题权重的聚类，实现新闻自动分类。包括了分词、词型转换、停用词过滤、主题挖掘、聚类等流程。

【干货】Kaggle 数据挖掘比赛经验分享（mark 专业的数据建模过程）

简介 Kaggle 于 2010 年创立，专注数据科学，机器学习竞赛的举办，是全球最大的数据科学社区和数据竞赛平台。笔者从 2013 年开始，陆续参加了多场 Kaggle上面举办的比赛，相继获得了 CrowdFlower 搜索相关性比赛第一名（1326支队伍）和 HomeDepot 商品搜索相关性比赛第三名（2125支队伍），曾在 Kaggle 数据科学家排行榜排名全球第十

【机器学习PAI实践六】金融贷款发放预测

一、背景 很多农民因为缺乏资金，在每年耕种前会向相关机构申请贷款来购买种地需要的物资，等丰收之后偿还。农业贷款发放问题是一个典型的数据挖掘问题。贷款发放人通过往年的数据，包括贷款人的年收入、种植的作物种类、历史借贷信息等特征来构建经验模型，通过这个模型来预测受贷人的还款能力。 本文借助真实的农业贷款业务场景，利用回归算法解决贷款发放业务。 线性回归，是利用数理统计中回归分

【机器学习PAI实践五】机器学习眼中的《人民的名义》

一、背景 最近热播的反腐神剧“人民的名义”掀起来一波社会舆论的高潮，这部电视剧之所能得到广泛的关注，除了老戏骨们精湛的演技，整部剧出色的剧本也起到了关键的作用。笔者在平日追剧之余，也尝试通过机器学习算法对人民的名义的部分剧集文本内容进行了文本分析，希望从数据的角度得到一些输入。 本文使用阿里云机器学习PAI，主要针对以下几个方面进行了实验： 分词以及词频统计 每

【玩转数据系列十一】机器学习PAI眼中的《人民的名义》

最近热播的反腐神剧“人民的名义”掀起来一波社会舆论的高潮，这部电视剧之所能得到广泛的关注，除了老戏骨们精湛的演技，整部剧出色的剧本也起到了关键的作用。笔者在平日追剧之余，也尝试通过机器学习算法对人民的名义的部分剧集文本内容进行了文本分析，希望从数据的角度得到一些输入。

【机器学习PAI实践四】如何实现金融风控

（本文数据为虚构，仅供实验） 一、背景 本文将针对阿里云平台上图算法模块来进行实验。图算法一般被用来解决关系网状的业务场景。与常规的结构化数据不同，图算法需要把数据整理成首尾相连的关系图谱。图算法更多的是考虑边和点的概念。阿里云机器学习平台上提供了丰富的图算法组件，包括K-Core、最大联通子图、标签传播聚类等。 本文的业务场景如下： 下图是已知的一份人物通联关系

【机器学习PAI实践三】雾霾成因分析

一、背景 如果要人们评选当今最受关注话题的top10榜单，雾霾一定能够入选。如今走在北京街头，随处可见带着厚厚口罩的人在埋头前行，雾霾天气不光影响了人们的出行和娱乐，对于人们的健康也有很大危害。本文通过爬取并分析北京一年来的真实天气数据，挖掘出二氧化氮是跟雾霾天气（这里指的是PM2.5）相关性最强的污染物，从而为您揭秘形成雾霾的罪魁祸首。 这里我们是用阿里云机器学习平

【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类

伴随着今日阿里云机器学习PAI在云栖大会的重磅发布，快来感受下人工智能的魅力。 一、背景 随着互联网的发展，产生了大量的图片以及语音数据，如何对这部分非结构化数据行之有效的利用起来，一直是困扰数据挖掘工程师的一到难题。

【机器学习PAI实践二】人口普查统计

产品地址：https://data.aliyun.com/product/learn?spm=a21gt.99266.416540.102.OwEfx2 一、背景 感谢大家关注玩转数据系列文章，我们希望通过在阿里云机器学习平台上提供demo数据并搭建相关的实验流程的方式来帮助大家学习如何通过算法来挖掘数据中的价值。本系列文章包含详细的实验流程以及相关的文档教程，欢迎大

【玩转数据系列九】机器学习为您解密雾霾形成原因

如果要人们评选当今最受关注话题的top10榜单，雾霾一定能够入选。如今走在北京街头，随处可见带着厚厚口罩的人在埋头前行，雾霾天气不光影响了人们的出行和娱乐，对于人们的健康也有很大危害。本文通过爬取并分析北京一年来的真实天气数据，挖掘出二氧化氮是跟雾霾天气（这里指的是PM2.5）相关性最强的污染物，从

【机器学习PAI实践一】搭建心脏病预测案例

产品地址：https://data.aliyun.com/product/learn?spm=a21gt.99266.416540.102.OwEfx2 一、背景 心脏病是人类健康的头号杀手。全世界1／3的人口死亡是因心脏病引起的，而我国，每年有几十万人死于心脏病。 所以，如果可以通过提取人体相关的体侧指标，通过数据挖掘的方式来分析不同特征对于心脏病的影响，对于预测和

【玩转数据系列七】有娃的注意了，机器学习教您如何提高孩子学习成绩

母亲是老师反而会对孩子的学习成绩造成不利影响？能上网的家庭，孩子通常能取得较好的成绩？影响孩子成绩的最大因素居然是母亲的学历？本文通过机器挖掘算法和中学真实的学生数据为您揭秘影响中学生学业的关键因素有哪些。

【玩转数据系列六】文本分析算法实现新闻自动分类

新闻分类是文本挖掘领域较为常见的场景。目前很多媒体或是内容生产商对于新闻这种文本的分类常常采用人肉打标的方式，消耗了大量的人力资源。本文尝试通过智能的文本挖掘算法对于新闻文本进行分类。无需任何人肉打标，完全由机器智能化实现。

【玩转数据系列五】农业贷款发放预测

很多农民因为缺乏资金，在每年耕种前会向相关机构申请贷款来购买种地需要的物资，等丰收之后偿还。农业贷款发放问题是一个典型的数据挖掘问题。贷款发放人通过往年的数据，包括贷款人的年收入、种植的作物种类、历史借贷信息等特征来构建经验模型，通过这个模型来预测受贷人的还款能力。

【玩转数据系列四】听说啤酒和尿布很配？本期教你用协同过滤做推荐

数据挖掘的一个经典案例就是尿布与啤酒的例子。尿布与啤酒看似毫不相关的两种产品，但是当超市将两种产品放到相邻货架销售的时候，会大大提高两者销量。很多时候看似不相关的两种产品，却会存在这某种神秘的隐含关系，获取这种关系将会对提高销售额起到推动作用，然而有时这种关联是很难通过理性的分析得到的。这时候我们需

【玩转数据系列三】利用图算法实现金融行业风控

本文将针对阿里云平台上图算法模块来进行实验。图算法一般被用来解决关系网状的业务场景。与常规的结构化数据不同，图算法需要把数据整理成首尾相连的关系图谱。图算法更多的是考虑边和点的概念。阿里云机器学习平台上提供了丰富的图算法组件，包括K-Core、最大联通子图、标签传播聚类等。

【玩转数据系列二】机器学习应用没那么难，这次教你玩心脏病预测

心脏病是人类健康的头号杀手。全世界1／3的人口死亡是因心脏病引起的，而我国，每年有几十万人死于心脏病。 所以，如果可以通过提取人体相关的体侧指标，通过数据挖掘的方式来分析不同特征对于心脏病的影响，对于预测和预防心脏病将起到至关重要的作用。本文将会通过真实的数据，通过阿里云机器学习平台搭建心脏病预测案

【玩转数据系列一】人口普查统计案例

玩转数据系列文章通过简单地案例搭建，介绍如何通过阿里云机器学习平台进行数据挖掘。

Google Java编程风格指南

作者：Hawstein出处：http://hawstein.com/posts/google-java-style.html声明：本文采用以下协议进行授权： 自由转载-非商用-非衍生-保持署名|Creative Commons BY-NC-ND 3.0 ，转载请注明作者及出处。 目录 前言 源文件基础 源文件结构 格式 命名约定 编程实践 Javadoc 后记 前言 这份文档是Googl

PM九步法

多年以后，当我面对那些年青的产品经理，我会想起自己当年从事的是一份高薪的工作。那是2000年，我大学毕业后在北京一家IT网站做搜索引擎PM，当时我一个月的薪水能在亚运村买一平方米房子，十年之后，朋友招聘PM，开出的月薪和我十年前一样，差别是这时年青的PM用一年的薪水才能在亚运村买到一平方米的房子。对此，我很迷惑，于是咨询HR的同事，HR的同事告诉我，十年前产品经理是稀缺工种，现在不是了。 十年

【分布式计算】分布式日志导入工具-Flume

背景 Flume是Apache赞助的一个分布式日志管理系统，主要功能就是把集群中每个worker产生的日志log，collect到特定的地点。 为什么要写这篇文章呢，因为现在搜索出来的文献大多是老版本的flume，在flume1.X版本后，也就是flume-ng版本跟之前出现了很大的改动，市面上的很多文档都已经过时了，大家看的时候一定要注意这点，稍后我会提供几个比较新的，

高效MacBook工作环境配置

1. 硬件提升 如果你资金宽裕，可以买个机械键盘和无线鼠标，进一步提升工作效率。 2. 系统设置 2.1 将功能键(F1-F12)设置为标准的功能键 MacBook键盘最上面一排的功能键(F1-F12)默认是系统亮度和声音之类的快捷设置，当MacBook作为你的娱乐电脑时，这样的默认设置是非常方便的，但是对于将MacBook作为工作电脑而且需要频繁使用功能键(F1-F12)的人，最好将功能键

【LeetCode从零单排】No.135Candy(双向动态规划)

1.题目 There are N children standing in a line. Each child is assigned a rating value. You are giving candies to these children subjected to the following requirements: Each child must have at least

机器学习常见算法分类汇总

机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。本文为您总结一下常见的机器学习算法，以供您在工作和学习中参考。 机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。 学习方式 根据数据类型的不同，对一个问题的建模有

大型文件去重

1.背景 面试的时候经常会被问到一个问题，大型的文件该如何去重。写一个python脚本是效率很差的策略。这里讲下如何用shell实现。 2.流程 （1）文件切割 用split函数对于文件切割。 split -l 10000 test.txt -l是按照行切割，10000是每10000行切割成一份文件。切割完会在当前目录自动生成10000行一例的文件。

【分布式计算】DFS && BigTable

1.背景 分布式计算的发迹应该是google在2003年发表的三篇paper，分别是GFS、MapReduce、BigTable。其中MapReduce大家都很熟悉了，不懂的同学也可以看看我之前写的文章【分布式计算】MapReduce的替代者-Parameter Server 为什么google会搞分布式计算这件事儿呢，因为在那个年代每天会产生几个T的日志，但是当时的磁盘只允许存储几

unittest单元测试

1.背景 到了公司发现，ut（单元测试）是非常重要的一部分，ut并不是完全是测试的同学完成，很多时候ut是需要开发的同学自己来做。研究了下python脚本下unittest包的用法。 使用的时候要import unittest包，函数的传入参数unittest.TestCase，主要结构包括: setUp()：初始化测试函数 tearDown()：测试结束后的清理工作 若干测试函数以tes

面试题总结~~（google level）

题目一Trapping Rain Water Given n non-negative integers representing an elevation map where the width of each bar is 1, compute how much water it is able to trap after raining. For example, Given [0,

29个你必须知道的Linux命令

虽然Linux发行版支持各种各样的饿GUI（graphical user interfaces），但在某些情况下，Linux的命令行接口(bash)仍然是简单快速的。Bash和 Linux Shell 需要输入命令来完成任务，因而被称为 命令行 接口。 命令是计算机执行任务的指令。可以使用命令去关闭计算机，或者列出当前目录的文件列表，或当前文本的内容，或者屏幕显示一条消息。 如果你是一个新手，

【LeetCode从零单排】No198.House Robber &&No91.Decode Ways&&139 word break（动态规划典型应用）

1.题目 一道典型的Dynamic Programming的题目。 You are a professional robber planning to rob houses along a street. Each house has a certain amount of money stashed, the only constraint stopping you from robbin

【LeetCode从零单排】No22.Generate Parentheses

题目 Given n pairs of parentheses, write a function to generate all combinations of well-formed parentheses. For example, given n = 3, a solution set is: "((()))", "(()())", "(())()", "()(())", "()()

【分布式计算】MapReduce的替代者-Parameter Server

首先还是要声明一下，这个文章是我在入职阿里云1个月以来，对于分布式计算的一点肤浅的认识，可能有些地方不够妥善，还请看官可以指出不足的地方，共同进步。 一.背景 随着互联网的发展，数据量的增大，很多对于数据的处理工作（例如一些推荐系统、广告推送等）都迁移到了云端，也就是分布式计算系统上。衍生了很多牛逼的分布式计算的计算模型，比较著名的就是MapReduce、MPI、BS

google的面试要求（自己的标杆）

http://sites.google.com/site/steveyegge2/five-essential-phone-screen-questions e Five Essential Phone-Screen Questions Stevey's Drunken Blog Rants™ I've been on a lot of SDE interview loops lately

【LeetCode从零单排】No221.Maximal Square

题目 Given a 2D binary matrix filled with 0's and 1's, find the largest square containing all 1's and return its area. For example, given the following matrix: 1 0 1 0 0 1 0 1 1 1 1 1 1 1 1 1 0 0 1 0

【Hadoop】MAC下hadoop2.6安装以及执行wordcount

首先简单介绍下博主的配置环境 MAC 10.10.0 hadoop 2.6 JDK 1.6（可以在shell里用jdk -version查询） hadoop安装 安装的话推荐使用mac下面的brew，理由就是用brew安装的话，它会自动给帮你配置好相应的路径。当然也可以到官网下载，注意jdk和hadoop版本要对应。 brew install hadoop

shell启动sublime

cd /usr/bin sudo ln -s /Applications/Sublime\ Text\ 2.app/Contents/SharedSupport/bin/subl sublln是链接的意思

面试总结-腾讯产品群面

坊间一直相传腾讯的产品、百度的技术、阿里的淘宝和金融，是比较牛逼的，所以当时就鬼使神差的报了腾讯的产品经理（pdm）。没想到跟技术面大不一样，上来就是群面啊，而且对手不是不善言表的码农，是很多各种专业的漂亮妹子以及穿正装的汉子....... 不过博主还是机智的通过了群面，看来冷峻的工科男还是比较受面试官青睐的。 上来一分钟自我介绍，好吧，除了我以外大家都说了好多套话，类似于“很荣幸来到这里”

面试总结-阿里巴巴

过了笔试，终于迎来了面试环节喽。这次是电话面试，博主面的是数据产品经理，算法工程师大神太多，果断怂了，产品经理也不错，一直想试试 第一问：介绍下你的项目     刚开始我先确定了下是产品经理的岗位，然后果断调整战术，毕竟技术出身。。。讲了我的几个android应用的设计思路和使用情况。他主要是问了下设计的原理什么的，用户量。    突然他话锋一转，说了下我们是数据产品经理，于是博主意识到原来

sql语句学习

针对一个表练习 1.建表 create table student(name Char(20),curriculum Char(20),score Char(20)); 插入数据： INSERT INTO student (name,curriculum,score) VALUES('王五','数学','100'); mysql> select * from student; +-

MAC下homebre安装mysql

1.执行安装命令 brew install mysql 2.执行完输入mysql会有如下bug ERROR 2002 (HY000): Can not connect to local MySQL server through socket '/tmp/mysql.sock' (2) 3.bug解决方案 unset TMPDIR 4.然后 mysql_install_db --verbos

【LeetCode从零单排】No133. clon graph (BFS广度优先搜索)

背景 （以下背景资料转载自：http://www.cnblogs.com/springfor/p/3874591.html?utm_source=tuicool） DFS（Dpeth-first Search）顾名思义，就是深度搜索，一条路走到黑，再选新的路。记得上Algorithm的时候，教授举得例子就是说，DFS很像好奇的小孩，你给这个小孩几个盒子套盒子，好奇的小孩肯定会一个盒子打开后继

面试总结-百度（2）

百度数据挖掘部门      跟一面隔了差不多一个星期，收到了二面的通知，这次不是去百度大厦，是去科技园。第一次来科技园，发现这里还是一片工地，有很多大的IT公司，看到汉王科技、IBM之类的。      面试官是一个三十五岁左右的一个看似像是部门leader的人。拿着电脑，边面试边处理工作，氛围比一面的时候轻松了许多。先是问了下基本情况，比较感兴趣实验室是做什么的。然后指出了我在一个项目中使用的

【LeetCode从零单排】No121 Best Time to Buy and Sell Stock

题目 Say you have an array for which the ith element is the price of a given stock on day i. If you were only permitted to complete at most one transaction (ie, buy one and sell one share of the stoc

单链表问题（反转、是否有环、删除结尾第N个节点、合并两个sortlist、找到交点）

1.时间复杂度O(N),内存O(1)的效率下实现单链表的翻转 public static TreeNode revers(TreeNode head){ TreeNode temp,first,second; first=head; second=head.next; while(second!=null){ temp=second.next; second.n

面试总结-百度（1）

百度数据挖掘部门        自我介绍，扯了一些项目方面的东西，就是简历上的，然后开始写代码，最后问你有没有什么问题。 题目如下： （1）用两个栈实现一个队列（优化后解） public class QueueImplementByTwoStacks { Stack<Integer> a=new Stack<Integer>();