武耀文_个人页

回归模型评估指标

SSE(和方差、误差平方和)：The sum of squares dueto error MSE(均方差、方差)：Meansquared error RMSE(均方根、标准差)：Root mean squared error R-square(确定系数)：Coefficientof determ...

常见超参数调优工具

1.Skopt https://scikit-optimize.github.io/ 是一个超参数优化库，包括随机搜索、贝叶斯搜索、决策森林和梯度提升树。这个库包含一些理论成熟且可靠的优化方法，但是这些模型在小型搜索空间和良好的初始估计下效果最好。

机器学习工具、平台汇总

1. 平台和系统 TensorFlow — TensorFlow 是谷歌的第二代机器学习系统，内建深度学习的扩展支持，任何能够用计算流图形来表达的计算，都可以使用 TensorFlow PaddlePaddle — 百度研发的深度学习平台，具有易用，高效，灵活和可伸缩等特点，为百度内部多项产品提供深度学习算法支持 Apache SINGA — SINGA 是基于大型数据集训练，大型深度学习模块的常规分布式学习平台。

AI平台-AutoML-2019年几个靠谱的AutoML框架

AutoML，也称自动机器学习，是指将机器学习应用于现实问题的端到端过程自动化的过程。

开源-NLP工具-Pytext

PyText 是一个工业级的开源 NLP 工具包，可用于在 PyTorch 中开发 NLP 模型，并通过 ONNX 部署。其预训练模型包括文本分类、序列标注等。

开源-NLP工具

NLP开源工具 1. AllenNLP 说明：An open-source NLP research library, built on PyTorch。官网：https://allennlp.org/github：https://github.com/huntzhan/allennlp 2. PyText 说明：PyText是基于NLP深度学习技术、通过Pytorch构建的建模框架。

开源-开源公司-Apache

Apache开源软件一览： 1.Hadoop Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。

开源-开源公司-Google

Google开源软件一览（大数据和AI方向） 1. Tensorflow 官网地址：https://www.tensorflow.org/Github：https://github.com/tensorflow/tensorflow 2.

开源-开源公司-Alibaba

Alibaba开源软件概览（大数据和AI方向） MNN MNN 是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN 已经在阿里巴巴的手机淘宝、手机天猫、优酷等 20 多个 App 中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。

AI平台-Spark引擎架构

1. 背景 2.spark内核结构 2.1 重要组成部分 1、Application2、spark-submit3、Driver4、SparkContext5、Master6、Worker7、Executor8、Job9、DAGScheduler10、TaskScheduler11、ShuffleMapTask and ResultTask2.

AI平台-MLFlow【全栈AI平台】

MLFlow：An open source platform for the machine learning lifecycle.

AI平台-第四范式AutoML综述

这是一篇来自第四范式(4Paradigm)公司的关于AutoML的综述文章。第四范式是目前国内关于AutoML研究较早较深入的公司之一。AutoML全称是Automated Machine Learning，是2014年以来，机器学习和深度学习领域最炙手可热的领域之一。

AI平台-AutoSKlearn【AutoML】

Auto-sklean 是基于Auto-Weka（https://www.automl.org/automl/autoweka/）使用的 CASH（组合算法选择和超参数优化）问题的定义以及和 AzureAutomated ML 相同的思路构建的：他们考虑同时选择一个学习算法和设置其超参数的问题。

AI平台-NeuronBlocks【NLP工具】

NeuronBlocks是一个模块化NLP深度学习建模工具包，可以帮助工程师/研究者们快速构建NLP任务的神经网络模型。 该工具包的主要目标是将NLP中深度神经网络模型构建的开发成本降到最低，包括训练阶段和推断阶段。

AI平台-MLJ【机器学习框架】

MLJ：超越传统Pipeline的灵活模型组合

AI平台-MNN【推理引擎】

MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT等场景下也有若干应用。

AI平台-TransmogrifAI【AutoML】

TransmogrifAI（发音为 trăns-mŏgrə-fī）是一个用 Scala 编写的 AutoML 库，它运行在 Spark 之上。它的开发重点是通过机器学习自动化加速机器学习开发人员的工作效率，以及实施编译时类型安全、模块化和重用的 API。

python web框架漫谈

说到Web Framework，Ruby的世界Rails一统江湖，而Python则是一个百花齐放的世界，各种micro-framework、framework不可胜数，不完全列表见： http://wiki.python.org/moin/WebFrameworks 虽然另一大脚本语言PHP也有不少框架，但远没有Python这么夸张，也正是因为Python Web Framework（Python Web开发框架，以下简称Python框架）太多，所以在Python社区总有关于Python框架孰优孰劣的话题，讨论的时间跨度甚至长达3-5年。

【数据中台】数据中台的由来

数据中台这个概念是由阿里首次提出的，所以以其为例，阿里现在拥有众多业务分支系统，如淘宝，天猫，阿里妈妈，阿里巴巴等，每套系统都有自己的体系和数据源，都在各自的系统上做了很多服务，但这些系统之间是否是贯通的呢？ 强大的数据中台到底是如何起作用的？ 如果需要对某个信息进行深度挖掘，但在系统中无法查询，需要用另一个系统去查，也就是说数据在各系统之间无法共享，导致效率低下。

机器学习开源一览

数据质量和特征分析

聊聊DMP

关于招聘：如何短时间全面评估一个程序员的能力

云栖社区有很多类似的讨论，有很多评估方式，之前好像在一些文章里也表达过自己的看法，但是在招聘时，时间很有限，最多也就一两小时，如何在这么短时间内评估一个人的技术能力呢？是个有意思的问题。我也招过一些技术人员，我觉的有两点很重要，也很简单。

再议拼多多崛起---数据人无事闲聊

拼多多本质上是他背后强大制造业和互联网等要素构成的价值网，以及无处安放的低端供应链和低销人群构成的巨大市场，最终撑起了拼多多。还有，中国的营销效率是全世界最好的，中国的制造业能力是最强的，中国可以触及的市场是最大的，在这样的价值网基础上，未来中国肯定会崛起许多本土品牌并走向国际。

咱也搞个半小时搞定mysql（基于9000小时定理+概念化学习的现实应用）

常见很多十天，二十天学会什么东东，当然但多数声音都是吐槽，其实，仔细想想，如果基本掌握一门计算机技能，十天半个月是很正常的，我们简单分析分析。

分析拼多多的崛起【产品思维】

最近朋友圈讨论拼多多上市的新闻大火，各有各的看法，很有意思，突然想起前段时间得到上的《梁宁-产品思维30讲》，所以想从数据和产品角度分析分析拼多多的崛起。 一：拼多多的迅速崛起 我们先看看拼多多这几年的成长历程： 2015年9月，拼多多微信公众号上线，两周后粉丝破百万。

人人都是自己的CEO【商业及经济思考】

其实生活本身就是在创业，工作也是在创业，自己的人生本身就是一家公司。创业和上班的本质区别是：上班是将自己的时间出售给公司，创业是将自己的时间出售给自己，创业是否能成功，本质上就可以理解成把自己的时间出售给某家公司还是出售给自己更具商业价值的抉择。

关于人人都是产品经理的思考【产品经理的反思】

其实我们人人都是产品经理，人人都是自己的CEO，一个好的产品经理应该具备一家完善的公司能力；人能给人的只有信息，人能做的就是更好的协调周边资源或信息的运作方式，从中推进人生向更高处发展。我们都需要一双眼睛，是发现痛点、找到**破局**点的敏锐之眼，二需要一双手，是动手优化、着手改变的行动之手；三是需要一颗心，是洞察人性的同理心，懂得自己与用户，懂得产品上每个细节给到人的满足感、确认感和依赖感。

概念化学习Django

概览【程序员眼中的数学】

博客计划【推荐系统】

前言【最爱的贝叶斯哲学】

和传统的统计推断不同，贝叶斯推断会保留不确定性。

未来十年，计算机邻域什么不变的

概览【JavaScript那些事】

数据分析索引【数据分析】

索引【数据挖掘算法】

索引【C语言模块化设计沉思录】

Spark框架概览【大数据技术】

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求 官方资料介绍Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍，在实际项目中也比较接近这一指标。

Tensorflow和其他框架对比【Tensorflow】

快速了解Pandas

一、生成数据表 1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用： import numpy as np import pandas as pd 2、导入CSV或者xlsx文件： df = pd.

有趣的Tensorflow游乐场以及有趣的思考

闲来无事不小心发现一个好玩有适合神经网络初学者的工具。google的神经网络Tensorflow游戏场，通过拖拽就可以选择特征，配置权重，配置隐藏层等，下图是通过左侧点集的点位置(x1,x2),算出点集的蓝色和橙色区域：地址有意思的反思：我从大二起就在公司实现一直到研究生、工作，先后接触了电子设计，.

Google的MapReduce之python实现

使用python实现google的mapreduce计算框架，类似hadoop。

Python的迭代

探讨 Python 的 for 循环来看看它们在底层如何工作，以及为什么它们会按照它们的方式工作。

Python实现MySQL连接池

python编程中可以使用MySQLdb进行数据库的连接及诸如查询/插入/更新等操作，但是每次连接mysql数据库请求时，都是独立的去请求访问，相当浪费资源，而且访问数量达到一定数量时，对mysql的性能会产生较大的影响。

Java内存模型

ASO行业公司及现状概述

那些用起来很爽的工具或网站（转）

维棠 - 全新的视频体验：秒杀各类视频网站（去找第三方做的绿色版吧……官方广告太多了）。Internet Download Manager: the fastest download accelerator：将下载速度提升到带宽极限，（同时）嗅探、下载一切视频。

图解程序化投放【计算广告】

DSP、SSP、RTB、ADX的故事【计算广告】

python常用框架

整理出15个最受欢迎的Python开源框架，这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。