seancheney
seancheney_个人页
seancheney
文章
117
问答
0
视频
0
个人介绍
热 · 爱 >> 最近在看的书： 《Pandas Cookbook》 《图解数据结构·使用Python》 《利用Apache Flink进行流处理》 >> 欢迎指出译稿和其它文章中的错误 >> 所有文章仅供个人学习不涉及商业利益
擅长的技术
- Python
-
发表了文章 2017-11-18
Scrapy的架构
Scrapy的架构太重要了，单用一篇文章再总结整合下。前两张图来自《Learning Scrapy》，第三张图来自Scrapy 1.0中文官方文档（该中文文档只到1.0版），第四张图来自Scrapy 1.4英文官方文档（最新版），是我翻译的。
-
发表了文章 2017-11-18
Python的线程与进程
看过《Python分布式计算》，觉得线程和进程，最大的区别还是在于 —— 二者是如何与内存交互的。线程是共享式的内存架构，进程是分布式的内存架构，这才是问题的本质。
-
发表了文章 2017-11-18
Python的全局解释器锁（GIL）
转一篇关于Python GIL的文章。 归纳一下，CPU的大规模电路设计基本已经到了物理意义的尽头，所有厂商们都开始转向多核以进一步提高性能。Python为了能利用多核多线程的的优势，但又要保证线程之间数据完整性和状态同步，就采用了最简单的加锁的方式（所以说Python的GIL是设计之初一时偷懒造成的！）。
-
发表了文章 2017-11-15
《Scikit-Learn与TensorFlow机器学习实用指南》
看了《Scikit-Learn与TensorFlow机器学习实用指南》（Hands-On Machine Learning with Scikit-Learn and TensorFlow）一书的序言和第1章的一部分。
-
发表了文章 2017-11-15
《利用Python进行数据分析·第2版》第6章 数据加载、存储与文件格式
第1章 准备工作第2章 Python语法基础，IPython和Jupyter第3章 Python的数据结构、函数和文件第4章 NumPy基础：数组和矢量计算第5章 pandas入门 第6章 数据加载、存储与文件格式第7章 数据清洗和准备第8章 数据规整：聚合、合并和重塑第9章 绘图和可视化第10章 数据聚合与分组运算第11章 时间序列第12章 pandas高级应用第13章 Python建模库介绍第14章 数据分析案例附录A NumPy高级应用附录B 更多关于IPython的内容（完） 访问数据是使用本书所介绍的这些工具的第一步。
-
发表了文章 2017-11-14
《利用Python进行数据分析·第2版》第5章 pandas入门
第1章 准备工作第2章 Python语法基础，IPython和Jupyter第3章 Python的数据结构、函数和文件第4章 NumPy基础：数组和矢量计算 第5章 pandas入门第6章 数据加载、存储与文件格式第7章 数据清洗和准备第8章 数据规整：聚合、合并和重塑第9章 绘图和可视化第10章 数据聚合与分组运算第11章 时间序列第12章 pandas高级应用第13章 Python建模库介绍第14章 数据分析案例附录A NumPy高级应用附录B 更多关于IPython的内容（完） pandas是本书后续内容的首选库。
-
发表了文章 2017-11-12
《射雕英雄传》中的对比
又翻了翻射雕英雄传，当初第一次看还是高中，再次看的时候发现好多人物都是对比设置的。 杨铁心vs郭啸天 包惜弱vs李萍 杨康vs郭靖 黄蓉vs穆念慈 洪七公vs段智兴 欧阳锋vs黄药师 王重阳vs周伯通 全真七子vs江南七怪 ...
-
发表了文章 2017-11-12
Python题目
简述函数式编程 在函数式编程中，函数是基本单位，变量只是一个名称，而不是一个存储单元。除了匿名函数外，Python还使用fliter(),map(),reduce(),apply()函数来支持函数式编程。
-
发表了文章 2017-11-11
《大话数据结构》总结
第一章 绪论 什么是数据结构？ 数据结构的定义：数据结构是相互之间存在一种或多种特定关系的数据元素的集合。 第二章 算法 算法的特性：有穷性、确定性、可行性、输入、输出。
-
发表了文章 2017-11-10
《生命3.0》（Life 3.0）
《生命3.0》一书的一些摘抄。好多配图也太可爱了吧，哈哈233。 序章 Omega团队 讲了一个“科幻”故事，Omega团队创造了一个超级强大的AI“普罗米修斯”，他们利用这个AI逐步控制了全世界。
-
发表了文章 2017-11-09
《利用Python进行数据分析·第2版》第4章 NumPy基础：数组和矢量计算
第1章 准备工作第2章 Python语法基础，IPython和Jupyter第3章 Python的数据结构、函数和文件 第4章 NumPy基础：数组和矢量计算第5章 pandas入门第6章 数据加载、存储与文件格式第7章 数据清洗和准备第8章 数据规...
-
发表了文章 2017-11-07
《利用Python进行数据分析·第2版》第3章 Python的数据结构、函数和文件
第1章 准备工作第2章 Python语法基础，IPython和Jupyter 第3章 Python的数据结构、函数和文件第4章 NumPy基础：数组和矢量计算第5章 pandas入门第6章 数据加载、存储与文件格式第7章 数据清洗和准备第8章 数据规整：聚合、合并和重塑第9章 绘图和可视化第10章 数据聚合与分组运算第11章 时间序列第12章 pandas高级应用第13章 Python建模库介绍第14章 数据分析案例附录A NumPy高级应用附录B 更多关于IPython的内容（完） 本章讨论Python的内置功能，这些功能本书会用到很多。
-
发表了文章 2017-11-04
MongoDB + Spark: 完整的大数据解决方案
转一篇文章，貌似大数据解决方案这块，MongoDB和HDFS还要较量一番。http://www.mongoing.com/tj/mongodb_shanghai_spark 其余可参考的：http://blog.
-
发表了文章 2017-10-30
Scrapy CSS选择器
官方文档的CSS选择器太简短，整理了一个比较全的。 * 选择所有节点 #container 选择id为container的节点 .
-
发表了文章 2017-10-30
Scrapy-Redis分布式抓取麦田二手房租房信息与数据分析
试着通过抓取一家房产公司的全部信息，研究下北京的房价。文章最后用Pandas进行了分析，并给出了数据可视化。 准备工作 麦田房产二手房页面（http://bj.maitian.cn/esfall/PG1）。
-
发表了文章 2017-10-29
Redis、MongoDB实现远程访问
修改redis.conf： sudo vi /etc/redis/redis.conf 将绑定主机这条注释掉： # bind 127.0.0.1 保护模式改为no： protected-mode no 打开文件mongodb.
-
发表了文章 2017-10-26
三本关于机器学习和深度学习的书
这几本在Amazon上的排名都非常高，最近特别火的书。 第一本：《用Scikit-Learn和TensorFlow实践机器学习》（Hands-On Machine Learning with Scikit-Learn and TensorFlow:...
-
发表了文章 2017-10-26
《Python数据分析》2nd
《Python数据分析》（Python for Data Analysis, 2nd Edition）第二版出了，目前还没有中文版，这版的代码适用于Python 3.6 。
-
发表了文章 2017-10-26
推荐下GitHub爬虫专题的资源，很丰富！
https://github.com/topics/crawler
-
发表了文章 2017-10-25
COURSERA上的Python课程
https://www.coursera.org/courses?query=python
-
发表了文章 2017-10-21
The Tale of Creating a Distributed Web Crawler
推荐一篇分布式爬虫的文章https://benbernardblog.com/the-tale-of-creating-a-distributed-web-crawler/
-
发表了文章 2017-10-21
Scrapy使用随机IP代理插件Scrapy-Proxies
使用Scrapy_Proxies随机IP代理插件https://github.com/aivarsk/scrapy-proxies 安装： pip install scrapy_proxies 设置settings.
-
发表了文章 2017-10-21
Scrapy使用随机IP代理
第一步，先用不用代理的方式从西刺代理抓几个可用的IP，用Python的telnetlib库对其进行验证，将可用且速度够快的IP存入Redis和一个txt文件： import redis import telnetlib import urllib.
-
发表了文章 2017-10-20
Scrapy随机切换用户代理User-Agent
使用fake-useragent：https://github.com/hellysmile/fake-useragent 这是一个可以随机切换访问头的插件 安装方法： pip install fake-useragent 使用方法： from fa...
-
发表了文章 2017-10-18
《Python分布式计算》 第7章 测试和调试分布式应用 （Distributed Computing with Python）
序言第1章 并行和分布式计算介绍第2章 异步编程第3章 Python的并行计算第4章 Celery分布式应用第5章 云平台部署Python第6章 超级计算机群使用Python 第7章 测试和调试分布式应用第8章 继续学习 无论大小的分布式应用，测试和调试的难度都非常大。
-
发表了文章 2017-10-18
《Python分布式计算》 第6章 超级计算机群使用Python （Distributed Computing with Python）
序言第1章 并行和分布式计算介绍第2章 异步编程第3章 Python的并行计算第4章 Celery分布式应用第5章 云平台部署Python 第6章 超级计算机群使用Python第7章 测试和调试分布式应用第8章 继续学习 本章，我们学习另一种部署分布式Python应用的的方法。
-
发表了文章 2017-10-13
《Python分布式计算》 第4章 Celery分布式应用 （Distributed Computing with Python）
序言第1章 并行和分布式计算介绍第2章 异步编程第3章 Python的并行计算 第4章 Celery分布式应用第5章 云平台部署Python第6章 超级计算机群使用Python第7章 测试和调试分布式应用第8章 继续学习 本章是前面某些知识点的延续。
-
发表了文章 2017-10-13
《Python分布式计算》 第3章 Python的并行计算 （Distributed Computing with Python）
序言第1章 并行和分布式计算介绍第2章 异步编程 第3章 Python的并行计算第4章 Celery分布式应用第5章 云平台部署Python第6章 超级计算机群使用Python第7章 测试和调试分布式应用第8章 继续学习 我们在前两章提到了线程、进程，还有并发编程。
-
发表了文章 2017-10-11
《Python分布式计算》第2章 异步编程 （Distributed Computing with Python）
序言第1章 并行和分布式计算介绍 第2章 异步编程第3章 Python的并行计算第4章 Celery分布式应用第5章 云平台部署Python第6章 超级计算机群使用Python第7章 测试和调试分布式应用第8章 继续学习 从本章开始，终于开始写代码了！本书中所有的代码都适用于Python 3.5及以上版本。
-
发表了文章 2017-10-11
《Python分布式计算》第1章 并行和分布式计算介绍 （Distributed Computing with Python）
序言 第1章 并行和分布式计算介绍第2章 异步编程第3章 Python的并行计算第4章 Celery分布式应用第5章 云平台部署Python第6章 超级计算机群使用Python第7章 测试和调试分布式应用第8章 继续学习 本书示例代码适用于Python 3.5及以上。
-
发表了文章 2017-10-10
阿姆达尔定律和古斯塔夫森定律
摘要 构建软件的并行版本可使应用在更短的时间内运行指定的数据集，在固定时间内运行多个数据集，或运行非线程软件禁止运行的大型数据集。 并行化的成功通常通过测量并行版本的加速（相对于串行版本）来进行量化。
-
发表了文章 2017-10-10
《Python分布式计算》 0 序言 （Distributed Computing with Python）
序言第1章 并行和分布式计算介绍第2章 异步编程第3章 Python的并行计算第4章 Celery分布式应用第5章 云平台部署Python第6章 超级计算机群使用Python第7章 测试和调试分布式应用第8章 继续学习 Python分布式计算 作者简介 Francesco Pierfederici是一名喜爱Python的软件工程师。
-
发表了文章 2017-10-10
Docker技术入门与实战
GitBookhttps://www.gitbook.com/book/yeasy/docker_practice/details pdf 版本 下载 epub 版本 下载
-
发表了文章 2017-10-10
Numpy和Matplotlib
Python科学计算——Numpy Numpy(Numerical Python extensions)是一个第三方的Python包，用于科学计算。这个库的前身是1995年就开始开发的一个用于数组运算的库。
-
发表了文章 2017-10-10
Python基础回顾
Python shell输入import this 可以看到The Zen of Python 基本数据类型和运算 基本数据类型 Python中最基本的数据类型包括整型，浮点数，布尔值和字符串。
-
发表了文章 2017-10-10
Python 2.7.x 与 Python 3.x 的不同点
本文翻译自：《Key differences between Python 2.7.x and Python 3.x》 许多 Python 初学者想知道他们应该从 Python 的哪个版本开始学习。
-
发表了文章 2017-10-06
南锣鼓巷到后海
十月4号去南锣鼓巷转了转，人群摩肩接踵，好不热闹。吃晚饭时看新闻联播，还播了南锣鼓巷密集的人流（南锣鼓巷摄像头密布，保安便衣无数）。 从南锣鼓巷的南巷口一直走到北巷口，一路都是各种网红小吃、藏品店。
-
发表了文章 2017-10-03
Scrapy1.4最新官方文档总结 4 爬虫
Scrapy1.4最新官方文档总结 1 介绍·安装Scrapy1.4最新官方文档总结 2 TutorialScrapy1.4最新官方文档总结 3 命令行工具 这是官方文档的爬虫https://docs.
-
发表了文章 2017-10-03
Scrapy1.4最新官方文档总结 3 命令行工具
Scrapy1.4最新官方文档总结 1 介绍·安装Scrapy1.4最新官方文档总结 2 TutorialScrapy1.4最新官方文档总结 3 命令行工具 这是官方文档的命令行工具https://docs.
-
发表了文章 2017-10-02
Scrapy1.4最新官方文档总结 2 Tutorial
Scrapy1.4最新官方文档总结 1 介绍·安装Scrapy1.4最新官方文档总结 2 TutorialScrapy1.4最新官方文档总结 3 命令行工具 这是官方文档的Tutorial（https://docs.scrapy.org/en/latest/intro/tutorial.html）。
-
发表了文章 2017-10-02
Scrapy1.4最新官方文档总结 1 介绍·安装
Scrapy1.4最新官方文档总结 1 介绍·安装Scrapy1.4最新官方文档总结 2 TutorialScrapy1.4最新官方文档总结 3 命令行工具 《Learning Scrapy》这本书是2016年1月出版的，作者使用的版本是Scrapy 1.0.3。
-
发表了文章 2017-10-02
Celery分布式任务队列插件
http://docs.celeryproject.org/en/latest/index.html Celery - Distributed Task Queue Celery is a simple, flexible, and reliable...
-
发表了文章 2017-10-02
Python模拟登陆 —— 征服验证码 10 知乎（倒立文字验证码）
知乎的倒立文字验证码 # 登录知乎，通过保存验证图片方式 import urllib.request import urllib.parse import time import http.
-
发表了文章 2017-10-02
Python模拟登陆 —— 征服验证码 9 微博weibo.com
登录界面 抓包分析可以使用Http Analyzer，Filders，但是看起来很复杂，还是使用火狐好（chrome远远没有火狐好用）。 首先，在输入用户名后，会进行预登录，网址为：http://login.
-
发表了文章 2017-09-30
Python模拟登陆 —— 征服验证码 8 微信网页版
微信登录界面 微信网页版使用了UUID含义是通用唯一识别码来保证二维码的唯一性。 先用一个伪造的appid获得uuid。 params = { 'appid': 'wx782c26e4c19acffb', 'fun': 'new', 'lang': 'zh_CN', '_': int(time.time()), } 不伪造的话，会有400错误，拿不到uuid。
-
发表了文章 2017-09-30
Python模拟登陆 —— 征服验证码 7 京东
登录界面 京东的登录表单设置了许多隐藏字段，如下所示： 隐藏字段 所以都要获取下来。 同样也是输错三次之后出现authcode。 验证码 import requests from bs4 import Beautif...
-
发表了文章 2017-09-29
Python模拟登陆 —— 征服验证码 6 126邮箱
登录之后，打印侧边栏。 登录界面 import requests import re # 构造 Request headers agent = 'Mozilla/5.
-
发表了文章 2017-09-29
Python模拟登陆 —— 征服验证码 5 拉钩
拉钩使用了动态token，但是在源代码中又写出来了。。。 密码采用了md5双重加密 登录界面 动态token import os import time import json import sys import subproc...
-
发表了文章 2017-09-29
Python模拟登陆 —— 征服验证码 4 果壳
果壳的特殊之处是有隐藏的随机token令牌， 登录界面 查看源代码： 隐藏的令牌 import sys import os.path import http.
-
发表了文章 2017-09-29
Python模拟登陆 —— 征服验证码 3 CSDN
CSDN使用了spring的webflow 这个隐藏参数可以理解成每个需要登录的用户都有一个流水号。只有有了webflow发放的有效的流水号，用户才可以说明是已经进入了webflow流程。
暂无更多信息
-
发表了文章
2018-10-11
招聘·全球物流信息查询SaaS服务公司
-
发表了文章
2018-10-07
如何模仿小王子说话
-
发表了文章
2018-09-29
《Pandas Cookbook》第05章 布尔索引
-
发表了文章
2018-09-29
《Pandas Cookbook》第04章 选取数据子集
-
发表了文章
2018-09-26
《Pandas Cookbook》第03章 数据分析入门
-
发表了文章
2018-09-24
《Pandas Cookbook》第01章 Pandas基础
-
发表了文章
2018-09-13
Python数据科学分析速查表
-
发表了文章
2018-09-13
《Scikit-Learn与TensorFlow机器学习实用指南》 第08章 降维
-
发表了文章
2018-09-13
《Scikit-Learn与TensorFlow机器学习实用指南》 第07章 集成学习和随机森林
-
发表了文章
2018-09-12
《Scikit-Learn与TensorFlow机器学习实用指南》 第02章 一个完整的机器学习项目（下）
-
发表了文章
2018-09-12
《Scikit-Learn与TensorFlow机器学习实用指南》 第06章 决策树
-
发表了文章
2018-09-10
《Scikit-Learn与TensorFlow机器学习实用指南》 第05章 支持向量机
-
发表了文章
2018-09-07
《Scikit-Learn与TensorFlow机器学习实用指南》 第04章 训练模型
-
发表了文章
2018-09-07
Redis 设计与实现
-
发表了文章
2018-08-28
《Scikit-Learn与TensorFlow机器学习实用指南》 第03章 分类
-
发表了文章
2018-08-24
阿里云天池的AI学习树及数据集
-
发表了文章
2018-08-21
《数据科学家访谈录》总结·2
-
发表了文章
2018-08-12
读《白金数据》
-
发表了文章
2018-08-07
Awesome Asyncio 《碉堡的Asyncio·中文版》
-
发表了文章
2018-08-05
《这就是搜索引擎》爬虫部分摘抄总结
滑动查看更多
暂无更多信息
暂无更多信息