勋章
我关注的人
粉丝
技术能力
- Java
- Python
- 前端开发
暂时未有相关云产品技术能力~
专栏100例写作模式先行者
-
发表了文章 2023-01-29
Python压缩JS文件，PythonWeb程序员必看系列，重点是 slimit
Python 中的 `jsmin` 库来压缩 JavaScript 文件。这个库可以通过删除不必要的空格和注释来最小化 JavaScript 代码。
-
发表了文章 2023-01-29
Python将JSON格式文件导入 redis，多种方法
如果希望将 JSON 文件导入到 Redis 中，首先要做的就是连接到 redis 服务，实现步骤如下所示。
-
发表了文章 2023-01-29
python 操作 json 文件的种种知识点
Python 提供了内置的 json 模块来处理 JSON 格式的文件。 该模块主要分为读取和写入 JSON 文件。
-
发表了文章 2023-01-29
Python 采集免费代理，并检测其是否可用
本次案例实战用到的 Python 第三方模块是 `requests` 和 `lxml`，从技术难度的角度看属于入门级爬虫。
-
发表了文章 2022-12-05
12年经验的大龄程序员，你猜他用什么写API文档？
1. 当 API 代码更新之后，API 文档自动刷新； 2. API 协作工具通过脚本进行自动刷新/同步； 3. 基于 API 文档智能生成请求代码和业务代码；
-
发表了文章 2022-06-01
9. Python 学习过程的第一个山坡，99%的人都倒在了山坡下
Python 学习的第一个难关 -- 函数，这个地方学会的人觉得没有啥，没学过的学的时候迷迷瞪瞪，不用慌，学编程就是这样，先学过去，在从上帝视角去看，坚持打卡，我一天写一篇，你可以两天学一篇
-
发表了文章 2021-11-30
8. ㊙ Python 集合三板斧，滚雪球学 Python
8. ㊙ Python 集合三板斧，滚雪球学 Python
-
发表了文章 2021-11-29
7. ✎会查新华字典不？会。Python字典已经掌握了
7. ✎会查新华字典不？会。Python字典已经掌握了
-
发表了文章 2021-11-28
6. Python 元组，不可变的列表，滚雪球学 Python
6. Python 元组，不可变的列表，滚雪球学 Python
-
发表了文章 2021-11-27
5. Python 循环的本质就是一段代码懒得重复写
5. Python 循环的本质就是一段代码懒得重复写
-
发表了文章 2021-11-25
4. 列表一学完，Python 会一半，滚雪球学 Python
4. 列表一学完，Python 会一半，滚雪球学 Python
-
发表了文章 2021-11-24
3. 无转折不编程，滚雪球学 Python
3. 无转折不编程，滚雪球学 Python
-
发表了文章 2021-11-23
2. 无门槛学会数据类型与输入、输出函数，滚雪球学 Python
2. 无门槛学会数据类型与输入、输出函数，滚雪球学 Python
-
发表了文章 2021-11-22
1. 这才是 Python 学习的正确起手姿势，滚雪球学 Python
这才是 Python 学习的正确起手姿势，滚雪球学 Python
-
发表了文章 2019-11-12
Python爬虫入门教程 63-100 Python字体反爬之一，没办法，这个必须写，反爬第3篇
背景交代 在反爬圈子的一个大类，涉及的网站其实蛮多的，目前比较常被爬虫coder欺负的网站，猫眼影视，汽车之家，大众点评，58同城，天眼查......还是蛮多的，技术高手千千万，总有五花八门的反爬技术出现，对于爬虫coder来说，干！就完了，反正也996了~ 作为一个系列的文章，那免不了，依旧拿猫眼影视“学习”吧，为什么？因为它比较典型~ 猫眼影视 打开猫眼专业版，常规操作，谷歌浏览器，开发者工具，抓取DOM节点， https://piaofang.maoyan.com/?ver=normal 注意下图所有的数字位置，在DOM结构中，都是方块。
-
发表了文章 2019-07-21
Python爬虫入门教程 62-100 30岁了，想找点文献提高自己，还被反爬了，Python搞起，反爬第2篇
学术搜索 学习理论的知识少不了去检索文献，好多文献为你的实操提供了合理的支撑，我所在的大学内网默认是有知网账户的，非常NICE 今天要完成的网站是 http://ac.scmor.com/ Google学术搜索是一个文献检索服务，目前主要是提供维普资讯、万方数据等几个学术文献资源库的检索服务。
-
发表了文章 2019-06-24
Python爬虫入门教程 59-100 python爬虫高级技术之验证码篇5-极验证识别技术之二
@[toc] 图片比对 昨天的博客已经将图片存储到了本地，今天要做的第一件事情，就是需要在两张图片中进行比对，将图片缺口定位出来 缺口图片 完整图片 计算缺口坐标 对比两张图片的所有RBG像素点，得到不一样像素点的x值，即要移动的距离 def get_distance(self,cut_image,full_image): # print(cut_image.
-
发表了文章 2019-06-20
Python爬虫入门教程 58-100 python爬虫高级技术之验证码篇4-极验证识别技术之一
验证码类型 今天要搞定的验证码属于现在使用非常多的验证码的一种类型---极验证滑动验证码，关于这个验证码的详细说明查阅他的官网，https://www.geetest.com/ 把验证码做到这个地步，必须点赞了。
-
发表了文章 2019-06-19
Python爬虫入门教程 57-100 python爬虫高级技术之验证码篇3-滑动验证码识别技术
滑动验证码介绍 本篇博客涉及到的验证码为滑动验证码，不同于极验证，本验证码难度略低，需要的将滑块拖动到矩形区域右侧即可完成。 这类验证码不常见了，官方介绍地址为：https://promotion.
-
发表了文章 2019-06-18
Python爬虫入门教程 56-100 python爬虫高级技术之验证码篇2-开放平台OCR技术
今日的验证码之旅 今天你要学习的验证码采用通过第三方AI平台开放的OCR接口实现，OCR文字识别技术目前已经比较成熟了，而且第三方比较多，今天采用的是百度的。 注册百度AI平台 官方网址：http://ai.
-
发表了文章 2019-06-17
Python爬虫入门教程 55-100 python爬虫高级技术之验证码篇
验证码探究 如果你是一个数据挖掘爱好者，那么验证码是你避免不过去的一个天坑，和各种验证码斗争，必然是你成长的一条道路，接下来的几篇文章，我会尽量的找到各种验证码，并且去尝试解决掉它，中间有些技术甚至我都没有见过，来吧，一起Coding吧 数字+字母的验证码 我随便在百度图片搜索了一个验证码，如下 ...
-
发表了文章 2019-06-13
Python爬虫入门教程 54-100 博客园等博客网站自动评论器
爬虫背景 爬虫最核心的问题就是解决重复操作，当一件事情可以重复的进行的时候，就可以用爬虫来解决这个问题，今天要实现的一个基本需求是完成“博客园“ 博客的自动评论，其实原理是非常简单的，提炼一下需求 基本需求 登录博客园<不实现，登录单独编写博客> 调用评论接口 返回请求结果 确定流程之后，基本...
-
发表了文章 2019-06-12
Python爬虫入门教程 52-100 Python3爬虫获取博客园文章定时发送到邮箱
写在前面 关于获取文章自动发送到邮箱，这类需求其实可以写好几个网站，弄完博客园，弄CSDN，弄掘金，弄其他的，网站多的是呢~哈哈 先从博客园开始，基本需求，获取python板块下面的新文章，间隔60分钟发送一次，时间太短估摸着没有多少新博客产出~ 抓取的页面就是这个 https://www.
-
发表了文章 2019-06-11
Python爬虫入门教程 51-100 Python3爬虫通过m3u8文件下载ts视频-Python爬虫6操作
什么是m3u8文件 M3U8文件是指UTF-8编码格式的M3U文件。M3U文件是记录了一个索引纯文本文件，打开它时播放软件并不是播放它，而是根据它的索引找到对应的音视频文件的网络地址进行在线播放。 原视频数据分割为很多个TS流，每个TS流的地址记录在m3u8文件列表中 比如我这里有一个m3u8文件...
-
发表了文章 2019-06-10
Python爬虫入门教程 50-100 Python3爬虫爬取VIP视频-Python爬虫6操作
爬虫背景 原计划继续写一下关于手机APP的爬虫，结果发现夜神模拟器总是卡死，比较懒，不想找原因了，哈哈，所以接着写后面的博客了，从50篇开始要写几篇python爬虫的骚操作，也就是用Python3通过爬虫实现一些小工具。
-
发表了文章 2019-06-03
Python爬虫入门教程 49-100 Appium安装+操作51JOB_APP（模拟手机操作之一）手机APP爬虫
爬前准备工作 在开始安装Appium之前，你要先知道Appium是做什么的？Appium 是一个自动化测试开源工具，看到没，做测试用的，它有点类似Selenium，可以自动操作APP实现一系列的操作。
-
发表了文章 2019-06-02
Python爬虫入门教程 47-100 mitmproxy安装与安卓模拟器的配合使用-手机APP爬虫部分
1. 准备下载软件 介绍一款爬虫辅助工具mitmproxy ，mitmproxy 就是用于MITM的proxy,MITM中间人攻击。说白了就是服务器和客户机中间通讯多增加了一层。跟Fiddler和Charles最大的不同就是，mitmproxy可以进行二次开发，尤其可以对接python。
-
发表了文章 2019-05-29
Python爬虫入门教程 45-100 Charles抓取兔儿故事-下载小猪佩奇故事-手机APP爬虫部分
1. Charles抓取兔儿故事背景介绍 之前已经安装了Charles，接下来我将用两篇博客简单写一下关于Charles的使用，今天抓取一下兔儿故事里面关于小猪佩奇的故事。爬虫编写起来核心的重点是分析到链接，只要把链接分析到，剩下的就好办了。
-
发表了文章 2019-05-28
Python爬虫入门教程 44-100 Charles的安装与使用-手机APP爬虫部分
1. 第二款抓包工具Charles安装与使用 Charles和Fiddler一样，也是一款抓包工具，比Fiddler界面更加清晰，支持多平台 1.1 官方网址 https://www.charlesproxy.
-
发表了文章 2019-05-26
Python爬虫入门教程 42-100 爬取儿歌多多APP数据-手机APP爬虫部分
1. 儿歌多多APP简单分析 今天是手机APP数据爬取的第一篇案例博客，我找到了一个儿歌多多APP，没有加固，没有加壳，没有加密参数，对新手来说，比较友好，咱就拿它练练手，熟悉一下Fiddler和夜神模拟器是如何配合着使用的。
-
发表了文章 2019-05-24
Python爬虫入门教程 41-100 Fiddler+夜神模拟器+雷电模拟器配置手机APP爬虫部分
爬前叨叨 从40篇博客开始，我将逐步讲解一下手机APP的爬虫，关于这部分，我们尽量简化博客内容，在这部分中可能涉及到一些逆向，破解的内容，这部分尽量跳过，毕竟它涉及的东西有点复杂，并且偏离了爬虫体系太远，有兴趣的博友，可以一起研究下。
-
发表了文章 2019-05-23
Python爬虫入门教程 40-100 博客园Python相关40W博客抓取 scrapy
爬前叨叨 第40篇博客吹响号角，爬取博客园博客~本文最终抓取到了从2010年1月1日到2019年1月7日的37W+文章，后面可以分析好多东西了呢 经常看博客的同志知道，博客园每个栏目下面有200页，多了的数据他就不显示了，最多显示4000篇博客如何尽可能多的得到博客数据，是这篇文章研究的一点点核心...
-
发表了文章 2019-05-22
Python爬虫入门教程 39-100 天津市科技计划项目成果库数据抓取 scrapy
爬前叨叨 缘由 今天本来没有打算抓取这个网站的，无意中看到某个微信群有人问了一嘴这个网站，想看一下有什么特别复杂的地方，一顿操作下来，发现这个网站除了卡慢，经常自己宕机以外，好像还真没有什么特殊的..
-
发表了文章 2019-05-21
Python爬虫入门教程 38-100 教育部高校名单数据爬虫 scrapy
爬前叨叨 今天要爬取一下正规大学名单，这些名单是教育部公布具有招生资格的高校名单，除了这些学校以外，其他招生的单位，其所招学生的学籍、发放的毕业证书国家均不予承认，也就是俗称的野鸡大学！ 网址是 https://daxue.
-
发表了文章 2019-05-20
Python爬虫入门教程 37-100 云沃客项目外包网数据爬虫 scrapy
爬前叨叨 2019年开始了，今年计划写一整年的博客呢~，第一篇博客写一下 一个外包网站的爬虫，万一你从这个外包网站弄点外快呢，呵呵哒 数据分析 官方网址为 https://www.clouderwork.
-
发表了文章 2019-05-19
Python爬虫入门教程 36-100 酷安网全站应用爬虫 scrapy
爬前叨叨 2018年就要结束了，还有4天，就要开始写2019年的教程了，没啥感动的，一年就这么过去了，今天要爬取一个网站叫做酷安，是一个应用商店，大家可以尝试从手机APP爬取，不过爬取APP的博客，我打算在50篇博客之后在写，所以现在就放一放啦~~~ 酷安网站打开首页之后是一个广告页面，点击头部...
-
发表了文章 2019-05-19
Python爬虫入门教程 35-100 知乎网全站用户爬虫 scrapy
爬前叨叨 全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟本博客这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。
-
发表了文章 2019-05-17
Python爬虫入门教程 34-100 掘金网全站用户爬虫 scrapy
爬前叨叨 已经编写了33篇爬虫文章了，如果你按着一个个的实现，你的爬虫技术已经入门，从今天开始慢慢的就要写一些有分析价值的数据了，今天我选了一个《掘金网》，我们去爬取一下他的全站用户数据。 爬取思路 获取全站用户，理论来说从1个用户作为切入点就可以，我们需要爬取用户的关注列表，从关注列表不断的叠加下去。
-
发表了文章 2019-05-16
Python爬虫入门教程 33-100 《海王》评论数据抓取 scrapy
1. 海王评论数据爬取前分析 海王上映了，然后口碑炸了，对咱来说，多了一个可爬可分析的电影，美哉~ 摘录一个评论 零点场刚看完，温导的电影一直很不错，无论是速7，电锯惊魂还是招魂都很棒。打斗和音效方面没话说非常棒，特别震撼。
-
发表了文章 2019-05-15
Python爬虫入门教程 32-100 B站博人传评论数据抓取 scrapy
1. B站博人传评论数据爬取简介 今天想了半天不知道抓啥，去B站看跳舞的小姐姐，忽然看到了评论，那就抓取一下B站的评论数据，视频动画那么多，也不知道抓取哪个，选了一个博人传跟火影相关的，抓取看看。网址： https://www.bilibili.com/bangumi/media/md5978/?from=search&seid=16013388136765436883#short在这个网页看到了18560条短评，数据量也不大，抓取看看，使用的还是scrapy。
-
发表了文章 2019-05-15
Python爬虫入门教程 31-100 36氪(36kr)数据抓取 scrapy
1. 36氪(36kr)数据----写在前面 今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备的，预计在12月底，爬虫大概写到50篇案例的时刻，将会迎来一个新的内容，系统的数据分析博文，记得关注哦~ 36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。
-
发表了文章 2019-05-14
Python爬虫入门教程 30-100 高考派大学数据抓取 scrapy
1. 高考派大学数据----写在前面 终于写到了scrapy爬虫框架了，这个框架可以说是python爬虫框架里面出镜率最高的一个了，我们接下来重点研究一下它的使用规则。 安装过程自己百度一下，就能找到3种以上的安装手法，哪一个都可以安装上可以参考 https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html 官方说明进行安装。
-
发表了文章 2019-05-13
Python爬虫入门教程 29-100 手机APP数据抓取 pyspider
1. 手机APP数据----写在前面 继续练习pyspider的使用，最近搜索了一些这个框架的一些使用技巧，发现文档竟然挺难理解的，不过使用起来暂时没有障碍，估摸着，要在写个5篇左右关于这个框架的教程。
-
发表了文章 2019-05-10
Python爬虫入门教程 28-100 虎嗅网文章数据抓取 pyspider
1. 虎嗅网文章数据----写在前面 今天继续使用pyspider爬取数据，很不幸，虎嗅资讯网被我选中了，网址为 https://www.huxiu.com/ 爬的就是它的资讯频道，本文章仅供学习交流使用，切勿用作其他用途。
-
发表了文章 2019-05-09
Python爬虫入门教程 27-100 微医挂号网专家团队数据抓取pyspider
1. 微医挂号网专家团队数据----写在前面 今天尝试使用一个新的爬虫库进行数据的爬取，这个库叫做pyspider，国人开发的，当然支持一下。 github地址： https://github.com/binux/pyspider官方文档地址：http://docs.pyspider.org/en/latest/ 安装起来是非常简单的 pip install pyspider 安装之后，启动 在CMD控制台里面敲入命令 pyspider 出现如下界面，代表运行成功，一般情况下，你的电脑如果没有安装 phantomjs 他会先给你安装一下。
-
发表了文章 2019-05-08
Python爬虫入门教程 25-100 知乎文章图片爬取器之一
1. 知乎文章图片爬取器之一写在前面 今天开始尝试爬取一下知乎，看一下这个网站都有什么好玩的内容可以爬取到，可能断断续续会写几篇文章，今天首先爬取最简单的，单一文章的所有回答，爬取这个没有什么难度。
-
发表了文章 2019-05-08
Python爬虫入门教程 26-100 知乎文章图片爬取器之二
1. 知乎文章图片爬取器之二博客背景 昨天写了知乎文章图片爬取器的一部分代码，针对知乎问题的答案json进行了数据抓取，博客中出现了部分写死的内容，今天把那部分信息调整完毕，并且将图片下载完善到代码中去。
-
发表了文章 2019-05-07
Python爬虫入门教程 24-100 微医挂号网医生数据抓取
1. 微医挂号网医生数据写在前面 今天要抓取的一个网站叫做微医网站，地址为 https://www.guahao.com ，我们将通过python3爬虫抓取这个网址，然后数据存储到CSV里面，为后面的一些分析类的教程做准备。
-
发表了文章 2019-05-06
Python爬虫入门教程 23-100 石家庄链家租房数据抓取
1. 石家庄链家租房数据-写在前面 作为一个活跃在京津冀地区的开发者，要闲着没事就看看石家庄这个国际化大都市的一些数据，这篇博客爬取了链家网的租房信息，爬取到的数据在后面的博客中可以作为一些数据分析的素材。
-
发表了文章 2019-05-05
Python爬虫入门教程 22-100 CSDN学院课程数据抓取
1. CSDN学院课程数据写在前面 今天又要抓取一个网站了，选择恐惧症使得我不知道该拿谁下手，找来找去，算了，还是抓取CSDN学院吧，CSDN学院的网站为 https://edu.csdn.net/courses 我看了一下这个网址，课程数量也不是很多，大概有 6000+ 门课程，数据量不大，用单线程其实就能很快的爬取完毕，不过为了秒爬，我还是选用了一个异步数据操作。
-
发表了文章
2023-01-29
Python压缩JS文件，PythonWeb程序员必看系列，重点是 slimit
-
发表了文章
2023-01-29
Python将JSON格式文件导入 redis，多种方法
-
发表了文章
2023-01-29
python 操作 json 文件的种种知识点
-
发表了文章
2023-01-29
Python 采集免费代理，并检测其是否可用
-
发表了文章
2022-12-05
12年经验的大龄程序员，你猜他用什么写API文档？
-
发表了文章
2022-06-01
9. Python 学习过程的第一个山坡，99%的人都倒在了山坡下
-
发表了文章
2021-11-30
8. ㊙ Python 集合三板斧，滚雪球学 Python
-
发表了文章
2021-11-29
7. ✎会查新华字典不？会。Python字典已经掌握了
-
发表了文章
2021-11-28
6. Python 元组，不可变的列表，滚雪球学 Python
-
发表了文章
2021-11-27
5. Python 循环的本质就是一段代码懒得重复写
-
发表了文章
2021-11-25
4. 列表一学完，Python 会一半，滚雪球学 Python
-
发表了文章
2021-11-24
3. 无转折不编程，滚雪球学 Python
-
发表了文章
2021-11-23
2. 无门槛学会数据类型与输入、输出函数，滚雪球学 Python
-
发表了文章
2021-11-22
1. 这才是 Python 学习的正确起手姿势，滚雪球学 Python
-
发表了文章
2019-11-12
Python爬虫入门教程 63-100 Python字体反爬之一，没办法，这个必须写，反爬第3篇
-
发表了文章
2019-07-21
Python爬虫入门教程 62-100 30岁了，想找点文献提高自己，还被反爬了，Python搞起，反爬第2篇
-
发表了文章
2019-06-24
Python爬虫入门教程 59-100 python爬虫高级技术之验证码篇5-极验证识别技术之二
-
发表了文章
2019-06-20
Python爬虫入门教程 58-100 python爬虫高级技术之验证码篇4-极验证识别技术之一
-
发表了文章
2019-06-19
Python爬虫入门教程 57-100 python爬虫高级技术之验证码篇3-滑动验证码识别技术
-
发表了文章
2019-06-18
Python爬虫入门教程 56-100 python爬虫高级技术之验证码篇2-开放平台OCR技术
-
回答了问题
2023-01-29
2023，社区讨论聊什么？话题由你定！
我想要聊二线省会城市大龄程序员出路问题赞0 踩0 评论0 -
回答了问题
2023-01-11
为什么我在云服务器上部署了应用，启动起来，netstat看端口也正常，但是telnet端口不通呢？
可能有多个原因 防火墙: 云服务器上可能有防火墙软件在运行，防火墙可能会阻止对特定端口的连接。检查云服务器上的防火墙设置，并确保对应用使用的端口开放。 服务器配置: 云服务器上的应用可能需要特定的配置才能正常运行，比如端口转发或者更改IP地址。请检查应用的配置文件，确保它正在监听正确的端口和 IP 地址。 服务器维护: 云服务器可能正在维护中，导致连接不可用。检查云服务器的状态，确保它处于正常状态。 路由器设置: 连接路由器上可能会被阻断，确认路由器是否配置了端口转发，或者是否关闭了对指定端口的访问 服务器的防病毒软件阻挡了访问. 如果你在云服务器上部署了代理或者负载均衡软件,可能会导致telnet不通,因为连接了代理或者负载均衡软件导致无法直接访问服务器赞4 踩0 评论0 -
回答了问题
2022-10-07
你遇到过怎样的奇葩需求？
我的产品同事让我一周时间在直播页面加一个类似某手的小黄车功能，前提是后台没有商品管理赞0 踩0 评论0 -
回答了问题
2019-07-17
各位大佬，想问下我去培训机构学点东西，当前形势是python好还是java好?
python入门简单，从编程兴趣出发，建议学python赞0 踩0 评论0