勋章
我关注的人
粉丝
技术能力
- Java
- Python
- 前端开发
暂时未有相关云产品技术能力~
专栏100例写作模式先行者
-
发表了文章 2019-05-05
Python爬虫入门教程 21-100 网易云课堂课程数据抓取
1.网易云课堂课程数据-写在前面 今天咱们抓取一下网易云课堂的课程数据，这个网站的数据量并不是很大，我们只需要使用requests就可以快速的抓取到这部分数据了。你第一步要做的是打开全部课程的地址，找出爬虫规律， 地址如下：https://study.163.com/courses/ 我简单的看了一下，页面数据是基于https://study.163.com/p/search/studycourse.json 这个地址进行异步加载的。
-
发表了文章 2019-05-01
Python爬虫入门教程 20-100 慕课网免费课程抓取
1. 慕课网免费课程-写在前面 美好的一天又开始了，今天咱继续爬取IT在线教育类网站，慕课网，这个平台的数据量并不是很多，所以爬取起来还是比较简单的 2. 慕课网免费课程准备爬取 打开我们要爬取的页面，寻找分页点和查看是否是异步加载的数据。
-
发表了文章 2019-04-30
Python爬虫入门教程 18-100 煎蛋网XXOO图片抓取
1.煎蛋网XXOO-写在前面 很高兴我这系列的文章写道第18篇了，今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx，这个网站其实还是有点意思的，网站很多人写了N多的教程了，各种方式的都有，当然网站本身在爬虫爱好者的不断进攻下，也在不断的完善，反爬措施也很多，今天我用selenium在揍他一波。
-
发表了文章 2019-04-30
Python爬虫入门教程 17-100 CSDN博客抓取数据
1.写在前面 写了一段时间的博客了，忽然间忘记了，其实博客频道的博客也是可以抓取的 其实这事情挺简单的，打开CSDN博客首页，他不是有个最新文章么，这个里面都是最新发布的文章。 打开F12抓取一下数据API，很容易就获取到了他的接口 提取链接长成这个样子 https://blog.
-
发表了文章 2019-04-29
Python爬虫入门教程 16-100 500px摄影师社区抓取摄影师数据
1. 500px摄影师社区-写在前面 今天要抓取的网站为 https://500px.me/ ，这是一个摄影社区，在一个摄影社区里面本来应该爬取的是图片信息，可是我发现好像也没啥有意思的，忽然觉得爬取一下这个网站的摄影师更好玩一些，所以就有了这篇文章的由来。
-
发表了文章 2019-04-28
Python爬虫入门教程 15-100 石家庄政民互动数据爬取
1. 石家庄政民互动数据爬取-写在前面 今天，咱抓取一个网站，这个网站呢，涉及的内容就是 网友留言和回复，特别简单，但是网站是gov的。网址为http://www.sjz.gov.cn/col/1490066682000/index.html 首先声明，为了学习，绝无恶意抓取信息，不管你信不信，数据我没有长期存储，预计存储到重装操作系统就删除。
-
发表了文章 2019-04-26
Python爬虫入门教程 14-100 All IT eBooks多线程爬取
1.All IT eBooks多线程-写在前面对一个爬虫爱好者来说，或多或少都有这么一点点的收集癖 ~ 发现好的图片，发现好的书籍，发现各种能存放在电脑上的东西，都喜欢把它批量的爬取下来。 然后放着，是的，就这么放着.......然后慢慢的遗忘掉.....All IT eBooks多线程-爬虫分析打开网址 http://www.allitebooks.com/ 发现特别清晰的小页面，一看就好爬在点击一本图书进入，发现下载的小链接也很明显的展示在了我们面前，小激动一把，这么清晰无广告的网站不多见了。
-
发表了文章 2019-04-25
Python爬虫入门教程 13-100 斗图啦表情包多线程爬取
1.准备爬取斗图la写在前面 今天在CSDN博客，发现好多人写爬虫都在爬取一个叫做斗图啦的网站，里面很多表情包，然后瞅了瞅，各种实现方式都有，今天我给你实现一个多线程版本的。关键技术点 aiohttp ，你可以看一下我前面的文章，然后在学习一下。
-
发表了文章 2019-04-24
Python爬虫入门教程 12-100 半次元COS图爬取
写在前面 今天在浏览网站的时候，忽然一个莫名的链接指引着我跳转到了半次元网站 https://bcy.net/ 打开之后，发现也没有什么有意思的内容，职业的敏感让我瞬间联想到了 cosplay ，这种网站必然会有这个的存在啊，于是乎，我准备好我的大爬虫了。
-
发表了文章 2019-04-23
Python爬虫入门教程 11-100 行行网电子书多线程爬取
行行网电子书多线程-写在前面 最近想找几本电子书看看，就翻啊翻，然后呢，找到了一个 叫做 周读的网站 ，网站特别好，简单清爽，书籍很多，而且打开都是百度网盘可以直接下载，更新速度也还可以，于是乎，我给爬了。
-
发表了文章 2019-04-22
Python爬虫入门教程 10-100 图虫网多线程爬取
1.图虫网多线程爬取-写在前面 经历了一顿噼里啪啦的操作之后，终于我把博客写到了第10篇，后面，慢慢的会涉及到更多的爬虫模块，有人问scrapy 啥时候开始用，这个我预计要在30篇以后了吧，后面的套路依旧慢节奏的，所以莫着急了，100篇呢，预计4~5个月写完，常见的反反爬后面也会写的，还有fuck login类的内容。
-
发表了文章 2019-04-22
Python爬虫入门教程 9-100 河北阳光理政投诉板块
1.河北阳光理政投诉板块-写在前面 之前几篇文章都是在写图片相关的爬虫，今天写个留言板爬出，为另一套数据分析案例的教程做做准备，作为一个河北人，遵纪守法，有事投诉是必备的技能，那么咱看看我们大河北人都因为什么投诉过呢？ 今天要爬取的网站地址 http://yglz.tousu.hebnews.cn/l-1001-5-，一遍爬取一遍嘀咕，别因为爬这个网站在去喝茶，再次声明，学习目的，切勿把人家网站爬瘫痪了。
-
发表了文章 2019-04-17
Python爬虫入门教程 8-100 蜂鸟网图片爬取之三
1. 蜂鸟网图片-啰嗦两句 前几天的教程内容量都比较大，今天写一个相对简单的，爬取的还是蜂鸟，依旧采用aiohttp 希望你喜欢爬取页面https://tu.fengniao.com/15/ 本篇教程还是基于学习的目的，为啥选择蜂鸟，没办法，我瞎选的。
-
发表了文章 2019-04-17
Python爬虫入门教程 7-100 蜂鸟网图片爬取之二
1. 蜂鸟网图片-简介 今天玩点新鲜的，使用一个新库 aiohttp ，利用它提高咱爬虫的爬取速度。 安装模块常规套路 pip install aiohttp 运行之后等待，安装完毕，想要深造，那么官方文档必备 ：https://aiohttp.readthedocs.io/en/stable/ 接下来就可以开始写代码了。
-
发表了文章 2019-04-16
Python爬虫入门教程 6-100 蜂鸟网图片爬取之一
1. 蜂鸟网图片简介 国庆假日结束了，新的工作又开始了，今天我们继续爬取一个网站，这个网站为 http://image.fengniao.com/ ，蜂鸟一个摄影大牛聚集的地方，本教程请用来学习，不要用于商业目的，不出意外，蜂鸟是有版权保护的网站。
-
发表了文章 2019-04-15
Python爬虫入门教程 5-100 27270图片爬取
获取待爬取页面 今天继续爬取一个网站，http://www.27270.com/ent/meinvtupian/ 这个网站具备反爬，so我们下载的代码有些地方处理的也不是很到位，大家重点学习思路，有啥建议可以在评论的地方跟我说说。
-
发表了文章 2019-04-12
Python爬虫入门教程 4-100 美空网未登录图片爬取
简介 上一篇写的时间有点长了，接下来继续把美空网的爬虫写完，这套教程中编写的爬虫在实际的工作中可能并不能给你增加多少有价值的技术点，因为它只是一套入门的教程，老鸟你自动绕过就可以了，或者带带我也行。 爬虫分析 首先，我们已经爬取到了N多的用户个人主页，我通过链接拼接获取到了 http://www.moko.cc/post/da39db43246047c79dcaef44c201492d/list.html 在这个页面中，咱们要找几个核心的关键点，发现平面拍摄点击进入的是图片列表页面。
-
发表了文章
2023-01-29
Python压缩JS文件，PythonWeb程序员必看系列，重点是 slimit
-
发表了文章
2023-01-29
Python将JSON格式文件导入 redis，多种方法
-
发表了文章
2023-01-29
python 操作 json 文件的种种知识点
-
发表了文章
2023-01-29
Python 采集免费代理，并检测其是否可用
-
发表了文章
2022-12-05
12年经验的大龄程序员，你猜他用什么写API文档？
-
发表了文章
2022-06-01
9. Python 学习过程的第一个山坡，99%的人都倒在了山坡下
-
发表了文章
2021-11-30
8. ㊙ Python 集合三板斧，滚雪球学 Python
-
发表了文章
2021-11-29
7. ✎会查新华字典不？会。Python字典已经掌握了
-
发表了文章
2021-11-28
6. Python 元组，不可变的列表，滚雪球学 Python
-
发表了文章
2021-11-27
5. Python 循环的本质就是一段代码懒得重复写
-
发表了文章
2021-11-25
4. 列表一学完，Python 会一半，滚雪球学 Python
-
发表了文章
2021-11-24
3. 无转折不编程，滚雪球学 Python
-
发表了文章
2021-11-23
2. 无门槛学会数据类型与输入、输出函数，滚雪球学 Python
-
发表了文章
2021-11-22
1. 这才是 Python 学习的正确起手姿势，滚雪球学 Python
-
发表了文章
2019-11-12
Python爬虫入门教程 63-100 Python字体反爬之一，没办法，这个必须写，反爬第3篇
-
发表了文章
2019-07-21
Python爬虫入门教程 62-100 30岁了，想找点文献提高自己，还被反爬了，Python搞起，反爬第2篇
-
发表了文章
2019-06-24
Python爬虫入门教程 59-100 python爬虫高级技术之验证码篇5-极验证识别技术之二
-
发表了文章
2019-06-20
Python爬虫入门教程 58-100 python爬虫高级技术之验证码篇4-极验证识别技术之一
-
发表了文章
2019-06-19
Python爬虫入门教程 57-100 python爬虫高级技术之验证码篇3-滑动验证码识别技术
-
发表了文章
2019-06-18
Python爬虫入门教程 56-100 python爬虫高级技术之验证码篇2-开放平台OCR技术
-
回答了问题
2023-01-29
2023，社区讨论聊什么？话题由你定！
我想要聊二线省会城市大龄程序员出路问题赞0 踩0 评论0 -
回答了问题
2023-01-11
为什么我在云服务器上部署了应用，启动起来，netstat看端口也正常，但是telnet端口不通呢？
可能有多个原因 防火墙: 云服务器上可能有防火墙软件在运行，防火墙可能会阻止对特定端口的连接。检查云服务器上的防火墙设置，并确保对应用使用的端口开放。 服务器配置: 云服务器上的应用可能需要特定的配置才能正常运行，比如端口转发或者更改IP地址。请检查应用的配置文件，确保它正在监听正确的端口和 IP 地址。 服务器维护: 云服务器可能正在维护中，导致连接不可用。检查云服务器的状态，确保它处于正常状态。 路由器设置: 连接路由器上可能会被阻断，确认路由器是否配置了端口转发，或者是否关闭了对指定端口的访问 服务器的防病毒软件阻挡了访问. 如果你在云服务器上部署了代理或者负载均衡软件,可能会导致telnet不通,因为连接了代理或者负载均衡软件导致无法直接访问服务器赞4 踩0 评论0 -
回答了问题
2022-10-07
你遇到过怎样的奇葩需求？
我的产品同事让我一周时间在直播页面加一个类似某手的小黄车功能，前提是后台没有商品管理赞0 踩0 评论0 -
回答了问题
2019-07-17
各位大佬，想问下我去培训机构学点东西，当前形势是python好还是java好?
python入门简单，从编程兴趣出发，建议学python赞0 踩0 评论0