yunqi20191113
TA的个人档案
yunqi20191113个人页面-阿里云开发者社区
文章
66
问答
0
个人介绍
自己建了Python学习交流裙 227 435 450你如果学习没有用学习交流的地方可以进来一起学习交流
擅长的技术
- 高分内容
- 最新动态
- 文章
- 问答
-
发表了文章 2019-11-12
拯救Python新手的几个项目实战
Python 做小游戏 实例一：24点游戏 项目名称：经典趣味24点游戏程序设计(python) 如果你不想错过Python这么好的工具，又担心自学遇到问题无处解决，现在就可以Python的学习q u n 227-435-450可以来了解一起进步一起学习！免费分享视频资料 实例二：五子棋游戏 项目名称：python大作业 五子棋 人人对战 实例三：2048小游戏 项目名称：Python实例浅谈之八2048游戏（字符界面） 实例四：街机小游戏 项目名称：DIY街机游戏 实例五：扫雷小游戏 项目名称：Python扫雷小游戏 实例六：数独游戏 项目名称：python解数独--世界最难数独2.3秒完成 实例七：贪吃蛇小游戏 项目名称：如何用Python写一个贪吃蛇AI Python Web开发项目实战案例 实例一：满分推荐，非常值得练习；实例二：web网站开发实战 GitHub 里的Python 练习册，每天一个小程序；小白的Python入门教程实战篇 实例三：博客系统 项目名称：Python之路【第十八篇】Django小项目简单BBS论坛部分内容知识点 实例四：成绩管理系统 项目名称：一个使用django开发的综合成绩管理系统 实例五：新闻系统 项目名称：python项目练习四：新闻聚合 今天我就给大家总结了两部分的项目案例锻炼的汇总哦，其实python学习还是需要经常锻炼起来，才能知道自己的不足。 本文来源于网络 如有侵权请联系作者删除
-
发表了文章 2019-04-14
python各类爬虫案例，爬到你手软！
小编整理了一些爬虫的案例，代码都整理出来了~ 先来看看有哪些项目呢： python爬虫小工具（文件下载助手） 爬虫实战（笔趣看小说下载） 爬虫实战（VIP视频下载） 爬虫实战（百度文库文章下载） 爬虫实战（《帅啊》网帅哥图片下载） 爬虫实战（构建代理IP池） 爬虫实战（《火影忍者》漫画下载） 爬虫实战（财务报表下载小助手） 爬虫实战（抖音App视频下载） 爬虫实战（GEETEST验证码破解） 爬虫实战（12306抢票小助手） 爬虫实战（百万英雄答题辅助系统） 爬虫实战（网易云音乐批量下载） 爬虫实战（B站视频和弹幕批量下载） 爬虫实战（京东商品晒单图下载） 爬虫实战（正方教务管理系统爬虫） 怎么样？是不是迫不及待的想自己动手试试了呢？ 在学习中有迷茫不知如何学习的朋友小编推荐一个学Python的学习q u n 227 -435- 450可以来了解一起进步一起学习！免费分享视频资料 爬虫小工具 文件下载小助手 一个可以用于下载图片、视频、文件的小工具，有下载进度显示功能。稍加修改即可添加到自己的爬虫中。 代码展示： 爬虫实战 《笔趣看》盗版小说网站，爬取小说工具 第三方依赖库安装： pip3 install beautifulsoup4 使用方法： python biqukan.py 代码展示： 爱奇艺等主流视频网站的VIP视频破解助手(暂只支持PC和手机在线观看VIP视频！) 运行源码需要搭建Python3环境，并安装相应第三方依赖库： pip3 install -r requirements.txt 使用方法： python movie_downloader.py 运行环境： Windows, Python3 Linux, Python3 Mac, Python3 代码展示： 百度文库word文章爬取 代码不完善，没有进行打包，不具通用性，纯属娱乐，以后有时间会完善。 代码展示： 爬取《帅啊》网，帅哥图片 运行平台： Windows Python版本： Python3.x IDE： Sublime text3 为了也能够学习到新知识，本次爬虫教程使用requests第三方库，这个库可不是Python3内置的urllib.request库，而是一个强大的基于urllib3的第三方库。 代码展示： 构建代理IP池 代码展示： 使用Scrapy爬取《火影忍者》漫画 代码可以爬取整个《火影忍者》漫画所有章节的内容，保存到本地。更改地址，可以爬取其他漫画。保存地址可以在代码中修改。 代码展示： 《王者荣耀》推荐出装查询小助手 网页爬取已经会了，想过爬取手机APP里的内容吗？ 代码展示： 财务报表下载小助手 爬取的数据存入数据库会吗？《跟股神巴菲特学习炒股之财务报表入库(MySQL)》也许能给你一些思路。 代码展示： 抖音App视频下载 抖音App的视频下载，就是普通的App爬取。 代码展示： GEETEST验证码破解 爬虫最大的敌人之一是什么？没错，验证码！Geetest作为提供验证码服务的行家，市场占有率还是蛮高的。遇到Geetest提供的滑动验证码怎么破？授人予鱼不如授人予渔，接下来就为大家呈现本教程的精彩内容。 代码展示： 用Python抢火车票简单代码 可以自己慢慢丰富，蛮简单，有爬虫基础很好操作。 代码展示： baiwan:百万英雄辅助答题 看了网上很多的教程都是通过OCR识别的，这种方法的优点在于通用性强。不同的答题活动都可以参加，但是缺点也明显，速度有限，并且如果通过调用第三方OCR，有次数限制。但是使用本教程提到的数据接口。我们能很容易的获取数据，速度快，但是接口是变化的，需要及时更新。 代码展示： 功能介绍： 服务器端，使用Python（baiwan.py）通过抓包获得的接口获取答题数据，解析之后通过百度知道搜索接口匹配答案，将最终匹配的结果写入文件（file.txt)。 Node.js（app.js）每隔1s读取一次file.txt文件，并将读取结果通过socket.io推送给客户端（index.html）。 亲测答题延时在3s左右。 声明：没做过后端和前端，花了一天时间，现学现卖弄好的，javascript也是现看现用，百度的程序，调试调试而已。可能有很多用法比较low的地方，用法不对，请勿见怪，有大牛感兴趣，可以自行完善。 Netease:根据歌单下载网易云音乐 功能介绍： 根据music_list.txt文件里的歌单的信息下载网易云音乐，将自己喜欢的音乐进行批量下载。 代码展示： bilibili：B站视频和弹幕批量下载 下载B站视频和弹幕，将xml原生弹幕转换为ass弹幕文件，支持plotplayer等播放器的弹幕播放。 代码展示： 使用说明： python bilibili.py -d 猫 -k 猫 -p 10 三个参数： -d保存视频的文件夹名 -kB站搜索的关键字 -p下载搜索结果前多少页 京东商品晒单图下载 使用说明： python jd.py -k 芒果 三个参数： -d保存图片的路径，默认为fd.py文件所在文件夹 -k搜索关键词 -n 下载商品的晒单图个数，即n个商店的晒单图 代码展示： 对正方教务管理系统个人课表，学生成绩，绩点等简单爬取 依赖环境 python 3.6 python库 http请求：requests，urllib 数据提取：re，lxml，bs4 存储相关：os，sys 验证码处理：PIL 下载安装 在终端输入如下命令： git clone git@github.com:Jack-Cherish/python-spider.git 使用方法 安装依赖包 pip install -r requirements.txt 运行 在当前目录下输入： cd zhengfang_system_spider python spider.py 运行爬虫，按提示输入学校教务网，学号，密码，输入验证码 稍等几秒钟，当前ZhengFang_System_Spider文件夹下就会生成zhengfang.txt 个人课表，成绩绩点均已保存到该文本文件中 代码展示：
-
发表了文章 2019-04-06
python的异常处理
异常处理 什么是异常？ 首先要清楚，什么是异常，异常就是程序运行时发生错误的信号（在程序出现错误时，则会产生一个异常，若程序没有处理它，则会抛出该异常，程序的运行也随之终止），在python中,错误触发的异常如下 python的异常处理 异常是由错误触发的，那么错误有哪些情况呢？ 1.语法错误： 在学习中有迷茫不知如何学习的朋友小编推荐一个学Python的学习q u n 227 -435- 450可以来了解一起进步一起学习！免费分享视频资料 2.逻辑错误 异常的种类 在平时编码过程中，常见的异常有以下这些： 当然，还有其他异常，这里就不做过多演示。出现异常，我们肯定想到要处理，不然程序就直接报错崩溃了。其实我们一直在处理异常，只是没有发现，比如要判断你输入的内容是不是数字，我们以前是这么判断的： 在这里if就是在处理异常，但是，如果我还有其他程序也要运行，那就要写成这样了： 这时候，你会发现，程序写的很长，可读性差，如果有十个这样的输入，那这个程序就没法看了，这时候，python提供了一种异常处理的方法try...except... part1 基本语法 现在用这套方法来处理上面的异常，看看效果怎么样： 这样一看代码简洁了很多啊，效果很完美 part2 异常只能用来处理指定的异常情况，其他情况不会处理 我们可以试一下，把错误类型改成别的，看看会怎样： 看来错误类型还要对应才行。 part3 多分支 这时候，有人就会觉得，万能异常这么厉害，我还要写什么其他异常的，全部用这个不就好啦？这个怎么说呢，要分两点来看吧： 1.如果你想要的效果是，无论什么异常，你都直接无视或者说用一种处理机制，那么就直接用吧，没问题， 2.如果你要根据异常类型处理不同机制，那还得用多分支的方式， 当然，你可以结合多分支和万能异常一起使用啊，这样多分支的健壮性会更好、 part5 异常的其他结构 下面来看看异常处理的其他结构： part6 主动触发异常 我们学过主动触发异常用的是raise，下面看一下能不能捕获： part7 自定义异常 如果你想自定义一个异常，也是可以的。异常是什么，就是一个类嘛，那我们就定义一个异常类看看： 报错了，看错误提示，再看看type错误是怎么写的，原来要继承一个叫BaseException的类，再试一下： 完美了，成了。 part8 断言 断言可以说就是if的一种简写，直接看例子吧： 如果判断不正确： 这个完全可以用if写： 效果完全一样 part9 try...except...的好处和用法： try...except...就是取代了if的那种方法，让你的代码在保证可读性的情况下，还增强了健壮性，提高了容错率，使用这种方法： 1.把错误处理和你的主逻辑分开了 2.代码更容易组织，更清晰，复杂的任务更容易实现 3.更安全了，不会因为一些小错误导致程序崩溃 但是要清楚的一点是，if和try...except...都是python中处理异常的方法，不要学了try就说if和异常处理没有关系了。其次，学完这个后发现try...except...很强大，是不是每一段代码都可以加这个处理异常，就不用管报错了，这是肯定不行的，try...except...还是要慎重使用，首先try...except是你附加给你的程序的一种异常处理的逻辑，与你的主要的工作是没有关系的，这种东西加的多了，会导致你的代码可读性变差，然后异常处理本就不是你混乱逻辑的保姆，只有在错误发生的条件无法预知的情况下，才应该加上try...except
-
发表了文章 2019-03-09
Python 基础（常用数据结构）
常用数据结构 1）元组 元组是一种静态的数据结构，无法修改，若要修改只能重新生成新的元组。 输出结果： 元组元素的获取是通过索引值去获得的；例如上面的tup1[0]返回apple；另外你可以直接把tup1一次性赋给多个值，例如上面的tup1一次性赋值给a,b,c,d; tup1[1:3]是对元组的截取，跟字符串的切片是一样，返回('banana', 'grape') 当然也是可以层次嵌套的；索引方法一样; y元组还支持直接通过+进行合并元组操作，其实是生成一个新的元组。 在学习中有迷茫不知如何学习的朋友小编推荐一个学Python的学习q u n 227 -435- 450可以来了解一起进步一起学习！免费分享视频资料 元组的遍历也是很简单的： 输出结果: 直接for遍历出来的是一个个元素，但最好还是建议先查询元素个数，然后根据索引值去获取value值，尤其对多层嵌套的元组来说，这种方式更好。 2）列表 列表是我们常用的，所以这一块一定要好好掌握： 输出结果： 列表的查询，遍历，和切片截取功能跟元组一样；添加元素可以一般是直接append("XXX")就往列表后面添加值，如果要指定位置添加元素，可以像lists.insert(4,"ouyang5")，在指定的索引值位置插入值； 移除可以用remove指定的元素，如果想要弹出最后一个元素，可以用pop方法； 列表的其他常用方法： 输出结果： join是把列表转为字符串，用逗号隔开；sort是根据字典排序，即字母的数字编码大小排序；reverse是反转排序；最后一个clear就是清空列表； 3）字典 字典很多方法也是跟list是一样的： 输出结果： 字典是一个键值对集合，可以支持修改；排序方法，这里使用lambda函数，这里就先不讲了，后面会涉及这块知识，需要知道有这一块功能就行。 字典其他一些用法： 输出结果： 字典的浅复制copy和deepcopy在3.6版本的功能是一样的了，以前的版本，浅复制修改原字典，copy出来的字典也会跟着变化，但现在都不会了；因为原先copy出来的只是做了一个指引而已，内存地址一样。deepcopy就是新开辟一个内存空间。 字典的update很好用，他会合并两个字典，去掉重复的元素。 4）set集合 set集合里的元素是不能重复的，list里面的元素是可以重复的。 输出结果： set的定义是在list列表的基础上的，去掉重复的，当然它的索引取值等方式是跟列表是一样的，这里就不在说，通样，它也有一个更新的功能，跟字典很类似。 总结： 这些集合是很常用，对常用的方法一定要熟悉，用的时候可以顺手拈来。
-
发表了文章 2019-02-14
一入爬虫深似海，总结python爬虫学习笔记！
正文 〇. python 基础 先放上python 3 的官方文档:https://docs.python.org/3/ (看文档是个好习惯) 关于python 3 基础语法方面的东西,网上有很多,大家可以自行查找. 一. 最简单的爬取程序 爬取百度首页源代码: 来看上面的代码: 对于python 3来说,urllib是一个非常重要的一个模块 ，可以非常方便的模拟浏览器访问互联网,对于python 3 爬虫来说, urllib更是一个必不可少的模块,它可以帮助我们方便地处理URL. urllib.request是urllib的一个子模块,可以打开和处理一些复杂的网址 The urllib.requestmodule defines functions and classes which help in opening URLs (mostly HTTP) in a complex world — basic and digest authentication, redirections, cookies and more. urllib.request.urlopen()方法实现了打开url,并返回一个 http.client.HTTPResponse对象,通过http.client.HTTPResponse的read()方法,获得response body,转码最后通过print()打印出来. urllib.request.urlopen(url, data=None, [timeout, ]***, cafile=None, capath=None, cadefault=False, context=None)For HTTP and HTTPS URLs, this function returns a http.client.HTTPResponseobject slightly modified.< 出自: https://docs.python.org/3/library/urllib.request.html > decode('utf-8')用来将页面转换成utf-8的编码格式，否则会出现乱码 二 模拟浏览器爬取信息 在访问某些网站的时候，网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫，用来作为反爬取的一种策略。 先来看一下Chrome的头信息（F12打开开发者模式）如下： 如图，访问头信息中显示了浏览器以及系统的信息（headers所含信息众多，具体可自行查询） Python中urllib中的request模块提供了模拟浏览器访问的功能，代码如下： from urllib import request url = 'http://www.baidu.com' # page = request.Request(url) # page.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36') headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} page = request.Request(url, headers=headers) page_info = request.urlopen(page).read().decode('utf-8') print(page_info) 可以通过add_header(key, value) 或者直接以参数的形式和URL一起请求访问，urllib.request.Request() urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None) 在学习中有迷茫不知如何学习的朋友小编推荐一个学Python的学习q u n 227 -435- 450可以来了解一起进步一起学习！免费分享视频资料 三 爬虫利器Beautiful Soup Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. 文档中的例子其实说的已经比较清楚了，那下面就以爬取简书首页文章的标题一段代码来演示一下： 先来看简书首页的源代码： 可以发现简书首页文章的标题都是在<a/>标签中，并且class='title',所以，通过 find_all('a', 'title') 便可获得所有的文章标题，具体实现代码及结果如下： # -*- coding:utf-8 -*- from urllib import request from bs4 import BeautifulSoup url = r'http://www.jianshu.com' # 模拟真实浏览器进行访问 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} page = request.Request(url, headers=headers) page_info = request.urlopen(page).read() page_info = page_info.decode('utf-8') # 将获取到的内容转换成BeautifulSoup格式，并将html.parser作为解析器 soup = BeautifulSoup(page_info, 'html.parser') # 以格式化的形式打印html # print(soup.prettify()) titles = soup.find_all('a', 'title') # 查找所有a标签中class='title'的语句 # 打印查找到的每一个a标签的string for title in titles: print(title.string) Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,下表列出了主要的解析器,以及它们的优缺点: 四 将爬取的信息存储到本地 之前我们都是将爬取的数据直接打印到了控制台上，这样显然不利于我们对数据的分析利用，也不利于保存，所以现在就来看一下如何将爬取的数据存储到本地硬盘。 1 对.txt文件的操作 读写文件是最常见的操作之一，python3 内置了读写文件的函数：open open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None))Open file and return a corresponding file object. If the file cannot be opened, an OSErroris raised. 其中比较常用的参数为file和mode，参数file为文件的路径，参数mode为操作文件的方式（读/写），函数的返回值为一个file对象，如果文件操作出现异常的话，则会抛出 一个OSError 还以简书首页文章题目为例，将爬取到的文章标题存放到一个.txt文件中，具体代码如下： # -*- coding:utf-8 -*- from urllib import request from bs4 import BeautifulSoup url = r'http://www.jianshu.com' headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} page = request.Request(url, headers=headers) page_info = request.urlopen(page).read().decode('utf-8') soup = BeautifulSoup(page_info, 'html.parser') titles = soup.find_all('a', 'title') try: # 在E盘以只写的方式打开/创建一个名为 titles 的txt文件 file = open(r'E: itles.txt', 'w') for title in titles: # 将爬去到的文章题目写入txt中 file.write(title.string + ' ') finally: if file: # 关闭文件（很重要） file.close() open中mode参数的含义见下表： 其中't'为默认模式，'r'相当于'rt',符号可以叠加使用，像'r+b' 另外，对文件操作一定要注意的一点是：打开的文件一定要关闭，否则会占用相当大的系统资源，所以对文件的操作最好使用try:...finally:...的形式。但是try:...finally:...的形式会使代码显得比较杂乱，所幸python中的with语句可以帮我们自动调用close（）而不需要我们写出来，所以，上面代码中的try:...finally:...可使用下面的with语句来代替： with open(r'E: itle.txt', 'w') as file: for title in titles: file.write(title.string + ' ') 效果是一样的，建议使用with语句 2 图片的储存 有时候我们的爬虫不一定只是爬取文本数据，也会爬取一些图片，下面就来看怎么将爬取的图片存到本地磁盘。 我们先来选好目标，知乎话题：女生怎么健身锻造好身材？ (单纯因为图多，不要多想哦 （# _ # ) ） 看下页面的源代码，找到话题下图片链接的格式，如图： 可以看到，图片在img标签中，且class=origin_image zh-lightbox-thumb，而且链接是由.jpg结尾，我们便可以用Beautiful Soup结合正则表达式的方式来提取所有链接，如下: links = soup.find_all('img', "origin_image zh-lightbox-thumb",src=re.compile(r'.jpg$')) 提取出所有链接后，使用request.urlretrieve来将所有链接保存到本地 Copy a network object denoted by a URL to a local file. If the URL points to a local file, the object will not be copied unless filename is supplied. Return a tuple (filename, headers)where filename is the local file name under which the object can be found, and headers is whatever the info()method of the object returned by urlopen()returned (for a remote object). Exceptions are the same as for urlopen(). 具体实现代码如下： # -*- coding:utf-8 -*- import time from urllib import request from bs4 import BeautifulSoup import re url = r'https://www.zhihu.com/question/22918070' headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} page = request.Request(url, headers=headers) page_info = request.urlopen(page).read().decode('utf-8') soup = BeautifulSoup(page_info, 'html.parser') # Beautiful Soup和正则表达式结合，提取出所有图片的链接（img标签中，class=**，以.jpg结尾的链接） links = soup.find_all('img', "origin_image zh-lightbox-thumb",src=re.compile(r'.jpg$')) # 设置保存的路径，否则会保存到程序当前路径 local_path = r'E:Pic' for link in links: print(link.attrs['src']) # 保存链接并命名，time防止命名冲突 request.urlretrieve(link.attrs['src'], local_path+r'%s.jpg' % time.time()) 运行结果
滑动查看更多
暂无更多信息
-
发表了文章
2019-11-12
拯救Python新手的几个项目实战
-
发表了文章
2019-04-14
python各类爬虫案例，爬到你手软！
-
发表了文章
2019-04-06
python的异常处理
-
发表了文章
2019-03-09
Python 基础（常用数据结构）
-
发表了文章
2019-02-14
一入爬虫深似海，总结python爬虫学习笔记！
-
发表了文章
2019-01-27
Python获取IP地址对应的地理位置信息！
-
发表了文章
2019-01-24
python编程语言基础
-
发表了文章
2019-01-04
Python 网络爬虫入门详解
-
发表了文章
2018-12-24
学习Python3 进程，这一篇就够了
-
发表了文章
2018-12-21
成为Python大牛必须要掌握的高端语法——yield
-
发表了文章
2018-12-20
python循环语句详细讲解
-
发表了文章
2018-12-18
学习Python语言 基础语法：变量的基本使用
-
发表了文章
2018-12-16
Python程序员需要知道的30个技巧
-
发表了文章
2018-12-15
起薪2万的爬虫工程师，Python需要学到什么程度才可以就业？
-
发表了文章
2018-12-14
python是如何进行内存管理的
-
发表了文章
2018-12-04
Python｜19个优雅的Python编程技巧，涨姿势！
-
发表了文章
2018-11-26
总结八个好用的Python爬虫技巧
-
发表了文章
2018-11-02
Python正则表达式的简单应用和示例演示
-
发表了文章
2018-10-23
python打造特别火的一个小游戏，16行代码实现3D撞球小游戏！
-
发表了文章
2018-10-19
Python爬虫:Scrapy框架的安装和基本使用
滑动查看更多
暂无更多信息