开发者社区> 梦想橡皮擦> 正文

Python爬虫入门教程 50-100 Python3爬虫爬取VIP视频-Python爬虫6操作

简介: 爬虫背景 原计划继续写一下关于手机APP的爬虫,结果发现夜神模拟器总是卡死,比较懒,不想找原因了,哈哈,所以接着写后面的博客了,从50篇开始要写几篇python爬虫的骚操作,也就是用Python3通过爬虫实现一些小工具。
+关注继续查看

爬虫背景

原计划继续写一下关于手机APP的爬虫,结果发现夜神模拟器总是卡死,比较懒,不想找原因了,哈哈,所以接着写后面的博客了,从50篇开始要写几篇python爬虫的骚操作,也就是用Python3通过爬虫实现一些小工具。

Python3 VIP视频下载器

这种软件或者网站满天都是了,就是在线观看收费网站的VIP视频,你只要会玩搜索引擎或者是一个程序员基本都知道,虽说一直在被封杀,但是能赚钱的地方就一定有人钻漏洞。今天要实现的就是通过别人的API在Python中下载ts视频到本地,自己去百度一下TS视频是什么吧。
image

找相关的接口

我随便搜索了一下,那是非常多的,版权问题,就不放相关的地址了,当然在代码中还是会出现一下的。

我找到这个接口应该是目前相对比较稳定的,并且还在更新的

我看了一下,他中间主要通过三个API整体实现的页面逻辑

首先你先去优酷啊,腾讯啊,爱奇艺啊找个VIP视频的地址,这个随意啦

我找了一个《叶问外传》

http://v.youku.com/v_show/id_XNDA0MDg2NzU0OA==.html?spm=a2h03.8164468.2069780.5  

image

编写代码几个步骤

在浏览器测试播放地址,得到线路播放数据

http://y.mt2t.com/lines?url=https://v.qq.com/x/cover/5a3aweewodeclku/b0024j13g3b.html  

image

在页面的源码中,请注意,打开开发者工具直接按快捷键F12即可,右键已经被锁定。
在源码中,发现真实的调用地址

image

所以,你需要先匹配出来key来,非常简单,使用正则表达式即可

import requests
import re
class VIP(object):
    def __init__(self):
        self.api = "http://y.mt2t.com/lines?url="
        self.url = "http://v.youku.com/v_show/id_XNDA0MDg2NzU0OA==.html?spm=a2h03.8164468.2069780.5"

    def run(self):
        res = requests.get(self.api+self.url)
        html = res.text

        key = re.search(r'key:"(.*?)"',html).group(1)
        print(key)

if __name__ == '__main__':
    vip = VIP()
    vip.run()

得到key之后,就可以进行获取播放地址了,经过分析也可以知道接口为

Request URL: http://y.mt2t.com/lines/getdata
Request Method: POST

那么只需要编写一下即可

import requests
import re
import json

class VIP(object):
    def __init__(self):
        self.api = "http://y.mt2t.com/lines?url="
        self.post_url = "http://y.mt2t.com/lines/getdata"
        self.url = "http://v.youku.com/v_show/id_XNDA0MDg2NzU0OA==.html?spm=a2h03.8164468.2069780.5"

    def run(self):
        res = requests.get(self.api+self.url)
        html = res.text

        key = re.search(r'key:"(.*?)"',html).group(1)
        return key

    def get_playlist(self):

        key = self.run()

        data = {
            "url":self.url,
            "key":key
        }
        html = requests.post(self.post_url,data=data).text
        dic = json.loads(html)
        print(dic)

if __name__ == '__main__':
    vip = VIP()
    vip.get_playlist()

上面的代码可以得到如下的数据集

image

这个数据集需要解析一下,用来获取播放地址,请注意还有一个接口我们需要打通

Request URL: http://y2.mt2t.com:91/ifr/api
Request Method: POST

参数如下

url: +bvqT10xBsjrQlCXafOom96K2rGhgnQ1CJuc5clt8KDHnjH75Q6BhQ4Vnv7gUk+SpJYws4A93QjxcuTflk7RojJt0PiXpBkTAdXtRa6+LAY=
type: m3u8
from: mt2t.com
device: 
up: 0

这个API的所有参数都是从刚才获得的数据集分解出来的
提取上面结果集中的URL

http://y2.mt2t.com:91/ifr?url=%2bbvqT10xBsjrQlCXafOom96K2rGhgnQ1CJuc5clt8KDHnjH75Q6BhQ4Vnv7gUk%2bSpJYws4A93QjxcuTflk7RojJt0PiXpBkTAdXtRa6%2bLAY%3d&type=m3u8

对这个URL进行分解,这个地方你需要了解一般情况下URL进行哪些符号的特殊编码

大小写都有可能

符号 特殊编码
+ %2d
/ %2f
% %25
= %3d
? %3F
# %23
& %26

所以编写的代码如下

    def url_spilt(self):
        url = "http://y2.mt2t.com:91/ifr?url=%2bbvqT10xBsjrQlCXafOom96K2rGhgnQ1CJuc5clt8KDHnjH75Q6BhQ4Vnv7gUk%2bSpJYws4A93QjxcuTflk7RojJt0PiXpBkTAdXtRa6%2bLAY%3d&type=m3u8"
        url = url.split("?url=")[1].split("&")[0].replace("%2b","+").replace("%3d","=").replace("%2f","/")
        print(url)

接下来获取type 这个比较容易
只需要判断以下type=是否在字符串中然后截取即可。

url截取的代码如下

    def url_spilt(self,url):
        #url = "http://y2.mt2t.com:91/ifr?url=%2bbvqT10xBsjrQlCXafOom96K2rGhgnQ1CJuc5clt8KDHnjH75Q6BhQ4Vnv7gUk%2bSpJYws4A93QjxcuTflk7RojJt0PiXpBkTAdXtRa6%2bLAY%3d&type=m3u8"
        url_param = url.split("?url=")[1].split("&")[0].replace("%2b","+").replace("%3d","=").replace("%2f","/")
        if "type=" in url:
            type = url.split("type=")[1]
        else:
            type = ""
        return url_param,type

完善get_playlist函数,最终的代码如下

    def get_playlist(self):

        key = self.run()

        data = {
            "url":self.url,
            "key":key
        }
        html = requests.post(self.post_url,data=data).text
        dic = json.loads(html)

        for item in dic:
            url_param, type = self.url_spilt(item["Url"])
            res = requests.post(self.get_videourl,data={
                "url":url_param,
                "type":type,
                "from": "mt2t.com",
                "device":"",
                "up":"0"
            })
            play = json.loads(res.text)
            print(play)

运行之后得到下面的提示,其中最重要的m3u8已经成果获取到,完成任务
image

image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
为什么用Python爬取网页数据,在检查net work中很多和教程上不一样?
今天就来说说,我们为什么会出现这个问题,以及我们应该怎么做,才能解决这个问题?
21 0
python爬取数据中的headers和代理IP问题
python爬取数据中的headers和代理IP问题
28 0
Python-爬取自己博客文章的URL
Python-爬取自己博客文章的URL
11 0
python爬取叮咚买菜评价数据
python爬取叮咚买菜评价数据
20 0
python如何分布式和高并发爬取电商数据
python如何分布式和高并发爬取电商数据
48 0
Python爬虫实战(4) | 爬取历年中国电影票房排行榜
看了看后台,发现之前写的几篇有关爬虫实战的文章特别受欢迎,阅读量都是好几千那种 然后回头发现自己好久没写爬虫了,刚好写了个小小的爬虫 demo ,今天分享给大家
113 0
Python爬虫实战(5) | 爬取知网文献信息
Python爬虫实战(5) | 爬取知网文献信息
65 0
Python_记一次网站数据定向爬取实现
Python_记一次网站数据定向爬取实现
21 0
python如何通过分布式爬虫爬取舆情数据
python如何通过分布式爬虫爬取舆情数据
33 0
python实战爬取招聘网站职位数据
大家都知道金三银四是每年的求职高峰期,是中国招聘市场中最热门的季节之一。这段时间内,许多公司会发布大量的招聘信息,吸引大批求职者前来应聘。同时,也有许多人选择这个时候跳槽,因为这个时候找到新工作的机会相对较大。
95 0
Python爬取新浪微博数据快速版
如何使用python爬取微博数据
55 0
python爬取去哪儿出境游攻略
如何使用python获取去哪儿网出境游攻略
51 0
python爬取数据时IP被禁怎么解决
python3如何使用爬虫代理获取数据
64 0
python使用aiohttp+代理+header爬取安居客
使用aiohttp来爬取网站,使用不同的代理IP和header
326 0
python多线程爬取汽车数据
python如何使用多线获取网站数据
157 0
+关注
梦想橡皮擦
专栏100例写作模式先行者
文章
问答
视频
来源圈子
更多
+ 订阅
相关电子书
更多
双剑合璧-Python和大数据计算平台的结合
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
相关实验场景
更多