抖音小姐姐视频爬虫

简介: 前言前段时间,创造101着实火了一把,问我pick哪位小姐姐,当然是唱歌老跑调,跳舞数拍子的杨超越了。其实在看创造101之前,就已经在抖音上关注了她,今天就来爬爬她的抖音视频(杨超越的抖音已经没有更新了),你的样子我都有~本文主要讲解:抖音视频爬虫视频下载PS:虽然很多网友骂她没实力,但别人运气是真的好~抖音视频爬虫这里依旧是通过fiddler抓包,现在的抖音有加密算法,之前网上的大部分代码都不能用了,我们先看看有哪些加密字段。
img_f805164ee590d5b6966f1a79cba9b197.png

前言

前段时间,创造101着实火了一把,问我pick哪位小姐姐,当然是唱歌老跑调,跳舞数拍子的杨超越了。其实在看创造101之前,就已经在抖音上关注了她,今天就来爬爬她的抖音视频(杨超越的抖音已经没有更新了),你的样子我都有~

img_8f10cf3c80fcc7f18502d46bf879cdf9.gif

本文主要讲解:

  • 抖音视频爬虫
  • 视频下载

PS:虽然很多网友骂她没实力,但别人运气是真的好~

抖音视频爬虫

这里依旧是通过fiddler抓包,现在的抖音有加密算法,之前网上的大部分代码都不能用了,我们先看看有哪些加密字段。

https://aweme.snssdk.com/aweme/v1/aweme/post/?iid=40337863888&device_id=35102252294&os_api=18&app_name=aweme&channel=App%20Store&idfa=11926ED5-C282-4BBC-AF01-0E8C18120647&device_platform=iphone&build_number=23101&vid=177A5A79-D6F6-4A03-9352-57C0681CDDDC&openudid=1ee725d39e05794bcdc14537f8c1f4220c7d6fd5&device_type=iPhone8,1&app_version=2.3.1&version_code=2.3.1&os_version=11.4.1&screen_width=750&aid=1128&ac=WIFI&count=21&max_cursor=0&min_cursor=0&user_id=58554069260&mas=01bf537030d65155897d6fd1d7c97862dbca9722fea8c96d2b68de&as=a1858817de104b87435065&ts=1534297870

这里主要是mas和as参数不知道咋构造,这里因为只是爬一个用户的数据,所以把整个url都copy到txt中,然后请求获取数据。

import requests
import json

f = open('2.txt','w+',encoding='utf-8')

headers = {
    'Host': 'api.amemv.com',
    'Accept': '*/*',
    'Cookie': 'install_id=40337863888; login_flag=d6f29ec905af4bf1101199aa942c466f; odin_tt=a1e12dc3e4b92de77cccf6be1717377188f8aa7582f703c1391c8dc7d4a0df1b166119681af4277bd2cdc8aeb56000a7; sessionid=718df70f4e4964723cd1c8337c367b45; sid_guard=718df70f4e4964723cd1c8337c367b45%7C1534207148%7C5184000%7CSat%2C+13-Oct-2018+00%3A39%3A08+GMT; sid_tt=718df70f4e4964723cd1c8337c367b45; ttreq=1$ad10f98ec66ad6df5b86a7b1a613c77bb674236d; uid_tt=765536856bdc4f0f299b85dbc7338982',
    'User-Agent': 'Aweme/2.3.1 (iPhone; iOS 11.4.1; Scale/2.00)',
    'Accept-Language': 'zh-Hans-CN;q=1',
    'Accept-Encoding': 'br, gzip, deflate',
    'Connection': 'keep-alive'
}


def get_info(url):
    res = requests.get(url,headers=headers)
    json_data = json.loads(res.text)
    datas = json_data['aweme_list']
    for data in datas:
        desc = data['desc']
        download_url = data['video']['play_addr']['url_list'][0]
        print(desc,download_url)
        f.write(desc+','+download_url+'\n')

if __name__ == '__main__':
    fp = open('1.txt', 'r')
    for line in fp.readlines():
        get_info(line.strip())

视频下载

在网上看说,这个链接只有10多分钟的有效期(没有验证),所以爬虫先把视频链接先保存下来,然后再同一下载。

import requests

def download_url(desc,url):
    global i
    res = requests.get(url)
    if len(desc) == 0:
        desc = str(i)
    f = open('视频/'+desc+'.mp4','wb')
    f.write(res.content)
    i = i + 1

i = 1
fp = open('2.txt','r', encoding='utf-8')
for line in fp.readlines():
    desc = line.split(',')[0]
    url = line.split(',')[1].strip('\n')
    print(url)
    download_url(desc,url)
img_c6064bb7d1b625c5efc777216b19f06e.png

最后,祝大家也都能心想事成~


img_ef2b9e60c5a840368121206a786bf70b.jpe
相关文章
|
4月前
|
数据采集 开发框架 前端开发
使用C#和HtmlAgilityPack打造强大的Snapchat视频爬虫
Snapchat作为一款备受欢迎的社交媒体应用,允许用户分享照片和视频。然而,由于其特有的内容自动消失特性,爬虫开发面临一些挑战。本文将详细介绍如何巧妙运用C#和HtmlAgilityPack库,构建一个高效的Snapchat视频爬虫。该爬虫能够从Snapchat网页版中提取视频链接,并将其下载保存到本地。为了提升爬虫的效率和可靠性,我们将使用代理IP技术和多线程技术,以规避Snapchat的反爬机制。
|
5月前
|
数据采集 API 数据安全/隐私保护
利用RoboBrowser库和爬虫代理实现微博视频的爬取
微博是一个社交媒体平台,用户可以在上面发布和分享各种内容,包括文字、图片、音频和视频。微博视频是微博上的一种重要的内容形式,有时我们可能想要下载微博视频到本地,以便于观看或分析。但是,微博视频并没有提供直接的下载链接,而是通过一些加密和混淆的方式,将视频嵌入到网页中。因此,如果我们想要爬取微博视频,就需要使用一些特殊的技术和工具。
106 0
利用RoboBrowser库和爬虫代理实现微博视频的爬取
|
5月前
|
数据采集 JSON JavaScript
网络爬虫的实战项目:使用JavaScript和Axios爬取Reddit视频并进行数据分析
网络爬虫是一种程序或脚本,用于自动从网页中提取数据。网络爬虫的应用场景非常广泛,例如搜索引擎、数据挖掘、舆情分析等。本文将介绍如何使用JavaScript和Axios这两个工具,实现一个网络爬虫的实战项目,即从Reddit这个社交媒体平台上爬取视频,并进行数据分析。本文的目的是帮助读者了解网络爬虫的基本原理和步骤,以及如何使用代理IP技术,避免被目标网站封禁。
网络爬虫的实战项目:使用JavaScript和Axios爬取Reddit视频并进行数据分析
|
数据采集 Python
Python爬虫系列19-采集某视频中的弹幕信息
种一棵树最好的时间是十年前,其次是现在。 不管自己想做一件什么样的事情,要么全力以赴,要么果断放弃,明确对生活的态度会让一切变得更好简单。 当我们同时做很多件事情的时候,很有可能一件事情都做不好,倒不如专注的做好一件事,来的更好。
Python爬虫系列19-采集某视频中的弹幕信息
|
数据采集 Python
Python爬虫系列15-采集梨视频等所有栏目中视频数据
“人生之路是不可逆的,任何人都不可能重新来过、重新选择。” 生活中,每个人都在用不同的方式在成长在成熟,谁也不比谁更轻松。
Python爬虫系列15-采集梨视频等所有栏目中视频数据
|
数据安全/隐私保护
Python爬虫入门教程 51-100 Python3爬虫通过m3u8文件下载ts视频-Python爬虫6操作
什么是m3u8文件 M3U8文件是指UTF-8编码格式的M3U文件。M3U文件是记录了一个索引纯文本文件,打开它时播放软件并不是播放它,而是根据它的索引找到对应的音视频文件的网络地址进行在线播放。 原视频数据分割为很多个TS流,每个TS流的地址记录在m3u8文件列表中 比如我这里有一个m3u8文件...
3004 0
|
数据采集 API Python
Python爬虫入门教程 50-100 Python3爬虫爬取VIP视频-Python爬虫6操作
爬虫背景 原计划继续写一下关于手机APP的爬虫,结果发现夜神模拟器总是卡死,比较懒,不想找原因了,哈哈,所以接着写后面的博客了,从50篇开始要写几篇python爬虫的骚操作,也就是用Python3通过爬虫实现一些小工具。
4183 0
|
数据采集 JSON 数据格式
Python网络爬虫实战三例(附视频讲解)
抓取简书用户信息 之前我写的爬虫都是将已知的固定数据的网址存到list中,然后遍历list中的网址。这次针对简书,我们使用递归来试一下。 什么是递归 程序(或函数)调用自身的编程技巧称为递归( recursion)。
7366 0
|
数据采集 Python
Python网络爬虫之爬取百思不得姐视频并保存至文件
项目说明 使用Python写网络爬虫之爬取百思不得姐视频并保存至文件示例 使用工具 Python2.7.X、pycharm 使用方法 在pycharm中创建一个爬取百思不得姐视频.
1691 0