Crawler:基于requests库+urllib3库+伪装浏览器实现爬取抖音账号的信息数据

简介: Crawler:基于requests库+urllib3库+伪装浏览器实现爬取抖音账号的信息数据
+关注继续查看

输出结果


更新……



代码设计


from contextlib import closing

import requests, json, time, re, os, sys, time

import urllib3

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

headers = {

  'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

  'accept-encoding': 'gzip, deflate, br',

  'accept-language': 'zh-CN,zh;q=0.9',

  'cache-control': 'max-age=0',

  'upgrade-insecure-requests': '1',

  'user-agent': 'Mozilla/5.0 (Linux; U; Android 5.1.1; zh-cn; MI 4S Build/LMY47V) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.146 Mobile Safari/537.36 XiaoMi/MiuiBrowser/9.1.3',

 }

class DouYin(object):

   def __init__(self, width=500, height=300):

       """

       抖音App视频下载

       """

       # 无头浏览器

       chrome_options = Options()

       chrome_options.add_argument(

   def get_video_urls(self, user_id):

       """

       获得视频播放地址

       Parameters:

           user_id:查询的用户ID

       Returns:

           video_names: 视频名字列表

           video_urls: 视频链接列表

           nickname: 用户昵称

       """

   def video_downloader(self,video_urls, video_names, watermark_flag=False):

       for i in range(len(video_urls)):

           try:

               video_url = video_urls[i]

   def run(self):

       user_id = input('请输入ID(例如108561773):')

if __name__ == '__main__':

   douyin = DouYin()

   douyin.run()



相关文章
|
6月前
|
数据采集 存储 Python
python使用aiohttp+代理+header爬取安居客
使用aiohttp来爬取网站,使用不同的代理IP和header
|
6月前
|
数据采集 存储 数据库
如何使用python+urllib库+代理IP爬取新闻数据
如何使用python+urllib库+代理IP爬取数据
如何使用python+urllib库+代理IP爬取新闻数据
|
8月前
|
数据采集 人工智能 JavaScript
python3爬虫:使用Selenium带Cookie登录并且模拟进行表单上传文件
前文再续,书接上一回,之前一篇文章我们尝试用百度api智能识别在线验证码进行模拟登录:[Python3.7爬虫:实时api(百度ai)检测验证码模拟登录(Selenium)页面](https://v3u.cn/a_id_134),这回老板又发话了,编辑利用脚本虽然登录成功了,但是有一些表单还是得手动上传,希望能改造成自动化流程。说实话,没毛病,机器能干的事,就没必要麻烦人了,拿人钱财,替人办事,开干。
python3爬虫:使用Selenium带Cookie登录并且模拟进行表单上传文件
|
数据采集 中间件 Python
Python爬虫:scrapy管理服务器返回的cookie
Python爬虫:scrapy管理服务器返回的cookie
254 0
|
数据采集 Python
Python爬虫:fake_useragent库模拟浏览器请求头
Python爬虫:fake_useragent库模拟浏览器请求头
|
数据采集 存储 JSON
Python 爬虫 AJAX 数据爬取和 HTTPS 访问| 学习笔记
快速学习 Python 爬虫 AJAX 数据爬取和 HTTPS 访问
207 0
|
数据采集 Python
Python爬虫:browsercookie库获取浏览器cookie
Python爬虫:browsercookie库获取浏览器cookie
403 0
|
数据安全/隐私保护
Crawler:基于splinter.browser库实现爬取12306网站来实现快速抢票
Crawler:基于splinter.browser库实现爬取12306网站来实现快速抢票
Crawler:基于splinter.browser库实现爬取12306网站来实现快速抢票
|
Web App开发 机器学习/深度学习 算法
Crawler:基于BeautifulSoup库+requests库+伪装浏览器的方式实现爬取14年所有的福彩网页的福彩3D相关信息,并将其保存到Excel表格中
Crawler:基于BeautifulSoup库+requests库+伪装浏览器的方式实现爬取14年所有的福彩网页的福彩3D相关信息,并将其保存到Excel表格中
Crawler:基于BeautifulSoup库+requests库+伪装浏览器的方式实现爬取14年所有的福彩网页的福彩3D相关信息,并将其保存到Excel表格中
|
数据采集 Python
Crawler之Scrapy:Python实现scrapy框架爬虫两个网址下载网页内容信息
Crawler之Scrapy:Python实现scrapy框架爬虫两个网址下载网页内容信息
相关产品
云迁移中心
推荐文章
更多