Python爬取内涵段子里的段子

简介:

环境:Python3.6



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
#!/usr/bin/env python3
#-*-coding:utf-8-*-
#version:3.6.4
__author__  =  '杜文涛'
 
import  requests
import  json
 
 
def  get_json_dic(url):
     global  dict_json
     response  =  requests.get(url = url)
     json_response  =  response.content.decode()  #获取r的文本 就是一个json字符串
     dict_json  =  json.loads(json_response)  #  将json字符串转换成dic字典对象
 
     return  dict_json
 
def  get_joke(dict_json):
     print ( len (dict_json[ 'data' ][ 'data' ]))
     for  in  range ( 1 , 20 ):
         conture  =  input ( '是否继续,Y/N' )
         if  conture  = =  'Y'  or  conture  = =  'y' :
             joke  =  dict_json[ 'data' ][ 'data' ][i][ 'group' ][ 'text' ]
             if  = =  19 :
                 dict_json  =  {}
                 conture
             print (joke)
         else :
             exit()
 
def  get_max_time(dic_json):
     global  max_time
     max_time  =  dict_json[ 'data' ][ 'max_time' ]
     return  max_time
 
if  __name__  = =  '__main__' :
     max_time  =  1519404642
     url  =  'http://www.neihanshequ.com/joke/?is_json=1&app_name=neihanshequ_web&max_time='  +  str (max_time)
 
     get_json_dic(url)
     get_max_time(dic_json = dict_json)
     get_joke(dict_json = dict_json)
 
     while  True :
         url  =  'http://www.neihanshequ.com/joke/?is_json=1&app_name=neihanshequ_web&max_time='  +  str (max_time)
         get_json_dic(url)
         get_max_time(dic_json = dict_json)
         get_joke(dict_json = dict_json)
         print (url)

微信公众号:

qrcode_for_gh_0cd223682950_344.jpg



本文转自 天道酬勤VIP 51CTO博客,原文链接:http://blog.51cto.com/tdcqvip/2072704

相关文章
|
2月前
|
数据采集 Python
爬虫实战-Python爬取百度当天热搜内容
爬虫实战-Python爬取百度当天热搜内容
74 0
|
2月前
|
数据采集 JSON 数据格式
python爬虫之app爬取-charles的使用
charles 基本原理,charles抓包,分析,重发。
66 0
|
3月前
|
数据采集 存储 架构师
上进计划 | Python爬虫经典实战项目——电商数据爬取!
在如今这个网购风云从不间歇的时代,购物狂欢持续不断,一年一度的“6.18年中大促”、“11.11购物节”等等成为了网购电商平台的盛宴。在买买买的同时,“如何省钱?”成为了大家最关心的问题。 比价、返利、优惠券都是消费者在网购时的刚需,但在这些“优惠”背后已产生灰色地带。
|
5月前
|
数据采集 Python
Python爬虫:实现爬取、下载网站数据的几种方法
Python爬虫:实现爬取、下载网站数据的几种方法
226 1
|
2月前
|
数据采集 测试技术 API
python爬虫之app爬取-微信朋友圈
搭建appium环境,appium基本使用,API操作等等
90 0
|
8天前
|
数据采集 Web App开发 iOS开发
爬取B站评论:Python技术实现详解
爬取B站评论:Python技术实现详解
|
19天前
|
数据采集 Web App开发 开发者
探秘Python爬虫技术:王者荣耀英雄图片爬取
探秘Python爬虫技术:王者荣耀英雄图片爬取
|
2月前
|
数据采集 存储 数据处理
使用Python爬取豆瓣电影影评:从数据收集到情感分析
本文演示如何使用Python爬虫获取豆瓣电影《肖申克的救赎》的影评数据并进行情感分析。首先,安装requests、BeautifulSoup、pandas和TextBlob库。接着,编写爬虫抓取评论的用户名、评分和内容,存储为DataFrame。然后,利用TextBlob进行情感分析,得到情感分数。此方法有助于分析用户对电影的反馈。
105 1
|
2月前
|
数据采集 存储 安全
python爬虫之app爬取-mitmproxy 的使用
mitmproxy抓包原理,设置代理,MitmDump运用,mitmproxy使用。
46 0
|
2月前
|
数据采集 存储 数据挖掘
Python爬虫实战:打造一个简单的新闻网站数据爬取工具
本文将介绍如何运用Python编写一个简单而高效的网络爬虫,帮助您在实际项目中快速获取并存储新闻网站的数据。通过学习本文,您将了解到如何利用Python中的第三方库和技术来实现数据爬取,为您的数据分析和应用提供更多可能性。