Python--(爬虫与数据库的连接)-阿里云开发者社区

开发者社区> jamesjoshuasss> 正文

Python--(爬虫与数据库的连接)

简介: (每一天都是属于你的!)   Python对于初学后巩固基础的人还是更多的来接触python爬虫会更好一些,在Python爬虫中包含很多基础部分知识,并且在项目中会提升你的成功感!加油! 我在工作之余时间,把Python的爬虫基础内容整理了一下,资料因为太多所以都放在QQ群内了,需要的可以来---607021567。
+关注继续查看

(每一天都是属于你的!)

 

Python对于初学后巩固基础的人还是更多的来接触python爬虫会更好一些,在Python爬虫中包含很多基础部分知识,并且在项目中会提升你的成功感!加油!

我在工作之余时间,把Python的爬虫基础内容整理了一下,资料因为太多所以都放在QQ群内了,需要的可以来---607021567。

今天整理了一个两个网站的小说阅读平台的爬虫,将两个网站的小说可按自有的格式抓取下来自动生成txt文件。

项目介绍:

  --Python爬虫

    --模块:requests,BeautifulSoup,time

    --分析:request模块作用于网站的连接与处理,BeautifulSoup作用于源码中的代码分析与抓取,time主要是在我们抓取的过程中加入时间限制(这个主要是应对有网站监控的,这里我们就不需要了)

 因为这里没有涉及到数据库相关的操作,所以没有对数据库的相关详细内容,但是我会将Python与mongodb、MySQL、Sqlserver的连接方式的代码会附赠在下面。

 

一、网页分析:

首先步步分析网页内容:https://www.booktxt.net/6_6453/2529786.html,cookie信息--F12键。

这里面有很多广告,不过可以不用去理它们,首先获取到我们需要的网址:

 1 # -*- coding:utf-8 -*-
 2 import requests
 3 from bs4 import BeautifulSoup
 4 import time
 5 
 6 def project(url,page):
 7     #url='http://www.23us.so/files/article/html/1/1809/877404.html' #大主宰
 8     #url='http://www.23us.so/files/article/html/6/6100/2193573.html' #天下无双
 9     #url='https://www.booktxt.net/6_6453/2529786.html' #元尊
10     headers={"Cookie": "jieqiVisitId=article_articleviews%3D6453; cscpvrich87",
11         "Host": "www.booktxt.net",
12              "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0",
13              "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"}
14     r =requests.get(url,headers,timeout=30)
15     h = r.content

 这里主要使用request模块获取网址的源码,h--就是我们所获取的源码,你可以测试的时候print出来。

 

二、源码分析

我们这里直接在网页中来查看源码:网页中右键查看源码。

这里我们注意到文本的内容包含在<div id="content">的标签内,所以接下来我们使用bs4来处理。

1 soup = BeautifulSoup(h, "html.parser")
2 a1 = soup.find('div',class_="bookname").h1
3 text_da(a1.get_text().encode('utf-8')+'\n\n\n')
4 a = soup.find('div',id='content')
5 text_da(a.get_text().encode('utf-8')+'\n\n\n')

每一行分开解释:

1、使用BeautifulSoup模块,其中"html.parser"是模块内置函数,对源码的分析,这样我们就获取到网址的bs4源码。

2、首先是获取小说中的标题,soup.find--是获取源码中第一个div标签class=“bookname”下的h1标签,当前我们获取到h1标签所有内容包括标签,但是我们需要获取到文本内容。

3、获取获得标签内的文本内容--a1.get_text(),这里的encode('utf-8')是将我们获取的内容需要转码,不然是乱码的状态。

4、获取我们主要的文本内容--同理,需要获得文本内容的标签div

5、获得文本内容。

 

三、分页操作

因为我们浏览的页面会有分页,所有这里也是我们需要注意的地方。

这里的下一章按钮,就是我们的突破点:

1  b = soup.find('div',class_='bottem2')
2  if b:
3      a = b.find_all('a')
4      #shuurl = 'http://www.23us.so'+a[-1]['href']
5      shuurl = 'https://www.booktxt.net' + a[-2]['href']
6      #print shuurl
7      page=page+1
8      project(shuurl,page)

 我们在源码中获取到的下一章的网址位于a标签内。

3行、--我们获取所有的a标签。

5行、a[-2]是获取我们倒数第二个标签也就是我们的下一章标签,【’href‘】--是获得a标签内的href的内容也就是我们的地址,这里需要拼接字符串。

7行、是抓取的注释内容,稍后在源码中你会看到效果

8行、有的小伙伴注意到了,这里是调用函数,函数的名字就是我们一开始定义的函数,就是它自己本身。

 

四、写入文件

接下来,我们的主要价值数据获取到,但是我们需要它成为txt文件,所以我写了一个函数,在上面的函数体中直接调用就可以了。

1 def text_da(text):
2     fo = open("foo.txt", "a")
3     fo.write(text)
4 
5     # 关闭打开的文件
6     fo.close()

 

五、启动函数

最后一步,就是我们的启动程序代码。

1 if __name__ == '__main__':
2     page=1
3     url = 'https://www.booktxt.net/6_6453/2529786.html'  # 元尊
4     project(url,page)

这里主要是python的内置函数,作为启动py文件内的函数。

 

 六、源码

哦!忘了源码-----

 1 # -*- coding:utf-8 -*-
 2 import requests
 3 from bs4 import BeautifulSoup
 4 import time
 5 
 6 def project(url,page):
 7     #url='http://www.23us.so/files/article/html/1/1809/877404.html' #大主宰
 8     #url='http://www.23us.so/files/article/html/6/6100/2193573.html' #天下无双
 9     #url='https://www.booktxt.net/6_6453/2529786.html' #元尊
10     headers={"Cookie": "jieqiVisitId=article_articleviews%3D6453; cscpvrich8793_fidx=4; __tins__19219364=%7B%22sid%22%3A%201527749231776%2C%20%22vd%22%3A%204%2C%20%22expires%22%3A%201527751067272%7D; __51cke__=; __51laig__=4; Hm_lvt_6949867c34e7741ebac3943050f04833=1527749232; Hm_lpvt_6949867c34e7741ebac3943050f04833=1527749267; cscpvcouplet8792_fidx=4; cscpvrich8791_fidx=4",
11         "Host": "www.booktxt.net",
12              "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0",
13              "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"}
14     r =requests.get(url,headers,timeout=30)
15     h = r.content
16     #print h
17     soup = BeautifulSoup(h, "html.parser")
18     #a = soup.find('dd',id='contents')
19     #print a.get_text()
20     a1 = soup.find('div',class_="bookname").h1
21     text_da(a1.get_text().encode('utf-8')+'\n\n\n')
22     a = soup.find('div',id='content')
23     text_da(a.get_text().encode('utf-8')+'\n\n\n')
24     print ''+str(page)+'章!'
25     #b = soup.find('dd',id='footlink')
26     b = soup.find('div',class_='bottem2')
27     if b:
28         a = b.find_all('a')
29         #shuurl = 'http://www.23us.so'+a[-1]['href']
30         shuurl = 'https://www.booktxt.net' + a[-2]['href']
31         #print shuurl
32         page=page+1
33         project(shuurl,page)
34 
35 def text_da(text):
36     fo = open("foo.txt", "a")
37     fo.write(text)
38 
39     # 关闭打开的文件
40     fo.close()
41 
42 if __name__ == '__main__':
43     page=1
44     url = 'https://www.booktxt.net/6_6453/2529786.html'  # 元尊
45     project(url,page)

 

对了!还有Python对于数据库的连接操作,我这里直接就贴源码了,其中很多的内容我都注释了!不懂的可以加群---607021567(需要验证信息,因为我不知道来的是朋友还是敌人)

 1 # -*- coding:utf-8 -*-
 2 import pymongo
 3 from pymongo import MongoClient
 4 import json
 5 #MONGODB
 6 #连接
 7 client = MongoClient('mongodb://localhost')
 8 db = client.test
 9 table='test'
10 #db[table].insert({'user_id':2,'name':'zhu'})
11 #db[table].update({'name':'zhu'},{'$set':{'user_id':2}})
12 #db[table].remove({'name':'zhu'})
13 #查询结果排序(key:1或者-1)升序或者降序
14 a = db[table].find().sort("user_id",1)
15 print a
16 for i in a:
17     print i
18 
19 #db.authenticate('test','test')
20 
21 """table = 'imi_product'
22 a = db[table].find({'partno':'NEN1FX6'}).limit(1)
23 detailList = []
24 for i in a:
25         if (i.get("specs")):
26                 specary = i.get("specs")
27                 for i in specary:
28                     detailList.append({"left": i, "right": specary[i]})
29 print detailList
30 for i in detailList:
31     print i.get('right')
32 #查询和增加
33 #db[table].insert({'sn':1,'b':'b'})
34 #更改
35 #db[table].update({'sn':1},{'$set':{'b':'sda'}})
36 #删除
37 #删除name=lisi的全部记录
38 #db[table].remove({'sn': 1})
39 #删除集合里的所有记录
40 #db.users.remove()
41 #    (>)  大于 - $gt
42 #    (<)  小于 - $lt
43 #    (>=)  大于等于 - $gte
44 #    (<= )  小于等于 - $lte
45 #a = db[table]
46 #print a.find_one()"""
47 
48 
49 
50 #SQLSERVER
51 """import pyodbc
52 import MySQLdb
53 MSSQL_INFO = {"hostname":"localhost","username":"","password":"","dbname":"oneice"}
54 strconn= 'DRIVER={SQL Server};SERVER='+MSSQL_INFO.get("hostname")+';DATABASE='+MSSQL_INFO.get("dbname")+';UID='+MSSQL_INFO.get("username")+';PWD='+MSSQL_INFO.get("password")
55 db = pyodbc.connect(strconn)
56 sqldb = db.cursor()
57 #查询
58 sql = 'select * from news where news_id=1'
59 #添加
60 sql ="insert into news (news_title,news_author,news_summary,news_content,news_pic) values ('haha','happy','Iriji','little','12dsa')"
61 #删除
62 sql ="delete from news where news_id=5"
63 sqldb.execute(sql)
64 sqldb.commit()
65 #查询
66 row = sqldb.fetchone()
67 print row[1]
68 #存储过程
69 sqldb.execute("{call 存储过程名字 (参数)}", '上传的参数')
70 q = sqldb.fetchone()/fetchall()
71 sqldb.commit()
72 if q:
73     print q[1]"""

这里包含这Python调用SQLSERVER的存储过程和基本操和MONGODB的基本操作!

Welcome to Python world! I have a contract in this world! How about you?

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
python连接mysql
(1)pyhton shell下导入MySQLdb失败。http://pypi.python.org/pypi/MySQL-python/(2)下载解压MySQL-python。http://pypi.
1184 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10084 0
Python爬虫入门教程 39-100 天津市科技计划项目成果库数据抓取 scrapy
爬前叨叨 缘由 今天本来没有打算抓取这个网站的,无意中看到某个微信群有人问了一嘴这个网站,想看一下有什么特别复杂的地方,一顿操作下来,发现这个网站除了卡慢,经常自己宕机以外,好像还真没有什么特殊的..
599 0
Python连接DB2操作的一个小例子
QQ交流群:127591054 作者:JackChiang 作者QQ:595696297 Python版本3.5 这个小项目,是解决数据库查看的时候一些错误的,查看。
1635 0
Python连接DB2数据库基本
QQ交流群:127591054 JackChiang QQ:595696297 Python3.5 看代码说话,这里使用的python版本为3.5首先需要导入的IBM的数据包:ibm_db 简单使用如下,详细项目看另外一篇。
2718 0
Python爬虫入门教程 28-100 虎嗅网文章数据抓取 pyspider
1. 虎嗅网文章数据----写在前面 今天继续使用pyspider爬取数据,很不幸,虎嗅资讯网被我选中了,网址为 https://www.huxiu.com/ 爬的就是它的资讯频道,本文章仅供学习交流使用,切勿用作其他用途。
1129 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10883 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13890 0
python34之殇——DJango连接Mysql数据库
系统环境: 64位 windows 7 + python34 + Django 1.8 问题描述:       因为MySQLdb不兼容python3.x,导致DJango使用django.db.backends.mysql连接mysql数据库时,出现启动网站报错。
923 0
+关注
jamesjoshuasss
Python工程师
25
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载