开发者社区> 科技小能手> 正文

Python爬虫爬数据写入到文件

2017-11-12 1383

简介：
+关注继续查看
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
#coding=utf-8
import requests
from bs4 import BeautifulSoup
import sys
reload(sys)  
sys.setdefaultencoding('utf8') 
r=requests.get('http://html-color-codes.info/color-names/')
html=r.text
#print html
soup=BeautifulSoup(html,'html.parser')
trs=soup.find_all('tr')
f=open('color.txt','a')
index=1
for tr in trs:
    style=tr.get('style')
    tds=tr.find_all('td')
    td=[x for x in tds]
    name=td[1].text.strip()
    hex=td[2].text.strip()
    string=str(index)+','+name+','+hex+','+style
    f.write(string)
    f.write('\r\n')
    #print('序号:'+str(index)+'颜色：'+name+'颜色值：'+hex+'背景色样式'+style)
    index=index+1
f.close()
'''
for index in range(len(trs)):
    style=trs[index].get('style')
    tds=trs[index].find_all('td')
    name=tds[1].text
    hex=tds[2].text
    print('颜色：'+name+'颜色值：'+hex+'背景色样式'+style)
'''

直接上代码。本来这次是想抓取数据直接通过mysql相关的包写入到数据库来着，结果在网上找教程的时候发现MySQL那玩意好难安装。。。。。所以就直接放弃了。间接的把数据先写进txt文本，再慢慢导进数据库吧。。。。


本文转自 努力的C 51CTO博客，原文链接:http://blog.51cto.com/fulin0532/1748605


版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

Web App开发 数据采集 数据库 索引 Python
Python文件 Python爬虫 爬虫python 爬虫文件 Python爬虫文件
开发者社区 > 开发与运维 > 文章
云迁移中心
作者高分内容
更多
关于nginx keep-alive 参数的验证和心得 5160 python之文件的复制 5652 ntop的简单安装、配置及与cacti的整合 4162 expdp+compression性能测试 4205 CentOS通过DNSpod实现动态域名 9153
相关文章
小白学大数据
python爬虫中多线程的实现方式
python爬虫中多线程的实现方式
16 0
筝樾
Python 爬虫技术
Python
16 0
码农技术君
python爬虫：scrapy框架SelectorList.extract()和SelectorList.extract_first()的区别
python爬虫：scrapy框架SelectorList.extract()和SelectorList.extract_first()的区别
17 0
小白学大数据
如何多方面的优化python爬虫程序速度
如何多方面的优化python爬虫程序速度
23 0
小白学大数据
python爬虫中api代理的详细使用过程
python爬虫中api代理的详细使用过程
16 0
小白学大数据
python爬虫常见状态码之504错误
python爬虫常见状态码之504错误
33 0
小白学大数据
python爬虫在情感分析领域的应用
python爬虫在情感分析领域的应用
23 0
小白学大数据
python爬虫带你了解油价新走势
python爬虫带你了解油价新走势
21 0
小白学大数据
Python爬虫-selenium
Python爬虫-selenium
25 0
爬虫工程师Azeroth
python写的爬虫，抓取百度的搜索结果，被屏蔽了怎么办？
这个问题通常是由于频繁的请求导致百度的反爬虫机制触发了验证码的保护机制
49 0
爬虫工程师Azeroth
python 爬虫SSL错误是怎么回事？
解决办法是有的
27 0
小白学大数据
python爬虫针对需要登陆操作的技巧分析
python爬虫针对需要登陆操作的技巧分析
29 0
朦胧的雨梦
Python爬虫 | 利用python爬虫处理某(du)反爬
这篇文章主要介绍了利用Python爬虫采集想要搜索的信息（利用某du的接口实现）并且处理掉它的反爬手段，文中示例代码很详细，具有一定的学习价值，感兴趣的小伙伴快来一起学习吧。
79 0
小白学大数据
python下scarpy爬虫代理错误407
爬虫程序报407的原因
30 0
咸鱼运维杂谈
Python爬虫实战(4) | 爬取历年中国电影票房排行榜
看了看后台，发现之前写的几篇有关爬虫实战的文章特别受欢迎，阅读量都是好几千那种 然后回头发现自己好久没写爬虫了，刚好写了个小小的爬虫 demo ，今天分享给大家
107 0
+关注
科技小能手
文章
问答
视频
作者高分内容
更多
关于nginx keep-alive 参数的验证和心得 5160 python之文件的复制 5652 ntop的简单安装、配置及与cacti的整合 4162 expdp+compression性能测试 4205 CentOS通过DNSpod实现动态域名 9153
文章排行榜
最热
最新
1 Hive SQL on Flink 构建流批一体引擎 17887
2 PolarDB-X 致数据库行内人 (一) ~ 如何有效评测国产数据库的分布式事务 17191
3 Linux命令大全：掌握常用命令，轻松使用Linux操作系统 14280
4 现场直击：2023阿里云峰会精彩发布抢先看（内含福利） 338918
5 实践教程之体验PolarDB-X分布式事务和数据分区 12248
6 玩转AIGC | 5分钟使用PAI一键部署Stable Diffusion AI绘画应用 11946
7 实践教程之如何在ARM平台部署PolarDB-X 11170
8 如何解决IoT数据入仓的客户实践 10318
9 【Java零基础入门篇】第 ④ 期 - 继承（三） 9419
10 如何在5分钟之内完成一个物联网统计指标？ 8948
1 通义听悟--一个懂你的AI助理 87
2 阿里云ECS入门指导 111
3 云存储，为 AI 创新提速 55
4 MySQL--创建用户命令grant语句学习（详细学习） 59
5 ArrayList 的底层原理 107
6 【C】指针——知识点大全（详细,简洁,含例题）（一） 98
7 【C】指针——知识点大全（详细,简洁,含例题）（二） 99
8 【C】数组——知识点大全（简洁,详细）（二） 104
9 【C】数组——知识点大全（简洁,详细）（一） 97
10 《学会提问》——逻辑谬误初识 5789
相关课程
更多
Python基础快速入门实战教程
37804
8
去学习
推荐文章
现场直击：2023阿里云峰会精彩发布抢先看 AIGC主题征文开启，参与赢取富士拍立得 乘风伯乐招募令，邀请伯乐获取多重好礼！ 乘风者计划邀您入驻社区，精彩权益即刻享
相关电子书
更多
双剑合璧-Python和大数据计算平台的结合
立即下载
低代码开发师（初级）实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
相关实验场景
更多
Python入门
1410
2.0小时
去实验