AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

2019-06-01 713
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
转发路由器TR，750小时连接 100GB跨地域
简介： 通过这几天对python入门的接触，以及以前对php、java、c、R的认识，无论这些语言怎么学习，到了一定的深度后，都要一定的缜密、沉稳极强的逻辑创造思维，而目前的学习专业课也好，刷oj题也好，做自己喜欢的事也好，这都可以锻练一个人的解决问题的能力。

通过这几天对python入门的接触，以及以前对php、java、c、R的认识，无论这些语言怎么学习，到了一定的深度后，都要一定的缜密、沉稳极强的逻辑创造思维，而目前的学习专业课也好，刷oj题也好，做自己喜欢的事也好，这都可以锻练一个人的解决问题的能力。对一个方向的知识进行超强的把握是有非常有必要的。接下来就开始专攻数学有关的数据分析了,做到能够单独打一场比赛，毕竟……….多谢！

在前两章已经完成了简单的网页的爬取以及为浏览器的学习，最后，我们把豆瓣的首页的图片进行爬取！

最终的效果如下：

代码：

 #导入所需的库
 import urllib.request,socket,re,sys,os
 #定义文件路径
 targetPath="E:\\python\\test2"
 def saveFile(path):
         #检测当前路径是否有效
        if not os.path.isdir(targetPath):
        os.mkdir(targetPath)
    #设置每个图片的路径
    pos=path.rindex('/')
    t=os.path.join(targetPath,path[pos+1:])
    return t
 #网址
 url="https://www.douban.com/"
 headers={'User-Agent': 'Mozilla/5.0  (Windows NT 10.0; WOW64)    AppleWebKit/537.36 (KHTML, like Gecko)' }
 req=urllib.request.Request(url=url,headers=headers)
 res=urllib.request.urlopen(req)
 data=res.read()
 for link,t in set(re.findall(r'(https:[^s]*?(jpg|png|gif))',str(data))):
    print(link)
    try:     urllib.request.urlretrieve(link,saveFile(link))
    except:
        print('失败')

运行后依次打印图片的地址，如图所示：

再见！

文章标签：
转发路由器
Python
前端开发
Web App开发
tonemy
目录
相关文章
@dailidong@
|
SQL Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
在运行一个group by的sql时，抛出以下错误信息： Task with the most failures(4):  -----Task ID:  task_201411191723_723592_m_000004URL:  http://DDS0204.
@dailidong@
977 0
@dailidong@
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
异步通信 对于BS(Browser-Server 浏览器)架构，很多情景下server的处理时间较长。 如果浏览器发送请求后，保持跟server的连接，等待server响应，那么一方面会对用户的体验有负面影响； 另一方面，很有可能会由于超时，提示用户服务请求失败。
@dailidong@
771 0
@dailidong@
|
Web App开发 监控 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
Hbase依赖的datanode日志中如果出现如下报错信息：DataXceiverjava.io.EOFException: INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block  解决办法：Hbase侧配置的dfs.socket.timeout值过小，与DataNode侧配置的 dfs.socket.timeout的配置不一致，将hbase和datanode的该配置调成大并一致。
@dailidong@
802 0
@dailidong@
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
Every Programmer Should Know These Latency Numbers 1秒=1000毫秒(ms) 1秒=1,000,000 微秒(μs) 1秒=1,000,000,000 纳秒(ns) 1秒=1,000,000,000,000 皮秒(ps) L1 cache reference .
@dailidong@
649 0
@dailidong@
|
Web App开发 前端开发 Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
java链接MongoDB处理大量数据时经常碰到cursor not found 的异常,其实是超时所致 Exception in thread "main" com.
@dailidong@
832 0
@dailidong@
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
zookeeper watch的定义如下：watch事件是一次性触发器，当watch监视的数据发生变化时，通知设置了该watch的client，即watcher。
@dailidong@
941 0
@dailidong@
|
Web App开发 存储 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
1.HBase依赖于HDFS,HBase按照列族将数据存储在不同的hdfs文件中；MongoDB直接存储在本地磁盘中,MongoDB不分列，整个文档都存储在一个（或者说一组）文件中 (存储) 2.
@dailidong@
735 0
@dailidong@
|
Web App开发 监控 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
一、安装iftop Centos也可以直接yum install iftop -y http://www.tcpdump.
@dailidong@
671 0
@dailidong@
|
Web App开发 前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
从hadoop移除机器把需要移除的机器增加到exclueds文件中，强制刷新datanode列表，等待decommission 状态正常后，即可停机下架，如有必要在namenode执行balancer操作。
@dailidong@
686 0
@dailidong@
|
Web App开发 前端开发 Linux
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
　频繁的文件访问会导致系统的Cache使用量大增 　　$ free -m 　　total used free shared buffers cached 　　Mem: 3955 3926 28 0 55 3459 　　-...
@dailidong@
650 0

热门文章

最新文章

  • 1
    阿里云虚拟主机HTTPS（HTTP+SSL）加密开通了
  • 2
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
  • 3
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
  • 4
    统计http连接数
  • 5
    http request乱码的真相
  • 6
    [转]关于HTTP服务器每个客户端2个连接的限制
  • 7
    Http协议
  • 8
    ASP.NET Web API（二）：安全验证之使用HTTP基本认证
  • 9
    Http协议状态码
  • 10
    HTTP协议header标头详解
  • 1
    【网络安全 | 网络协议】一文讲清HTTP协议
    133
  • 2
    socket，tcp，http三者之间的原理和区别
    67
  • 3
    Linux命令发送http
    106
  • 4
    http-server实现本地服务器
    123
  • 5
    干货｜代理IP协议有何区别？深入了解 SOCKS5、HTTP 代理
    66
  • 6
    干货｜代理IP协议有何区别？深入了解 SOCKS5、HTTP 代理
    330
  • 7
    对于Android的http请求的容错管理
    36
  • 8
    android通过http上传文件，服务器端用php写(原创)
    68
  • 9
    Java中如何通过代理实现对HTTP2网站的访问？
    94
  • 10
    常见的http状态码
    44

    • 相关课程

    更多
  • Java Web开发-Web应用、Tomcat、HTTP请求与响应
  • 云安全基础课- HTTP协议基础

    • 相关电子书

    更多
  • 阿里巴巴HTTP 2.0实践及无线通信协议的演进之路
  • 低代码开发师（初级）实战教程
  • 阿里巴巴DevOps 最佳实践手册

    • 相关实验场景

    更多
  • 通过轻量消息队列（原MNS）主题HTTP订阅+ARMS实现自定义数据多渠道告警
    • 下一篇
    fs.oss.accessKeyId和fs.oss.accessKeySecret。