开发者社区 开发与运维 文章 正文

【转】详解抓取网站，模拟登陆，抓取动态网页的原理和实现（Python，C#等）

2013-11-09 2898
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：   转自：http://www.crifan.com/files/doc/docbook/web_scrape_emulate_login/release/html/web_scrape_emulate_login.html 摘要本文主要介绍了抓取网站，模拟登陆，抓取动态网页相关的逻辑，原理和如何实现。

 

转自：http://www.crifan.com/files/doc/docbook/web_scrape_emulate_login/release/html/web_scrape_emulate_login.html
摘要本文主要介绍了抓取网站，模拟登陆，抓取动态网页相关的逻辑，原理和如何实现。主要包括：
  • 抓取网页，模拟登陆等背后的通用的逻辑和原理
  • 以提取songtaste网页中标题为例，详解如何抓取网站并提取网页内容
  • 以模拟登陆百度为例，详解如何模拟登陆网站
  • 以抓取网易博客帖子中的最近读者信息为例，详解如何抓取动态网页中的内容
  • 详解了在模拟登陆和抓取动态网页过程中，如何用对应的网页分析工具，如IE9的F12，Chrome的Ctrl+Shift+J，Firefox的Firebug，去分析出对应的逻辑
  • 针对抓取网站，模拟登陆，抓取动态网页，全部给出了完整的可用的，多种语言的示例代码：Python，C#，Java，Go等
 
[提示] 本文提供多种格式供：
在线阅读 HTML HTMLs PDF CHM TXT RTF WEBHELP
下载（7zip压缩包） HTML HTMLs PDF CHM TXT RTF WEBHELP
HTML版本的在线地址为：http://www.crifan.com/files/doc/docbook/web_scrape_emulate_login/release/html/web_scrape_emulate_login.html有任何意见，建议，提交bug等，都欢迎去讨论组发帖讨论：http://www.crifan.com/bbs/categories/web_scrape_emulate_login/
2013-09-22
修订历史
修订 1.1 2013-09-22 crl
  1. 把之前教程的地址整理过来
  2. 添加新帖子的链接：模拟登陆百度的java版，go语言版
版权 © 2013 Crifan,  http://crifan.com

目录

前言
1. 本文目的
1. 网站抓取，模拟登陆，抓取动态网页的通用逻辑
2. 如何抓取静态网页并提取特定内容
3. 如何模拟登陆网站
3.1. （多种语言实现）模拟登陆百度
3.2. （多种语言实现）模拟登陆gogole
4. 如何抓取动态网页并提取特定内容
4.1. 抓取动态网页示例：网易163博客的心情随笔FeelingCard
5. 抓取静态或动态网页和模拟登陆的注意事项和总结
参考书目

前言

目录
1. 本文目的

1. 本文目的

本文目的在于，如何从无到有的，了解抓取网站，模拟登陆，抓取动态网页方面的逻辑和具体实现。

第 1 章 网站抓取，模拟登陆，抓取动态网页的通用逻辑

[提示] 相关旧帖
如何用Python，C#等语言去实现抓取静态网页+抓取动态网页+模拟登陆网站【整理】各种浏览器中的开发人员工具Developer Tools：IE9的F12，Chrome的Ctrl+Shift+J，Firefox的Firebug【总结】浏览器中的开发人员工具（IE9的F12和Chrome的Ctrl+Shift+I）-网页分析的利器【整理】关于抓取网页，分析网页内容，模拟登陆网站的逻辑/流程和注意事项【教程】如何利用IE9的F12去分析网站登陆过程中的复杂的（参数，cookie等）值（的来源）【整理】关于http(GET或POST)请求中的url地址的编码(encode)和解码(decode)【整理】关于HTML网页源码的字符编码（charset）格式（GB2312，GBK，UTF-8，ISO8859-1等）的解释【整理】网页抓取，模拟登陆，抓取动态网页内容等过程中，所涉及的Headers信息，Cookie信息，POST数据的处理逻辑【整理】关于用正则表达式处理html代码方面的建议

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第 2 章 如何抓取静态网页并提取特定内容

[提示] 相关旧帖
【教程】抓取网并提取网页中所需要的信息 之 Python版【教程】抓取网并提取网页中所需要的信息 之 C#版

 

第 3 章 如何模拟登陆网站

目录
3.1. （多种语言实现）模拟登陆百度
3.2. （多种语言实现）模拟登陆gogole

 

下面，给出足够多的例子：

 

3.1. （多种语言实现）模拟登陆百度

先去用工具分析逻辑： 【教程】手把手教你如何利用工具(IE9的F12)去分析模拟登陆网站(百度首页)的内部逻辑过程再去用代码实现，此处，目前已经实现了：
 

3.2. （多种语言实现）模拟登陆gogole

 另外，也弄了个，模拟登陆google： 【记录】模拟登陆google 

 

 

第 4 章 如何抓取动态网页并提取特定内容

目录
4.1. 抓取动态网页示例：网易163博客的心情随笔FeelingCard

先去看看：

【教程】如何抓取动态网页内容

搞懂，抓取动态网页的逻辑。

 

再去看下面的例子：

 

 

 

4.1. 抓取动态网页示例：网易163博客的心情随笔FeelingCard

【记录】给BlogsToWordPress添加支持导出网易的心情随笔 【教程】以抓取网易博客帖子中的最近读者信息为例，手把手教你如何抓取动态网页中的内容 【记录】用Python解析网易163博客的心情随笔FeelingCard返回的DWR-REPLY数据  

 

 

第 5 章 抓取静态或动态网页和模拟登陆的注意事项和总结

 

[提示] 相关旧帖
【总结】静态网页抓取，动态网页抓取，模拟登陆的注意事项和心得

 

 

 

 

 

 

 

 

 

参考书目

[1]  如何用Python，C#等语言去实现抓取静态网页+抓取动态网页+模拟登陆网站
文章标签：
Python
C#
Web App开发
Java
Go
关键词：
Python原理
Python网站
Python抓取
Python动态网页
原理Python
cxycappuccino
目录
相关文章
龙大吉
|
12天前
|
调度 Python
揭秘Python并发编程核心：深入理解协程与异步函数的工作原理
【7月更文挑战第15天】Python异步编程借助协程和async/await提升并发性能，减少资源消耗。协程（async def）轻量级、用户态，便于控制。事件循环，如`asyncio.get_event_loop()`，调度任务执行。异步函数内的await关键词用于协程间切换。回调和Future对象简化异步结果处理。理解这些概念能写出高效、易维护的异步代码。
龙大吉
19 2
东方睿赢
|
15天前
|
搜索推荐 Python
快速排序的 Python 实践：从原理到优化，打造你的排序利器！
【7月更文挑战第12天】Python的快速排序**以分治策略实现高效排序，平均时间复杂度$O(nlogn)$，优于$O(n^2)$的冒泡排序。基本实现通过选取基准元素分割数组，然后递归排序两部分。优化版使用随机基准避免最坏情况。对比显示优化后排序更稳定，适应不同数据集，提升程序性能。
东方睿赢
26 4
奔跑的数据
|
1月前
|
数据采集 Web App开发 数据挖掘
使用Python和BeautifulSoup轻松抓取表格数据
使用Python和BeautifulSoup，结合代理IP，可以从网页抓取表格数据，如中国气象局的天气信息。通过requests库发送HTTP请求，BeautifulSoup解析HTML提取表格。安装必要库后，设置代理IP，发送请求，解析HTML找到表格，提取数据并存储。通过Pandas进行数据分析，如计算平均气温。这种方法让数据抓取和分析变得更加便捷。
奔跑的数据
44 3
使用Python和BeautifulSoup轻松抓取表格数据
奔跑的数据
|
1月前
|
数据采集 Web App开发 数据处理
一步步教你用Python Selenium抓取动态网页任意行数据
使用Python Selenium爬取动态网页，结合代理IP提升抓取效率。安装Selenium，配置代理（如亿牛云），设置User-Agent和Cookies以模拟用户行为。示例代码展示如何使用XPath提取表格数据，处理异常，并通过隐式等待确保页面加载完成。代理、模拟浏览器行为和正确配置增强爬虫性能和成功率。
奔跑的数据
47 3
一步步教你用Python Selenium抓取动态网页任意行数据
胖哥真不错
|
18天前
|
数据采集 搜索推荐 算法
Python基于协同过滤算法进行电子商务网站用户行为分析及服务智能推荐
Python基于协同过滤算法进行电子商务网站用户行为分析及服务智能推荐
胖哥真不错
22 2
龙大吉
|
8天前
|
中间件 API 开发者
深入理解Python Web框架：中间件的工作原理与应用策略
【7月更文挑战第19天】Python Web中间件摘要：**中间件是扩展框架功能的关键组件，它拦截并处理请求与响应。在Flask中，通过`before_request`和`after_request`装饰器模拟中间件行为；Django则有官方中间件系统，需实现如`process_request`和`process_response`等方法。中间件用于日志、验证等场景，但应考虑性能、执行顺序、错误处理和代码可维护性。
龙大吉
21 0
愿天堂没有BUG（公众号同名）
|
1月前
|
监控 安全 虚拟化
深入浅出Python沙箱越狱:原理、方法与防范
今天我们来聊一个有趣的话题 - Python沙箱越狱。在我们开始之前，先来搞清楚什么是Python沙箱吧。 简单来，Python沙箱就像是一个虚拟的"游乐场"。在这个游乐场里，你可以尽情地玩耍(运行Python代码)，但是不能伤害到外面的世界（不能访问系统资源或执行危险操作）。这个"游乐场"有围栏（限制），有规则（安全策略），目的就是让你玩得开心，又不会搞出什么大乱子。
愿天堂没有BUG（公众号同名）
22 2
郑小健
|
1月前
|
数据采集 存储 数据挖掘
Python网络爬虫实战：抓取并分析网页数据
使用Python的`requests`和`BeautifulSoup`，本文演示了一个简单的网络爬虫，抓取天气网站数据并进行分析。步骤包括发送HTTP请求获取HTML，解析HTML提取温度和湿度信息，以及计算平均温度。注意事项涉及遵守robots.txt、控制请求频率及处理动态内容。此基础爬虫展示了数据自动收集和初步分析的基础流程。【6月更文挑战第14天】
郑小健
145 9
小空门123-30335
|
14天前
|
前端开发 JavaScript API
MkDocs是一个用Python编写的快速、简单且易于定制的静态网站生成器
MkDocs是一个用Python编写的快速、简单且易于定制的静态网站生成器
小空门123-30335
11 0
no怕不了木
|
1月前
|
存储 数据挖掘 索引
Python streamlit框架开发数据分析网站并免费部署
使用Python的Streamlit框架，开发了一个在线数据分析工具，替代Excel查看设备温度CSV数据。通过pandas读取数据，matplotlib绘制图表。程序处理CSV，提取所需列，计算最大最小平均值，用户可多选查看特定数据。[GitHub](https://github.com/yigedaigua/MGHB)上有完整代码，应用已部署至Streamlit Cloud。
no怕不了木
44 1

热门文章

最新文章

  • 1
    【C#/WPF】图像数据格式转换时，透明度丢失的问题
  • 2
    Win8Metro(C#)数字图像处理--2.16图像浮雕效果
  • 3
    Silverlight C# 游戏开发：草动系统（二）随风而动
  • 4
    设计模式学习(四): 1.简单工厂 (附C#实现)
  • 5
    七个C#编程的小技巧
  • 6
    C#使用Xamarin开发可移植移动应用进阶篇(10.综合演练,来一份增删改查CRUD)
  • 7
    C# 二进制字节流查找函数IndexOf
  • 8
    C#中禁止程序多开
  • 9
    [C#] 常用工具类——加密解密类
  • 10
    C# 格式化string类型的金额
  • 1
    【python】如何通过python来发送短信
    91
  • 2
    【视频】Python基于SVM和RankGauss的低消费指数构建模型
    180
  • 3
    Python在数据分析领域的应用研究
    49
  • 4
    Python web框架fastapi中间件的使用，CORS跨域详解
    132
  • 5
    Python web框架fastapi数据库操作ORM（二）增删改查逻辑实现方法
    136
  • 6
    Python web框架fastapi数据库操作ORM（一）
    244
  • 7
    python web框架fastapi模板渲染--Jinja2使用技巧总结
    142
  • 8
    Python高性能web框架--Fastapi快速入门
    77
  • 9
    机器学习--K近邻算法，以及python中通过Scikit-learn库实现K近邻算法API使用技巧
    38
  • 10
    Python中的for循环用法详解，一文搞定它
    62

    • 相关课程

    更多
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • Python新手入门
  • Python入门
  • Python选择及循环结构
  • Python新手入门（Anolis OS）
  • Python网络通信程序典型应用
  • 云端Python及基本操作
    • 下一篇
    通义千问API入门教程