AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

php爬虫：知乎用户数据爬取和分析

2016-05-02 2956
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： php爬虫爬取知乎用户数据分析

背景说明：小拽利用php的curl写的爬虫，实验性的爬取了知乎5w用户的基本信息；同时，针对爬取的数据，进行了简单的分析呈现。demo 地址

php的spider代码和用户dashboard的展现代码，整理后上传github，在个人博客和公众号更新代码库，程序仅供娱乐和学习交流；如果有侵犯知乎相关权益，请尽快联系本人删除。

无图无真相

移动端分析数据截图

wise_web_spider

pc端分析数据截图

web_spider

整个爬取，分析，展现过程大概分如下几步，小拽将分别介绍

  • curl爬取知乎网页数据
  • 正则分析知乎网页数据
  • 数据数据入库和程序部署
  • 数据分析和呈现

curl爬取网页数据

PHP的curl扩展是PHP支持的，允许你与各种服务器使用各种类型的协议进行连接和通信的库。是一个非常便捷的抓取网页的工具，同时，支持多线程扩展。

本程序抓取的是知乎对外提供用户访问的个人信息页面https://www.zhihu.com/people/xxx,抓取过程需要携带用户cookie才能获取页面。直接上码

  • 获取页面cookie

    // 登录知乎，打开个人中心，打开控制台，获取cookie
document.cookie
"_za=67254197-3wwb8d-43f6-94f0-fb0e2d521c31; _ga=GA1.2.2142818188.1433767929; q_c1=78ee1604225d47d08cddd8142a08288b23|1452172601000|1452172601000; _xsrf=15f0639cbe6fb607560c075269064393; cap_id="N2QwMTExNGQ0YTY2NGVddlMGIyNmQ4NjdjOTU0YTM5MmQ=|1453444256|49fdc6b43dc51f702b7d6575451e228f56cdaf5d"; __utmt=1; unlock_ticket="QUJDTWpmM0lsZdd2dYQUFBQVlRSlZUVTNVb1ZaNDVoQXJlblVmWGJ0WGwyaHlDdVdscXdZU1VRPT0=|1453444421|c47a2afde1ff334d416bafb1cc267b41014c9d5f"; __utma=51854390.21428dd18188.1433767929.1453187421.1453444257.3; __utmb=51854390.14.8.1453444425011; __utmc=51854390; __utmz=51854390.1452846679.1.dd1.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __utmv=51854390.100-1|2=registration_date=20150823=1^dd3=entry_date=20150823=1"

  • 抓取个人中心页面
    通过curl，携带cookie，先抓取本人中心页面

    /**
 * 通过用户名抓取个人中心页面并存储
 * 
 * @param $username str :用户名 flag
 * @return boolean      :成功与否标志
 */
public function spiderUser($username)
{
    $cookie = "xxxx" ;
    $url_info = 'http://www.zhihu.com/people/' . $username; //此处cui-xiao-zhuai代表用户ID,可以直接看url获取本人id
    $ch = curl_init($url_info); //初始化会话
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_COOKIE, $cookie);  //设置请求COOKIE
    curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //将curl_exec()获取的信息以文件流的形式返回，而不是直接输出。
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    $result = curl_exec($ch);

     file_put_contents('/home/work/zxdata_ch/php/zhihu_spider/file/'.$username.'.html',$result);
     return true;
 }

正则分析网页数据

分析新链接，进一步爬取

对于抓取过来的网页进行存储，要想进行进一步的爬取，页面必须包含有可用于进一步爬取用户的链接。通过对知乎页面分析发现：在个人中心页面中有关注人和部分点赞人和被关注人。
如下所示

// 抓取的html页面中发现了新的用户，可用于爬虫
<a class="zm-item-link-avatar avatar-link" href="/people/new-user" data-tip="p$t$new-user">

ok，这样子就可以通过自己-》关注人-》关注人的关注人-》。。。进行不断爬取。接下来就是通过正则匹配提取该信息

// 匹配到抓取页面的所有用户
preg_match_all('/\/people\/([\w-]+)\"/i', $str, $match_arr);

// 去重合并入新的用户数组,用户进一步抓取
self::$newUserArr = array_unique(array_merge($match_arr[1], self::$newUserArr));

到此，整个爬虫过程就可以顺利进行了。
如果需要大量的抓取数据，可以研究下curl_multi和pcntl进行多线程的快速抓取，此处不做赘述。

分析用户数据，提供分析

通过正则可以进一步匹配出更多的该用户数据，直接上码。


// 获取用户头像
preg_match('/<img.+src=\"?([^\s]+\.(jpg|gif|bmp|bnp|png))\"?.+>/i', $str, $match_img);
$img_url = $match_img[1];

// 匹配用户名：
// <span class="name">崔小拽</span>
preg_match('/<span.+class=\"?name\"?>([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_name);
$user_name = $match_name[1];

// 匹配用户简介
// class bio span 中文
preg_match('/<span.+class=\"?bio\"?.+\>([\x{4e00}-\x{9fa5}]+).+span>/u', $str, $match_title);
$user_title = $match_title[1];

// 匹配性别
//<input type="radio" name="gender" value="1" checked="checked" class="male"/> 男&nbsp;&nbsp;
// gender value1 ;结束 中文
preg_match('/<input.+name=\"?gender\"?.+value=\"?1\"?.+([\x{4e00}-\x{9fa5}]+).+\;/u', $str, $match_sex);
$user_sex = $match_sex[1];

// 匹配地区
//<span class="location item" title="北京">
preg_match('/<span.+class=\"?location.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_city);
$user_city = $match_city[1];

// 匹配工作
//<span class="employment item" title="人见人骂的公司">人见人骂的公司</span>
preg_match('/<span.+class=\"?employment.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_employment);
$user_employ = $match_employment[1];

// 匹配职位
// <span class="position item" title="程序猿"><a href="/topic/19590046" title="程序猿" class="topic-link" data-token="19590046" data-topicid="13253">程序猿</a></span>
preg_match('/<span.+class=\"?position.+\"?.+\"([\x{4e00}-\x{9fa5}]+).+\">/u', $str, $match_position);
$user_position = $match_position[1];

// 匹配学历
// <span class="education item" title="研究僧">研究僧</span>
preg_match('/<span.+class=\"?education.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u', $str, $match_education);
$user_education = $match_education[1];

// 工作情况
// <span class="education-extra item" title='挨踢'>挨踢</span>
preg_match('/<span.+class=\"?education-extra.+\"?.+>([\x{4e00}-
\x{9fa5}]+)</u', $str, $match_education_extra);
$user_education_extra = $match_education_extra[1];


// 匹配关注话题数量
// class="zg-link-litblue"><strong>41 个话题</strong></a>
preg_match('/class=\"?zg-link-litblue\"?><strong>(\d+)\s.+strong>/i', $str, $match_topic);
$user_topic = $match_topic[1];

// 关注人数
// <span class="zg-gray-normal">关注了
preg_match_all('/<strong>(\d+)<.+<label>/i', $str, $match_care);
$user_care = $match_care[1][0];
$user_be_careed = $match_care[1][1];

// 历史浏览量
// <span class="zg-gray-normal">个人主页被 <strong>17</strong> 人浏览</span>
preg_match('/class=\"?zg-gray-normal\"?.+>(\d+)<.+span>/i', $str, $match_browse);
$user_browse = $match_browse[1];

数据入库和程序优化

在抓取的过程中，有条件的话，一定要通过redis入库，确实能提升抓取和入库效率。没有条件的话只能通过sql优化。这里来几发心德。

  • 数据库表设计索引一定要慎重。在spider爬取的过程中，建议出了用户名，左右字段都不要索引，包括主键都不要，尽可能的提高入库效率，试想5000w的数据，每次添加一个，建立索引需要多少消耗。等抓取完毕，需要分析数据时，批量建立索引。

  • 数据入库和更新操作，一定要批量。 mysql 官方给出的增删改的建议和速度：http://dev.mysql.com/doc/refman/5.7/en/insert-speed.html

    # 官方的最优批量插入
INSERT INTO yourtable VALUES (1,2), (5,5), ...;

  • 部署操作。程序在抓取过程中，有可能会出现异常挂掉，为了保证高效稳定，尽可能的写一个定时脚本。每隔一段时间干掉，重新跑，这样即使异常挂掉也不会浪费太多宝贵时间，毕竟，time is money。

    #!/bin/bash

# 干掉
ps aux |grep spider |awk '{print $2}'|xargs kill -9
sleep 5s

# 重新跑
nohup /home/cuixiaohuan/lamp/php5/bin/php /home/cuixiaohuan/php/zhihu_spider/spider_new.php &

数据分析呈现

数据的呈现主要使用echarts 3.0，感觉对于移动端兼容还不错。兼容移动端的页面响应式布局主要通过几个简单的css控制，代码如下

/*兼容性和响应式div设计*/
@media screen and (max-width: 480px) {
    body{
        padding: 0 ;
    }
    .adapt-div {
        width: 100% ;
        float: none ;
        margin: 20px 0;
    }

    .half-div {
        height: 350px ;
        margin-bottom: 10px;
    }

    .whole-div {
        height: 350px;
    }
}
<!-- 整块完整布局，半块在web端采用float的方式，移动端去掉-->
.half-div {
    width: 48%;
    height: 430px;
    margin: 1%;
    float: left
}

.whole-div {
    width: 98%;
    height: 430px;
    margin: 1%;
    float: left
}

不足和待学习

整个过程中涉及php,shell,js,css,html,正则等语言和部署等基础知识，但还有诸多需要改进完善，小拽特此记录，后续补充例：

  • php 采用multicul进行多线程。
  • 正则匹配进一步优化
  • 部署和抓取过程采用redis提升存储
  • 移动端布局的兼容性提升
  • js的模块化和sass书写css。

【转载请注明：php爬虫：知乎用户数据爬取和分析 | 靠谱崔小拽 】

文章标签：
云数据库 ClickHouse
PHP
数据采集
索引
前端开发
数据挖掘
JavaScript
NoSQL
Redis
程序员
存储
关键词：
PHP数据
爬虫分析
爬虫数据
PHP分析
PHP爬虫
cuixiaozhuai
目录
相关文章
小白学大数据
|
24天前
|
数据采集 API 数据处理
Objective-C 音频爬虫：实时接收数据的 didReceiveData: 方法
Objective-C 音频爬虫：实时接收数据的 didReceiveData: 方法
小白学大数据
31 1
游客762btuqu5wybw666
|
2月前
|
设计模式 数据库连接 PHP
PHP中的设计模式：提升代码的可维护性与扩展性在软件开发过程中，设计模式是开发者们经常用到的工具之一。它们提供了经过验证的解决方案，可以帮助我们解决常见的软件设计问题。本文将介绍PHP中常用的设计模式，以及如何利用这些模式来提高代码的可维护性和扩展性。我们将从基础的设计模式入手，逐步深入到更复杂的应用场景。通过实际案例分析，读者可以更好地理解如何在PHP开发中应用这些设计模式，从而写出更加高效、灵活和易于维护的代码。
本文探讨了PHP中常用的设计模式及其在实际项目中的应用。内容涵盖设计模式的基本概念、分类和具体使用场景，重点介绍了单例模式、工厂模式和观察者模式等常见模式。通过具体的代码示例，展示了如何在PHP项目中有效利用设计模式来提升代码的可维护性和扩展性。文章还讨论了设计模式的选择原则和注意事项，帮助开发者在不同情境下做出最佳决策。
游客762btuqu5wybw666
51 5
路卿老师
|
6天前
|
关系型数据库 MySQL 数据库连接
13 PHP数据的获取
路老师在知乎上分享了PHP语言的知识，帮助大家入门和深入理解PHP。本文介绍了从结果集中获取一行数据作为对象（`mysqli_fetch_object()`）、获取一行作为枚举数组（`mysqli_fetch_row()`）、获取查询结果集中的记录数（`mysqli_num_rows()`）、释放内存（`mysqli_free_result()`）以及关闭数据库连接（`mysqli_close()`）的方法，并提供了具体示例代码。
路卿老师
18 3
1842782014377483
|
14天前
|
JSON 缓存 前端开发
PHP如何高效地处理JSON数据：从编码到解码
在现代Web开发中，JSON已成为数据交换的标准格式。本文探讨了PHP如何高效处理JSON数据，包括编码和解码的过程。通过简化数据结构、使用优化选项、缓存机制及合理设置解码参数等方法，可以显著提升JSON处理的性能，确保系统快速稳定运行。
1842782014377483
36 3
奔跑的数据
|
2月前
|
数据采集 存储 监控
网络爬虫的最佳实践：结合 set_time_limit() 与 setTrafficLimit() 抓取云盘数据
本文探讨了如何利用 PHP 的 `set_time_limit()` 与爬虫工具的 `setTrafficLimit()` 方法，结合多线程和代理 IP 技术，高效稳定地抓取百度云盘的公开资源。通过设置脚本执行时间和流量限制，使用多线程提高抓取效率，并通过代理 IP 防止 IP 封禁，确保长时间稳定运行。文章还提供了示例代码，展示了如何具体实现这一过程，并加入了数据分类统计功能以监控抓取效果。
奔跑的数据
67 16
网络爬虫的最佳实践：结合 set_time_limit() 与 setTrafficLimit() 抓取云盘数据
武子康
|
1月前
|
消息中间件 数据采集 数据库
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
小说爬虫-03 爬取章节的详细内容并保存 将章节URL推送至RabbitMQ Scrapy消费MQ 对数据进行爬取后写入SQLite
武子康
24 1
技术混子
|
1月前
|
数据采集 数据挖掘 数据处理
Python中实现简单爬虫并处理数据
【9月更文挑战第31天】本文将引导读者理解如何通过Python创建一个简单的网络爬虫，并展示如何处理爬取的数据。我们将讨论爬虫的基本原理、使用requests和BeautifulSoup库进行网页抓取的方法，以及如何使用pandas对数据进行清洗和分析。文章旨在为初学者提供一个易于理解的实践指南，帮助他们快速掌握网络数据抓取的基本技能。
技术混子
57 3
gudanhero2018
|
2月前
|
数据采集 Python
天天基金数据的Python爬虫
天天基金数据的Python爬虫
gudanhero2018
46 3
aliyun8599273441-30642
|
2月前
|
数据采集 存储 JavaScript
构建您的第一个Python网络爬虫：抓取、解析与存储数据
【9月更文挑战第24天】在数字时代，数据是新的金矿。本文将引导您使用Python编写一个简单的网络爬虫，从互联网上自动抓取信息。我们将介绍如何使用requests库获取网页内容，BeautifulSoup进行HTML解析，以及如何将数据存储到文件或数据库中。无论您是数据分析师、研究人员还是对编程感兴趣的新手，这篇文章都将为您提供一个实用的入门指南。拿起键盘，让我们开始挖掘互联网的宝藏吧！
aliyun8599273441-30642
56 6
gudanhero2018
|
2月前
|
数据采集 JSON 数据格式
Python：南京地铁每日客流数据的爬虫实现
Python：南京地铁每日客流数据的爬虫实现
gudanhero2018
63 1

热门文章

最新文章

  • 1
    PHP面向对象深入研究之【命名空间】与【自动加载类】
  • 2
    php-redis扩展模块安装记录
  • 3
    PHP 魔术方法__set() __get() 方法
  • 4
    一个实用的PHP缓存类
  • 5
    php变量的几种写法
  • 6
    php安装redis扩展
  • 7
    2.6. PHP Classes 类与对象
  • 8
    PHP常用函数
  • 9
    PHP关于VC9和VC6以及Thread Safe和Non Thread Safe版本选择的问题
  • 10
    FAQ系列 | 启用SELinux后，PHP连接MySQL异常
  • 1
    揭秘豆瓣网站爬虫：利用lua-resty-request库获取图片链接
    91
  • 2
    网络爬虫实战演练
    52
  • 3
    Python 爬虫：Spring Boot 反爬虫的成功案例
    660
  • 4
    使用Python实现简单的Web爬虫
    92
  • 5
    Node.js爬虫在租房信息监测与分析中的应用
    91
  • 6
    如何利用Python构建高效的Web爬虫
    69
  • 7
    Python爬虫技术与数据可视化：Numpy、pandas、Matplotlib的黄金组合
    292
  • 8
    静态代理IP对反爬虫策略的应对，以及静态ip对爬虫的助力
    70
  • 9
    Python爬虫：数据获取与解析的艺术
    84
  • 10
    【专栏】随着技术发展，Scrapy将在网络爬虫领域持续发挥关键作用
    102

    • 相关课程

    更多
  • PHP进阶教程 - 由浅入深掌握面向对象开发 - 第二阶段
  • Python爬虫实战
  • Python网络爬虫实战
  • PHP完全自学手册文档教程

    • 相关电子书

    更多
  • 阿里云栖开发者沙龙PHP技术专场-直面PHP微服务架构挑战-高驰涛
  • PHP安全开发:从白帽角度做安全
  • PHP 2017.北京 全球开发者大会——高可用的PHP

    • 相关实验场景

    更多
  • 1分钟SAE部署PHP商城小程序
  • 10分钟Serverless部署PHP商城
  • 网站用户流量分析—适用于电商网站、资讯网站、游戏主站等各类Web站点场景
    • 下一篇
    阿里云OSS设置跨域访问