AI 助理
备案控制台
开发者社区 大数据 文章 正文

爬虫实战小案例—获取喜马拉雅账号的关注数据和粉丝数据生成电子表格并实现批量关注或者取关然后生成表格文件

2024-10-11 214
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 爬虫实战小案例—获取喜马拉雅账号的关注数据和粉丝数据生成电子表格并实现批量关注或者取关然后生成表格文件

爬虫案例—获取喜马拉雅账号的关注数据和粉丝数据生成电子表格并实现批量关注或者取关然后生成表格文件
有好多人平时应该很喜欢听喜马拉雅的广播，也有自己的账号。我本人平时很少听喜马拉雅广播，前几天一个朋友问我能不能帮他获取喜马拉雅账号的已关注的数据和粉丝的数据， 然后再查找有哪些自己已关注的但没有关注自己（也就是不是自己的粉丝）的，还有自己没关注的粉丝数据。接下来这个朋友又提出能不能帮助实现批量取关和关注数据，然后再生成一个关注和取关的数据表格文件。

大家听起来估计也有点绕了，我也是有这个同感。话不多说了，我接到他这个请求之后，第一时间想到用爬虫来实现这个功能。喜马拉雅的登录页面如下：

image.png

登录之后进入 个人主页，点击账号头像然后再点击个人页。如下图所示：
image.png
image.png

然后进入到个人主页，按下F12键进入开发者工具模式（Chrome浏览器），再点击关注标签，进入关注页面，如下图所示：

image.png

如红框所示就是关注页面的链接，点击红框可以看到headers请求头包含url，如下图所示：

image.png

通过分析此页面是异步加载方式，响应的数据为json格式，点击如下图红框所示的标签：

image.png

粉丝页面跟这个是同理。不在这里一一截图展示了。那么接下来就是如何获取关注和粉丝的数据了，登录账号以后，就很简单了，代码如下：

import pandas as pd
import requests
import datetime


headers = {
   
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
}


# 粉丝数据函数
def get_fans_info(fans_url):
    # cookies = {
   'Cookie':'_xmLog=h5&c8be971d-2bc5-45e7-8688-bcdd1db6756e&process.env.sdkVersion; xm-page-viewid=ximalaya-web; impl=www.ximalaya.com.login; x_xmly_traffic=utm_source%253A%2526utm_medium%253A%2526utm_campaign%253A%2526utm_content%253A%2526utm_term%253A%2526utm_from%253A; Hm_lvt_4a7d8ec50cfd6af753c4f8aee3425070=1704697013; wfp=ACM3OGI2ZWMyZjA0YmZmNzZjbgf-TtTrRsF4bXdlYl93d3c; 1&remember_me=y; 1&_token=460178701&BC39CDE0340ND8AF9619AA1EE929208BF9A358F59A66F0159C7A3207C10994A33085862F14E2119M775F0459473319F_; 1_l_flag=460178701&BC39CDE0340ND8AF9619AA1EE929208BF9A358F59A66F0159C7A3207C10994A33085862F14E2119M775F0459473319F__2024-01-2419:20:17; Hm_lpvt_4a7d8ec50cfd6af753c4f8aee3425070=1706145114; web_login=1706148245440'
    #    }
    session = requests.Session()
    res = session.get(fans_url, headers=headers)#, cookies=cookies)

    res_fans = res.json()['data']['fansPageInfo']
    fans_id = []
    fans_nickname = []
    for fan in res_fans:
        fans_id.append(fan['uid'])
        fans_nickname.append(fan['anchorNickName'])
    return fans_id, fans_nickname

    # return fans_lst


# 关注数据函数
def get_following_info(following_url):
    # cookies = {
   'Cookie':'_xmLog=h5&c8be971d-2bc5-45e7-8688-bcdd1db6756e&process.env.sdkVersion; xm-page-viewid=ximalaya-web; impl=www.ximalaya.com.login; x_xmly_traffic=utm_source%253A%2526utm_medium%253A%2526utm_campaign%253A%2526utm_content%253A%2526utm_term%253A%2526utm_from%253A; Hm_lvt_4a7d8ec50cfd6af753c4f8aee3425070=1704697013; wfp=ACM3OGI2ZWMyZjA0YmZmNzZjbgf-TtTrRsF4bXdlYl93d3c; 1&remember_me=y; 1&_token=460178701&BC39CDE0340ND8AF9619AA1EE929208BF9A358F59A66F0159C7A3207C10994A33085862F14E2119M775F0459473319F_; 1_l_flag=460178701&BC39CDE0340ND8AF9619AA1EE929208BF9A358F59A66F0159C7A3207C10994A33085862F14E2119M775F0459473319F__2024-01-2419:20:17; Hm_lpvt_4a7d8ec50cfd6af753c4f8aee3425070=1706148771; web_login=1706148792369'
    # }

    following_id = []
    following_nickname = []
    session = requests.Session()
    res_follow = session.get(following_url, headers=headers)#, cookies=cookies)
    follow_data = res_follow.json()['data']

    for following in follow_data['followingsPageInfo']:
        # if following['beFollow']:
        following_id.append(following['uid'])
        following_nickname.append(following['anchorNickName'])

    return following_id, following_nickname


if __name__ == '__main__':
    # 获取当前日期做文件名
    file_date = str(datetime.date.today())

    # 创建粉丝数据
    fans_data = {
   'UID': [],
                 '粉丝昵称': [],
                 }

    # 创建关注数据
    following_data = {
   
        'UID': [],
        '关注昵称': [],
    }

    # 创建没有去关注的粉丝数据
    un_following_fans_data = {
   
        'UID': [],
        '粉丝昵称': [],
    }

    # 创建已关注的非粉丝数据
    un_fans_following_data = {
   
        'UID': [],
        '关注昵称': [],
    }

    # 粉丝的数据遍历
    for i in range(1, 17):
        fans_url = f'https://www.ximalaya.com/revision/user/fans?page={i}&pageSize=10&keyWord=&uid=460178701'
        fans_id_lst, fans_nickname_lst = get_fans_info(fans_url)
        fans_data['UID'].extend(fans_id_lst)
        fans_data['粉丝昵称'].extend(fans_nickname_lst)

    # 已关注的数据遍历
    for n in range(1, 100):
        following_url = f'https://www.ximalaya.com/revision/user/following?page={n}&pageSize=10&keyWord=&uid=460178701'
        following_id_lst, following_nickname_lst = get_following_info(following_url)
        following_data['UID'].extend(following_id_lst)
        following_data['关注昵称'].extend(following_nickname_lst)

    # 已关注的非粉丝数据
    for person_uid in following_data['UID']:
        if person_uid not in fans_data['UID']:
            un_fans_following_data['UID'].append(person_uid)
            un_fans_following_data['关注昵称'].append(following_data['关注昵称'][following_data['UID'].index(person_uid)])

    # 没有去关注的粉丝数据
    for unfollow_uid in fans_data['UID']:
        if unfollow_uid not in following_data['UID']:
            un_following_fans_data['UID'].append(unfollow_uid)
            un_following_fans_data['粉丝昵称'].append(fans_data['粉丝昵称'][fans_data['UID'].index(unfollow_uid)])

    # 创建DataFrame对象
    df1 = pd.DataFrame(fans_data)
    df2 = pd.DataFrame(following_data)
    df3 = pd.DataFrame(un_fans_following_data)  # 关注的非粉丝数据
    df4 = pd.DataFrame(un_following_fans_data)  # 没有关注的粉丝数据

        # 文件生成的路径可以根据自己实际情况设置
    with pd.ExcelWriter(f"../喜马拉雅项目/喜马拉雅数据表-{file_date}.xlsx") as xlsx:
        df1.to_excel(xlsx, sheet_name="粉丝数据")
        df2.to_excel(xlsx, sheet_name="已关注数据")
        df3.to_excel(xlsx, sheet_name='已关注的非粉丝数据')
        df4.to_excel(xlsx, sheet_name='没有去关注的粉丝数据')
    print('数据输出成功！')

执行如上代码，会生成一个当日的获取数据。如下所示：

image.png

接下来，去实现批量关注和取消关注数据的操作，这里涉及到请求头里必须携带cookie，本人是通过手动获取的，因为hook技术我还不熟悉，如果有人熟悉，可以帮我完善一下我的代码，感谢！！！手动获取取消或者关注的cookie，如下图所示：

image.png
image.png

通过上图可以看到，取消关注的请求URL和请求方式POST，接下来点击Payload可以看到请求的data参数值，如下图所示：
image.png

点击cancelFollow可以看到红框内的Cookie值，如下图所示：

image.png

通过如上的分析，实现批量取关和关注的代码如下：

import requests
import pandas as pd
import datetime


headers = {
   
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'cookie': '你的cookie值'
}


# 定义操作
def set_follow(url, uid):
    session = requests.Session()
    data = {
   'followingUid': uid}
    res = session.post(url, headers=headers, data=data)
    if res.status_code == 200:
        print(f'{uid} ' + res.json()['msg'])
    if res.json()['msg'] == 'isMutualFollowed':
        print('此UID为互相关注')


# 取消关注
def cancel_follow(url, uid):
    session = requests.Session()
    data = {
   'followingUid': uid}
    res = session.post(url, headers=headers, data=data)
    if res.status_code == 200:
        print(f'{uid} ' + res.json()['msg'])


def uid_input():
    try:
        while 1:
            uid = input('请输入uid：(q/Q退出)')
            if uid.lower() == 'q':
                break
            data_dict['UID'].append(uid)
        return data_dict['UID']
    except:
        print('请核对输入信息！！！')


if __name__ == '__main__':

    file_date = str(datetime.date.today())
    cancel_follow_url = 'https://www.ximalaya.com/revision/follow/cancelFollow'
    set_follow_url = 'https://www.ximalaya.com/revision/follow/setFollow'

    url_dict = {
   '1': set_follow_url,
                '0': cancel_follow_url,
                }

    # 循环操作
    while 1:

        print('<操作选择>:', end='\t')
        operation = input('关注（1）取关（0）(q/Q)退出：')

        if operation == '1':
            data_dict = {
   'UID': []}
            data_uid = uid_input()
            for uid in data_uid:
                set_follow(url_dict['1'], int(uid))
            if data_dict['UID']:
                df1 = pd.DataFrame(data_dict)
                with pd.ExcelWriter(f"./关注-{file_date}.xlsx") as xlsx:
                    df1.to_excel(xlsx, sheet_name='关注数据',index=False)
        elif operation.lower() == 'q':
            break

        elif operation == '0':
            data_dict = {
   'UID': []}
            data_uid1 = uid_input()
            for uid in data_uid1:
                cancel_follow(url_dict['0'], int(uid))
            if data_dict['UID']:
                df2 = pd.DataFrame(data_dict)
                with pd.ExcelWriter(f"./取关-{file_date}.xlsx") as xlsx:
                    df2.to_excel(xlsx, sheet_name="取关数据", index=False)
        elif operation.lower() == 'q':
                break

运行如下图所示：
image.png

代码都是同步请求方式实现的，代码中的页面数目根据自己的实际情况可以修改。通过朋友验证，效果基本达到了他的要求。我也有点小小的成就感。

文章标签：
数据采集
Web App开发
数据格式
开发者
JSON
关键词：
爬虫实战
爬虫数据
爬虫案例
爬虫实战案例
爬虫实战数据
bruce_xiaowei
目录
相关文章
爱专研的技术土狗
|
30天前
|
数据采集 JSON Java
Java爬虫获取1688店铺所有商品接口数据实战指南
本文介绍如何使用Java爬虫技术高效获取1688店铺商品信息，涵盖环境搭建、API调用、签名生成及数据抓取全流程，并附完整代码示例，助力市场分析与选品决策。
爱专研的技术土狗
100 0
站大爷
|
1月前
|
数据采集 数据挖掘 测试技术
Go与Python爬虫实战对比：从开发效率到性能瓶颈的深度解析
本文对比了Python与Go在爬虫开发中的特点。Python凭借Scrapy等框架在开发效率和易用性上占优，适合快速开发与中小型项目；而Go凭借高并发和高性能优势，适用于大规模、长期运行的爬虫服务。文章通过代码示例和性能测试，分析了两者在并发能力、错误处理、部署维护等方面的差异，并探讨了未来融合发展的趋势。
站大爷
135 0
站大爷
|
2天前
|
数据采集 Web App开发 机器学习/深度学习
Selenium爬虫部署七大常见错误及修复方案：从踩坑到避坑的实战指南
本文揭秘Selenium爬虫常见“翻车”原因，涵盖浏览器闪退、元素定位失败、版本冲突、验证码识别等七大高频问题，结合实战案例与解决方案，助你打造稳定高效的自动化爬虫系统，实现从“能用”到“好用”的跨越。
站大爷
55 0
站大爷
|
30天前
|
数据采集 存储 Rust
Rust爬虫实战：用reqwest+select打造高效网页抓取工具
在数据驱动时代，本文详解如何用Rust构建高效稳定爬虫系统。基于reqwest与select库，以books.toscrape.com为例，演示HTTP请求、HTML解析、分页抓取及数据存储全流程，涵盖同步与异步实现、反爬应对及性能优化，助你掌握Rust爬虫开发核心技能。
站大爷
76 2
站大爷
|
1月前
|
数据采集 存储 Web App开发
Python爬虫库性能与选型实战指南：从需求到落地的全链路解析
本文深入解析Python爬虫库的性能与选型策略，涵盖需求分析、技术评估与实战案例，助你构建高效稳定的数据采集系统。
站大爷
242 0
小白学大数据
|
1月前
|
数据采集 存储 XML
Python爬虫XPath实战：电商商品ID的精准抓取策略
Python爬虫XPath实战：电商商品ID的精准抓取策略
小白学大数据
209 0
小白学大数据
|
2月前
|
数据采集 存储 监控
Python爬虫实战：批量下载亚马逊商品图片
Python爬虫实战：批量下载亚马逊商品图片
小白学大数据
160 0
站大爷
|
2月前
|
数据采集 监控 网络协议
基于aiohttp的高并发爬虫实战：从原理到代码的完整指南
在数据驱动时代，传统同步爬虫效率低下，而基于Python的aiohttp库可构建高并发异步爬虫。本文通过实战案例解析aiohttp的核心组件与优化策略，包括信号量控制、连接池复用、异常处理等，并探讨代理集成、分布式架构及反爬应对方案，助你打造高性能、稳定可靠的网络爬虫系统。
站大爷
171 0
站大爷
|
2月前
|
数据采集 机器学习/深度学习 边缘计算
Python爬虫动态IP代理报错全解析：从问题定位到实战优化
本文详解爬虫代理设置常见报错场景及解决方案，涵盖IP失效、403封禁、性能瓶颈等问题，提供动态IP代理的12种核心处理方案及完整代码实现，助力提升爬虫系统稳定性。
站大爷
170 0
小白学大数据
|
2月前
|
数据采集 存储 数据可视化
R语言爬虫实战：如何爬取分页链接并批量保存
R语言爬虫实战：如何爬取分页链接并批量保存
小白学大数据
171 0

热门文章

最新文章

  • 1
    Python网络爬虫在环境保护中的应用：污染源监测数据抓取与分析
  • 2
    分布式爬虫的全局请求间隔协调与IP轮换策略
  • 3
    协程+连接池：高并发Python爬虫的底层优化逻辑
  • 4
    高并发Java爬虫的瓶颈分析与动态线程优化方案
  • 5
    处理动态Token：Python爬虫应对AJAX授权请求的策略
  • 6
    Python爬虫分析B站番剧播放量趋势：从数据采集到可视化分析
  • 7
    Python爬虫库性能与选型实战指南：从需求到落地的全链路解析
  • 8
    Python量化交易：结合爬虫与TA-Lib技术指标分析
  • 9
    Python爬虫XPath实战：电商商品ID的精准抓取策略
  • 10
    地区电影市场分析：用Python爬虫抓取猫眼/灯塔专业版各地区票房
  • 1
    七：《智慧的网络爬虫》— MySQL概述
    117
  • 2
    爬虫库和框架
    130
  • 3
    Python怎么使用爬虫获取网页内容
    135
  • 4
    java接口防爬虫
    209
  • 5
    【优秀python案例】基于python爬虫的深圳房价数据分析与可视化实现
    584
  • 6
    【优秀python案例】基于Python的豆瓣电影TOP250爬虫与可视化设计与实现
    2349
  • 7
    【python案例】基于Python 爬虫的房地产数据可视化分析设计与实现
    1589
  • 8
    【优秀python案例】基于Python的口红商品的爬虫与可视化的设计与实现
    374
  • 9
    【优秀python web设计】基于Python flask的猫眼电影可视化系统，可视化用echart，前端Layui，数据库用MySQL，包括爬虫
    400
  • 10
    基于爬虫和机器学习的招聘数据分析与可视化系统，python django框架，前端bootstrap，机器学习有八种带有可视化大屏和后台
    729

    • 相关课程

    更多
  • Python爬虫实战
  • Python网络爬虫实战

    • 相关电子书

    更多
  • Python第五讲——关于爬虫如何做js逆向的思路
  • 低代码开发师（初级）实战教程
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    2025云栖大会，阿里云百炼邀请您的参与和见证