粉丝让我爬取热搜话题,结果做成了实时热搜『跑马灯』可视化

简介: 之前有粉丝让我爬取网上热搜话题,根据粉丝的这个提议,我想到了爬取不同平台的热搜话题并做成了一个:**全网实时热搜话题『****跑马灯****』可视化**。特点:**实时**、**可视化浏览**这里的热搜数据来源主要是:**微博**和**知乎**,选择这两个平台的目的:1.用户流量大、2.直接的热搜数据Api接口。

之前有粉丝让我爬取网上热搜话题,根据粉丝的这个提议,我想到了爬取不同平台的热搜话题并做成了一个:全网实时热搜话题『跑马灯』可视化

特点:实时可视化浏览

这里的热搜数据来源主要是:微博知乎,选择这两个平台的目的:1.用户流量大、2.直接的热搜数据Api接口。

先看一下效果:

动图版:

1、获取数据

1.采集微博数据

微博的热搜数据Api接口如下:

https://s.weibo.com/top/summary/

网页分析

先看一下网页源码

数据列表在id为pl\_top\_realtimehot中,接着往下找tbody,tr是热点数据的列表,每一个tr中都有a标签,a标签中有热点标题和对应热点链接。

url = "https://s.weibo.com/top/summary/"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; rv:85.0) Gecko/20100101 Firefox/85.0",
    "Host": "s.weibo.com"
}
r = requests.get(url, headers=headers)
soup = bs(r.text, "lxml")
div = soup.find("div", {"id": "pl_top_realtimehot"}).find("tbody")
tr_tags = div.find_all("tr")

通过请求并对其进行提取网页源代码中的热搜数据(这里使用了BeautifulSoup库去解析网页源代码)

完整代码

###爬取微博热搜
def get_weibo():
    url = "https://s.weibo.com/top/summary/"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; rv:85.0) Gecko/20100101 Firefox/85.0",
        "Host": "s.weibo.com"
    }
    r = requests.get(url, headers=headers)
    soup = bs(r.text, "lxml")
    div = soup.find("div", {"id": "pl_top_realtimehot"}).find("tbody")
    tr_tags = div.find_all("tr")
    # 为数据保存做准备
    hot_text = []
    hot_link = []
    for tr in tr_tags:
        a = tr.find("a")
        hot_text.append(a.text)
        # 获取链接
        hot_link.append("https://s.weibo.com" + a.get("href"))
    return hot_text, hot_link

将爬取微博热搜数据代码封装成函数get\_weibo,方便可视化代码进行调用,其中的hot\_text是热点标题,hot_link是热点的链接

2.采集知乎数据

知乎热搜api接口如下:

https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0

提取数据

这里直接返回的就是json数据,因此不需要进行网页分析,只需要知道json数据中,热搜标题和对应的热搜标题链接的key即可

数据在data里面,每一条数据的热搜标题和链接都在target下,热搜标题是title,热搜标题链接是url

###爬取知乎热搜数据
def get_zhihu():
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:84.0) Gecko/20100101 Firefox/84.0'}
    url = "https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0"
    text = requests.get(url, headers=headers).json()
    # 为数据保存做准备
    hot_text = []
    hot_link = []
    for i in text['data']:
        hot_text.append(i['target']['title'])
        hot_link.append(i['target']['url'])
 
 
    return hot_text,hot_link

同样的,将爬取知乎热搜数据代码封装成函数get\_zhihu,方便可视化代码进行调用,其中的hot\_text是热点标题,hot_link是热点的链接

2、Flask后端

为了将采集和可视化网页结合,这里选择使用Flask框架去搭建网站。

跳转网页

#进入页面
@app.route('/')
def index():
    return render_template('view.html')

制作API接口,方便获取数据并返回Json数据

###获取微博和知乎热搜数据
@app.route('/getdata')
def alldata():
    wb_t, wb_u = get_weibo()
    zh_t, zh_u = get_zhihu()
    t = []
    u = []
    for i in range(0,len(wb_t)):
        t.append(wb_t[i])
        u.append(wb_u[i])
    for i in range(0,len(zh_t)):
        t.append(zh_t[i])
        u.append(zh_u[i])
    res = {}
    res['title'] = t
    res['url'] = u
    return Response(json.dumps(res), mimetype='application/json')

为了方便大家直接运行,不需要改ip,这里就使用默认的本机ip(小伙伴拿到源码后直接运行就行),端口是80

if __name__ == "__main__":
    """初始化,debug=True"""
    app.run(host='127.0.0.1', port=80,debug=True)

3、跑马灯可视化展示

这里是使用html网页制作的跑马灯滚动效果,核心代码如下:

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta http-equiv="X-UA-Compatible" content="IE=edge">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <script src="../static/js/jquery-2.1.4.min.js"></script>
    <title>全网实时热搜话题-李运辰(公众号:Python研究者)</title>
   <style>
   a{
   text-decoration: none;
   }
   .f1{
      color:"red"; 
   }
</style>
</head>
<body>
<div id="textdata">
    
</div>
<!--获取微博和知乎热搜数据-->
        <script type="text/javascript">
          function getdata(){
                
                $.ajax({
                  type: 'GET',
                  url: "http://127.0.0.1/getdata",
                  dataType: 'json',
                  success: function(data){}
                  }
                });
            }
            setInterval("getdata()","15000");//1000表示1秒

这里设置了15秒采集一次数据(实现了实时效果

4、启动

直接运行main.py文件

然后在浏览器访问

http://127.0.0.1

接着等待几秒就出现跑马灯可视化效果

gif动图版:

5、小结

为了大家方便学习,辰哥已经把本文的完整源码上传,需要的在同名公号回复:热搜跑马灯

本文也是应粉丝要求,爬取热搜话题,最后我制作出来了实时热搜『跑马灯』可视化效果。

特点:实时可视化浏览

相关文章
|
SQL 前端开发 搜索推荐
淘天业务技术2023年度热门文章盘点
淘天业务技术2023年度热门文章盘点
327 4
|
机器学习/深度学习 算法 内存技术
【CVPR2021】CondenseNetV2:用于深度网络的稀疏特征再激活
【CVPR2021】CondenseNetV2:用于深度网络的稀疏特征再激活
339 2
【CVPR2021】CondenseNetV2:用于深度网络的稀疏特征再激活
|
小程序 前端开发
uniapp 小程序接入友盟 ,自定义事件携带参数
uniapp 小程序接入友盟 ,自定义事件携带参数
324 0
|
5月前
|
安全 Go 开发工具
HarmonyOS5云服务技术分享--手机号登录教程
本文详细讲解了在HarmonyOS中集成手机号认证功能的全流程。首先分析了手机号认证的优势,如用户友好、安全性强及快速接入。接着介绍了环境准备步骤,包括集成AGC认证SDK、开启手机认证能力及添加必要权限。核心功能实现部分提供了新用户注册、密码登录和验证码登录的代码示例。此外,还涵盖了账号管理技巧,如修改绑定手机号、重置密码等,并提供了避坑指南和扩展能力建议,帮助开发者轻松实现安全高效的认证系统。
|
3月前
|
存储 数据库 数据安全/隐私保护
抖音ck提取工具,快手小红书微博哔哩哔哩cookie提取登录软件,python框架
这个框架提供了完整的Cookie提取功能,支持抖音、快手、小红书、微博和哔哩哔哩平台。主要特点包括
|
人工智能 安全 机器人
LLM对齐数据全自动合成!UW华人博士生提出Magpie方法,Macbook Air即可运行
【8月更文挑战第11天】在AI领域,大型语言模型(LLM)的行为对齐一直是个挑战。华盛顿大学研究人员提出名为Magpie的新方法,能自动高效生成高质量指令数据,减少人工干预,提升LLM的对齐效果。通过输入模板,Magpie利用已对齐LLM生成能力自动生成指令数据,仅需少量GPU资源即可创建大规模数据集。实验显示,使用Magpie数据集微调的模型性能媲美传统监督方法。尽管如此,Magpie仍需进一步优化以生成特定领域指令并确保数据安全性。[论文](https://arxiv.org/abs/2406.08464)
500 60
|
定位技术 Android开发
Android 12蓝牙报java.lang.SecurityException: Need android.permission.BLUETOOTH_CONNECT permission
Android 12蓝牙报java.lang.SecurityException: Need android.permission.BLUETOOTH_CONNECT permission
610 1
|
NoSQL Redis Docker
揭秘Github火爆的开源IP代理池秘密!
爬虫新利器:揭秘Github火爆的开源IP代理池秘密!
787 0
|
存储 JSON 缓存
Transformers 4.37 中文文档(十五)(1)
Transformers 4.37 中文文档(十五)
249 1
|
消息中间件 缓存 前端开发
【架构设计】互联网架构项目架构演进以及三高设计概述
【架构设计】互联网架构项目架构演进以及三高设计概述
【架构设计】互联网架构项目架构演进以及三高设计概述