nodejs | 看看豆瓣Top250电影有哪些?

简介: 前面写了`Python` 的版本,然后用 `nodejs` 页写一个吧!

前面写了Python 的版本,然后用 nodejs 页写一个吧!

思路

  • 需要知道一共有多少页
  • 爬单个页面数据处理
  • 分页爬取,循环一下单个页面数据处理就好了

代码

const axios = require("axios");
const cheerio = require("cheerio");
const fs = require("fs");
const dbUrl = "https://movie.douban.com/top250";
// 找到页数,每页25个
const findCount = async () => {
  try {
    const { status, data } = await axios.get(dbUrl);
    if (status === 200) {
      const $ = cheerio.load(data);
      const count = $(".count").text();
      return count.replace(/[^0-9]/gi, "");
    }
  } catch (error) {
    console.log("error", error.code);
    return 0;
  }
};

// 处理函数
const handleText = async (pageNum) => {
  const url = dbUrl + `?start=${pageNum}`;
  console.log(url);
  try {
    const { status, data } = await axios.get(url);
    let list = [];
    if (status === 200) {
      const $ = cheerio.load(data);
      const pic = $(".pic");
      for (let i = 0; i < pic.length; i++) {
        const element = pic[i];
        const $img = cheerio.load(element);
        const index = $img("em").text();
        const imgs = $img("img").attr();
        list.push({ index, name: imgs.alt, img: imgs.src });
      }
      return list;
    }
  } catch (error) {
    console.log("error", error.code);
    return [];
  }
};

const main = async () => {
  // 如果存在文件,则删除
  if (fs.existsSync("./douban.json")) {
    fs.unlinkSync("./douban.json");
  }
  let result = [];
  const count = (await findCount()) / 25;
  for (let i = 0; i < count; i++) {
    const listItem = await handleText(i * 25);
    result.push(...listItem);
  }
  //   追加文件
  fs.appendFileSync("./douban.json", JSON.stringify(result));
};

main();

结论

最后会在同一个文件夹下面生成一个douban.json的数组对象。
传送门:Python版本

相关文章
|
定位技术 开发工具 Android开发
android 中获取sha1值的详细说明
android 中获取sha1值的详细说明
1673 0
android 中获取sha1值的详细说明
|
机器学习/深度学习 数据采集 自然语言处理
Python 常用的第三方库
Python 常用的第三方库
1330 0
|
11月前
|
人工智能 监控 算法
别再做SEO了!2025最新GEO优化公司排行榜,AI时代流量密码全揭秘!
2025年,生成式AI重塑流量格局,GEO(生成式引擎优化)正取代传统SEO。用户从“搜索”转向“对话”,信息由AI主动推荐。GEO通过结构化内容、信任信号构建与多平台适配,让品牌成为AI眼中的“权威专家”。选择服务商需关注技术透明度、行业理解与定制化能力。未来属于能被AI理解和信任的品牌。
|
Python
新手向 Python:VsCode环境下Manim配置
该文介绍了如何准备和配置开发环境以使用Manim,主要包括两个步骤:一是准备工作,需要下载并安装VsCode和Anaconda,其中Anaconda需添加到系统PATH环境变量,并通过清华镜像源配置;二是配置环境,VsCode中安装中文插件和Python扩展,激活并配置虚拟环境。最后,安装ffmpeg和manim,通过VsCode运行测试代码验证配置成功。
2403 1
|
Serverless Python
借助 serverless 将 MCP 服务部署到云端
本文介绍了如何将 MCP 服务通过 SSE 协议部署到云端,避免本地下载和启动的麻烦。首先,使用 Python 实现了一个基于 FastMCP 的网络搜索工具,并通过设置 `transport='sse'` 启用 SSE 协议。接着,编写客户端代码测试服务功能,确保其正常运行。随后,利用阿里云函数计算服务(FC 3.0)以 Serverless 方式部署该服务,包括创建函数、配置环境变量、添加依赖层以及部署代码。最后,提供了客户端测试方法和日志排查技巧,并展示了如何在不同工具(如 Cherry-Studio、Cline 和 Cursor)中配置云端 MCP 服务。
2258 11
借助 serverless 将 MCP 服务部署到云端
|
数据采集 存储 人工智能
掌握这4个绘制技术架构图要点,提升AI产品经理跨团队沟通
三桥君深入解析AI产品经理必备技能——技术架构图的绘制方法。文章详细阐述了技术架构图的三大作用、绘制关键思考、方法论及案例分析,助力提升跨团队沟通效率与项目成功率。适合希望掌握技术逻辑、推动AI产品落地的产品经理阅读学习。
811 2
|
编解码 前端开发 开发者
探索无界:前端开发中的响应式设计深度实践与思考###
本文将带你领略响应式设计的精髓,一种超越传统页面布局限制的设计策略,它要求开发者以灵活多变的思维,打造能够无缝适应各种设备与屏幕尺寸的Web体验。通过深入浅出的讲解、实际案例分析以及技术实现细节的探讨,本文目的是激发读者对于响应式设计深层次的理解与兴趣,鼓励在实际应用中不断创新与优化。 ###
585 10
|
算法 C语言
【C语言程序设计——函数】利用函数求解最大公约数和最小公倍数(头歌实践教学平台习题)【合集】
本文档介绍了如何编写两个子函数,分别求任意两个整数的最大公约数和最小公倍数。内容涵盖循环控制与跳转语句的使用、最大公约数的求法(包括辗转相除法和更相减损术),以及基于最大公约数求最小公倍数的方法。通过示例代码和测试说明,帮助读者理解和实现相关算法。最终提供了完整的通关代码及测试结果,确保编程任务的成功完成。
1067 15
【C语言程序设计——函数】利用函数求解最大公约数和最小公倍数(头歌实践教学平台习题)【合集】
|
缓存 安全 应用服务中间件
Nginx七层(应用层)反向代理:HTTP反向代理proxy_pass篇(二)
Nginx七层(应用层)反向代理:HTTP反向代理proxy_pass篇(二)
1292 1
|
SQL 关系型数据库 MySQL
一文速学-玩转MySQL中INTERVAL关键字和INTERVAL()函数用法讲解
一文速学-玩转MySQL中INTERVAL关键字和INTERVAL()函数用法讲解
1720 0
一文速学-玩转MySQL中INTERVAL关键字和INTERVAL()函数用法讲解