AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

记一次爬取搜索引擎缩略图并保存到本地

2022-09-21 158
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： ✨✨欢迎订阅本专栏或者关注我，大家一起努力每天一题算法题✨✨❤️❤️❤️最后，希望我的这篇文章能对你的有所帮助！愿自己还有你在未来的日子，保持学习，保持进步，保持热爱，奔赴山海！❤️❤️❤️。.........
❤️❤️❤️❤️❤️❤️ 🥳🥳🥳 茫茫人海千千万万，感谢这一刻你看到了我的文章，感谢观赏，大家好呀，欢迎加入人工智能交流群（看我的动态），更多周边福利等你🥳🥳🥳
在这里插入图片描述

✨✨欢迎订阅本专栏或者关注我，大家一起努力每天一题算法题✨✨

❤️❤️❤️ 最后，希望我的这篇文章能对你的有所帮助！

愿自己还有你在未来的日子，保持学习，保持进步，保持热爱，奔赴山海！ ❤️❤️❤️

前景

今天接到一个单子，需求如图，大致的意思就是通过搜索引擎图片进行搜索，将缩略图保存到本地，并返回一维数组
在这里插入图片描述

于是我们通过对__图片的抓取
在这里插入图片描述
在这里插入图片描述

分析python代码

import requests

cookies = {
}

headers = {
    'Accept': 'text/plain, */*; q=0.01',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Connection': 'keep-alive',
    'Referer': 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1658123529379_R&pv=&ic=0&nc=1&z=&hd=&latest=&copyright=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&dyTabStr=&ie=utf-8&sid=&word=%E8%BD%A6',
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode': 'cors',
    'Sec-Fetch-Site': 'same-origin',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
    'sec-ch-ua': '".Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}

params = {
    'tn': 'resultjson_com',
    'word': '车',
    'rn': '2',
}

response = requests.get('https://image.baidu.com/search/acjson', params=params, cookies=cookies, headers=headers)
print(response.text)

得到的数据
在这里插入图片描述

由于客户对图片的要求不高，随机3个就可以，所以我在这里进行了处理，经过对代码的测试，发现cookie对接口不影响，最后筛选为这几个参数

params = {
    'tn': 'resultjson_com',#必须携带
    'word': '车',#关键字
    'rn': '2',#数据条数
}

不过！对方要的是php

这简单，通过转换即可

curl_get函数

function curl_get($url){
 
   $header = array(
    //   'Accept: application/json',
     'Accept:text/plain, */*; q=0.01',
    'Accept-Language:zh-CN,zh;q=0.9',
    'Connection:keep-alive',
    'Referer:https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1658123529379_R&pv=&ic=0&nc=1&z=&hd=&latest=&copyright=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&dyTabStr=&ie=utf-8&sid=&word=%E8%BD%A6',
    'Sec-Fetch-Dest:empty',
    'Sec-Fetch-Mode:cors',
    'Sec-Fetch-Site:same-origin',
    'User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
    'X-Requested-With:XMLHttpRequest',
    'sec-ch-ua:Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"',
    'sec-ch-ua-mobile:?0',
    'sec-ch-ua-platform:"Windows"',
    );
    $curl = curl_init();
    //设置抓取的url
    curl_setopt($curl, CURLOPT_URL, $url);
    //设置头文件的信息作为数据流输出
    curl_setopt($curl, CURLOPT_HEADER, 0);
    // 超时设置,以秒为单位
    curl_setopt($curl, CURLOPT_TIMEOUT, 1);
 
    // 超时设置，以毫秒为单位
    // curl_setopt($curl, CURLOPT_TIMEOUT_MS, 500);
 
    // 设置请求头
    curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
    //设置获取的信息以文件流的形式返回，而不是直接输出。
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
    //执行命令
    $data = curl_exec($curl);
 
    // 显示错误信息
    if (curl_error($curl)) {
        print "Error: " . curl_error($curl);
    } else {
        // 打印返回的内容
        return $data;
        curl_close($curl);
    }
}

网络图片保存方法
（保存在当前目录的img文件夹）

function file_exists_S3($url)

{

    $state = @file_get_contents($url,0,null,0,1);//获取网络资源的字符内容

    if($state){
        
        $random=rand(10,99999990);//防止重复

        $filename = date("dMYHis").$random.'.jpg';//文件名称生成

        ob_start();//打开输出

        readfile($url);//输出图片文件

        $img = ob_get_contents();//得到浏览器输出

        ob_end_clean();//清除输出并关闭

        $size = strlen($img);//得到图片大小

        $fp2 = @fopen('img/'.$filename, "a");

        fwrite($fp2, $img);//向当前目录写入图片文件，并重新命名

        fclose($fp2);

        return $filename;

    }

    else{

        echo 0;

    }

}

可以通过for循环即可，在保存的时候发现了一个bug，当循环到数据时 调用保存方法只保存了一张，这个bug是因为文件名的原因，当

date("dMYHis").'.jpg'
同一段时间命名的图片是一样的导致图片被覆盖

解决办法，通过随机数，上方代码已经修改了

最后完整的php代码

<?php
function curl_get($url){
 
   $header = array(
    //   'Accept: application/json',
     'Accept:text/plain, */*; q=0.01',
    'Accept-Language:zh-CN,zh;q=0.9',
    'Connection:keep-alive',
    'Referer:https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1658123529379_R&pv=&ic=0&nc=1&z=&hd=&latest=&copyright=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&dyTabStr=&ie=utf-8&sid=&word=%E8%BD%A6',
    'Sec-Fetch-Dest:empty',
    'Sec-Fetch-Mode:cors',
    'Sec-Fetch-Site:same-origin',
    'User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
    'X-Requested-With:XMLHttpRequest',
    'sec-ch-ua:Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"',
    'sec-ch-ua-mobile:?0',
    'sec-ch-ua-platform:"Windows"',
    );
    $curl = curl_init();
    //设置抓取的url
    curl_setopt($curl, CURLOPT_URL, $url);
    //设置头文件的信息作为数据流输出
    curl_setopt($curl, CURLOPT_HEADER, 0);
    // 超时设置,以秒为单位
    curl_setopt($curl, CURLOPT_TIMEOUT, 1);
 
    // 超时设置，以毫秒为单位
    // curl_setopt($curl, CURLOPT_TIMEOUT_MS, 500);
 
    // 设置请求头
    curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
    //设置获取的信息以文件流的形式返回，而不是直接输出。
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
    //执行命令
    $data = curl_exec($curl);
 
    // 显示错误信息
    if (curl_error($curl)) {
        print "Error: " . curl_error($curl);
    } else {
        // 打印返回的内容
        return $data;
        curl_close($curl);
    }
}

function file_exists_S3($url)

{

    $state = @file_get_contents($url,0,null,0,1);//获取网络资源的字符内容

    if($state){
        
        $random=rand(10,99999990);//防止重复

        $filename = date("dMYHis").$random.'.jpg';//文件名称生成

        ob_start();//打开输出

        readfile($url);//输出图片文件

        $img = ob_get_contents();//得到浏览器输出

        ob_end_clean();//清除输出并关闭

        $size = strlen($img);//得到图片大小

        $fp2 = @fopen('img/'.$filename, "a");

        fwrite($fp2, $img);//向当前目录写入图片文件，并重新命名

        fclose($fp2);

        return $filename;

    }

    else{

        echo 0;

    }

}

if ($_GET) {
$key_word=$_GET['key_word'];
$res=curl_get("https://image.baidu.com/search/acjson?tn=resultjson_com&word=$key_word&rn=3");
$res=json_decode(trim($res),true);
// 新建空数组
$backup=array();
for ($i = 0; $i < count($res['data'])-1; $i++) {

 //保存到本地
 
// echo $res['data'][$i]['thumbURL'];
$picture=file_exists_S3($res['data'][$i]['thumbURL']);
array_push($backup,$picture);
}
echo json_encode($backup);
} else {
die(
        json_encode(
            array(
            'code' => 400,
            'msg' => '参数错误'
        ),480)
);
}

测试流程：
通过对数据进行查询
在这里插入图片描述
2观察对比文件名
、在这里插入图片描述

在这里插入图片描述

测试成功！！！本次教程结束！！！顺便关注走一走[滑稽]

文章标签：
云数据库 ClickHouse
PHP
Python
测试技术
搜索推荐
人工智能
算法
德宏大魔王
目录
相关文章
小白学大数据
|
数据采集 分布式计算 搜索推荐
使用Python实现网页中图片的批量下载和水印添加保存
使用Python实现网页中图片的批量下载和水印添加保存
小白学大数据
1238 0
奔跑的数据
|
3天前
|
数据采集 存储 供应链
数据合并：cbind函数在网页爬取中的实用技巧
本文介绍了如何通过代理IP和多线程技术提高网页爬取效率，并使用`cbind`函数合并数据。以财经网新闻为例，展示了从指定网站下载、解析内容，到数据获取、合并及分析的完整流程。通过亿牛云爬虫代理和Python代码实现，确保高效无痕访问，最终将结果保存为CSV文件。此方法适用于大量分散数据的爬取与处理，助力经济趋势分析。
奔跑的数据
71 47
小白学大数据
|
3月前
|
数据采集 JavaScript C#
C#图像爬虫实战：从Walmart网站下载图片
C#图像爬虫实战：从Walmart网站下载图片
小白学大数据
65 1
爱专研的技术土狗
|
1月前
|
数据采集 前端开发 JavaScript
除了网页标题，还能用爬虫抓取哪些信息？
爬虫技术可以抓取网页上的各种信息，包括文本、图片、视频、链接、结构化数据、用户信息、价格和库存、导航菜单、CSS和JavaScript、元数据、社交媒体信息、地图和位置信息、广告信息、日历和事件信息、评论和评分、API数据等。通过Python和BeautifulSoup等工具，可以轻松实现数据抓取。但在使用爬虫时，需遵守相关法律法规，尊重网站的版权和隐私政策，合理控制请求频率，确保数据的合法性和有效性。
爱专研的技术土狗
49 1
游客j4mujezz7vm7y
|
3月前
爬取图片，以及对图片筛选，以及切换系统背景图片
爬取图片，以及对图片筛选，以及切换系统背景图片
游客j4mujezz7vm7y
35 0
游客xusvbxsoy3qma
|
4月前
|
数据采集 前端开发 测试技术
如何爬取瀑布流网页加载的内容
本文探讨了爬取瀑布流网页内容的策略。首先解析了其工作原理——通过Ajax请求动态加载数据，并介绍了利用浏览器开发者工具分析这些请求的方法。随后，文章讲解了如何使用Python模拟这些请求，处理动态加载的内容，并推荐了Selenium等自动化工具以简化流程。最后强调了在爬虫开发过程中需遵守网站规定及道德准则的重要性。
游客xusvbxsoy3qma
79 0
小Lee
|
Python
一个爬取百度图片的脚本
一个爬取百度图片的脚本
小Lee
50 1
逻辑峰
|
7月前
爬取网络图片
爬取网络图片
逻辑峰
99 0
HannYang
|
编译器 C++
C++ 抓取和批量下载网站上的图片或文件
C++ 抓取和批量下载网站上的图片或文件
HannYang
360 0
技术小能手
|
数据采集 JavaScript 前端开发
网易云音乐评论爬虫（三）:爬取歌曲的全部评论
技术小能手
5542 0

热门文章

最新文章

  • 1
    基于区块链的机器学习模型创建方案
  • 2
    性能的极致,Rust的加持,Zed-Dev编辑器快速搭建Python3.10开发环境
  • 3
    首届Global VR Hackathon完结 全球前三甲诞生
  • 4
    我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。
  • 5
    iptables
  • 6
    DevExpress 10.2.4系列-ASPxListBox根据列值不同设置不同图标
  • 7
    jquery的load加载js页面到指定div中
  • 8
    分享平时工作中那些给力的shell命令（更新版）
  • 9
    如何在ubuntu下用SVN commit
  • 10
    hdu 1800 Flying to the Mars
  • 1
    HelloMeme：开源的面部表情与姿态迁移框架，将视频中的人物表情迁移到静态图像中生成动态视频
    100
  • 2
    VSI-Bench：李飞飞谢赛宁团队推出视觉空间智能基准测试集，旨在评估多模态大语言模型在空间认知和理解方面的能力
    31
  • 3
    CLEAR：新加坡国立大学推出线性注意力机制，使8K图像的生成速度提升6.3倍，显著减少了计算量和时间延迟
    32
  • 4
    Kheish：开源的多智能体开发框架，通过 YAML 配置工作流和多个 Agent 共同协作解决复杂任务
    41
  • 5
    Bamba-9B：基于 Mamba2 架构的仅解码语言模型，旨在提高大型语言模型在推理时的效率
    34
  • 6
    DisPose：清华北大等多所高校联合推出基于人物图像增强视频生成技术，实现对人物动画的准确控制和一致性
    35
  • 7
    InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
    34
  • 8
    Univer：开源全栈 AI 办公工具，支持 Word、Excel、PPT 等文档处理和多人实时协作
    26
  • 9
    《人工智能：驱散新材料数据噪声与填补缺失值的曙光》
    21
  • 10
    《人工智能：解锁新材料最佳掺杂元素及比例的密码》
    18

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    DataWorks售前咨询