• 关于

    抓取

    的搜索结果

回答

这是我的代码,抓取淘宝一直抓取不到。
小旋风柴进 2019-12-01 20:12:19 1316 浏览量 回答数 1

回答

百度搜索抓取错误 服务器错误&xff1a;爬虫发起抓取&xff0c;httpcode 返回码是5XX 访问被拒绝&xff1a;爬虫发起抓取&xff0c;httpcode返回码是403 找不到页面&xff1a;爬虫发起抓取&xff0c;httpcode返回码是404 其他错误&xff1a...
饕餮的享受 2019-12-01 21:01:22 4397 浏览量 回答数 2

回答

假设每天我固定时间去某一个网站,比如豌豆荚抓取某一个APP的下载量,如果每次都是固定时间抓取,我肯定能够抓到每天的下载量。但我无法做到每天固定时间抓取,我只能每天不固定时间抓取一次,如何用算法估算出某一...
星球华人 2019-12-01 19:50:59 1553 浏览量 回答数 2

阿里云试用中心,为您提供0门槛上云实践机会!

100+款试用云产品,最长免费试用12个月!拨打95187-1,咨询专业上云建议!

回答

抓取信息 提交网站 simingte.com 提交网址 http://simingte.com/xnqcdxc.htm 抓取UA Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0);360Spider 抓取时间 2019-02-18 08:28:22 网站IP 139.129.180.119...
1330155868457057 2019-12-01 19:03:43 71 浏览量 回答数 1

回答

今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓取的基本过程三部分。互联网信息爆发式增长&xff0c;如何有效的获取并利用这些信息是搜索引擎工作中的首要环节。数据抓取...
kideny 2019-12-01 21:30:39 5387 浏览量 回答数 1

回答

网站最近老出现抓取异常&xff0c;DNS异常&xff0c;抓取超时等问题&xff0c;服备器很不稳定&xff0c;我想问这是什么原因&xff0c;百度现在对我的网站都不怎么抓取了&xff0c;是不是服务器ID你们在封禁呀。请帮我解决这些问题。
1354336212810617 2019-12-01 18:56:02 108 浏览量 回答数 0

回答

抓取失败处理 请先查看抓取错误信息&xff0c;判断抓取失败原因,进行优化处理。比如错误提示&xff1a;Recv failure:Connection reset by peer、Unknown SSL protocol error in connection to www.example.com:443,...
dfsag 2019-12-01 19:15:56 84 浏览量 回答数 1

回答

手机号抓取&xff0c;网站手机号抓取软件是什么原理&xff0c;现在终于知道了&xff0c;原来是抓取指定网站&xff0c;app访客手机号&xff0c;访客进网站流量数据反馈给运营商&xff0c;然后运营下发的数据&xff0c;难怪效果可以&xff0c;...
游客32nez23yfz5eo 2019-12-01 19:49:31 37 浏览量 回答数 1

回答

回 楼主(我来问下)的帖子 首先你整站使用CDN加速了吗&xff1f;其次。你在百度站长后台用抓取工具测试一下&xff0c;看能否抓取。如果不能抓取&xff0c;分析抓取的错误页面。
woaj01 2019-12-02 01:48:58 0 浏览量 回答数 0

回答

但段位一样的123.125.71.*段IP 代表抓取内页收录的权重比较低.可能由于你采集文章或拼文章暂时被收录但不放出来.(意思也就是说待定)。220.181.108.*段IP主要是抓取首页占80%xff0c;内页占30%xff0c;这此爬过的文章或...
梦醒丶呆子 2019-12-01 21:33:25 8683 浏览量 回答数 2

回答

部署了CDN,但是在提交链接给百度搜索引擎的时候,百度抓取上显示抓取超时,部分链接偶尔有这种情况。用户是可以正常打开的。这是怎么回事呢?应如何优化CDN,让爬虫也可以更好的抓取到网站内容?
kkjackson 2019-12-01 20:06:44 2436 浏览量 回答数 3

回答

在阿里云有几个机子 前段时间一直使用阿里云的CNAME 但是年前突然发现排名狂掉 站长工具看下发现无法抓取 持续N天 接接下来网站被攻击 很奇怪 一直不停 于是我将CNAME改回了自己机器的ip 立马就可以抓取 而且攻击...
素材网 2019-12-01 21:42:25 3281 浏览量 回答数 2

回答

现在突然间百度抓取失败了。排查了网站&xff0c;网站本身没有发现问题&xff0c;也没有做过什么改动。阿里云我有两个账号&xff0c;各有一台服务器&xff0c;最后发现我没有设置过安全组&xff0c;但看了下每个服务器里的安全组都...
wenhualiumeng 2019-12-01 19:08:04 83 浏览量 回答数 1

回答

这次抓取的更凶狠, 超过50多万次!一秒钟抓取好几次, 我在 robots.txt 里面设置了 Crawl-delay:5 设置禁止抓取动态页 都不管用. ip 系列 203.208.60.* 查询是: 本站主数据&xff1a;北京市海淀区 北京谷翔信息技术有限...
alixi 2019-12-01 21:47:41 5448 浏览量 回答数 2

回答

环境说明所抓取网址为https://www.weixinqun.com/,针对该网址大量抓取,有很多页面刚开始抓取时,设置下载延时2s,一切正常一天过后,还没抓完,这时发现开始出现报错,响应为200但是response.body却为空,即...
贺卡贺卡 2019-12-01 20:07:29 2694 浏览量 回答数 1

回答

用爬虫抓取1688产品老跳到登录画面怎么解决 随便一个产品链接 抓取 比如 detail.1688.com/offer/581201765422.html 发请求后&xff0c;老返回跳转到登录窗口 如何修改参数或POST方式调整&xff0c;可以顺利抓取到产品信息...
城城1234 2019-12-01 21:50:57 1320 浏览量 回答数 2

回答

通常包含四个模块&xff1a;...保存种子URL和待抓取的URL的数据结构。2&xff09;保存已经抓取的URL数据结构&xff0c;防止重复抓取。3&xff09;页面抓取模块。4&xff09;对已经抓去的页面内容的各个部分进行抽取的模块。
YDYK 2020-04-05 14:51:18 0 浏览量 回答数 0

回答

我用的云虚拟主机,IP地址是美国.一直没注意,现在看网站百度搜索不到,搜狗搜索...我在百度抓取诊断,结果抓取测试了几次!全部失败, 下面是错误信息!求大神,是网站后台没设置对?还是虚拟主机设置错误?附件是主机运行日志!
王风哥 2019-12-01 21:21:41 1651 浏览量 回答数 0

回答

利用抓取异常、抓取频次工具观察抓取情况 注&xff1a;每个工具页面的右侧下方都有使用说明可以了解&xff0c;如下&xff1a;B.利用抓取诊断工具观察抓取情况 为了保证网站对百度蜘蛛的稳定访问性能&xff0c;日常需要养成定期...
KB小秘书 2019-12-02 01:28:38 0 浏览量 回答数 0

回答

1、请先查看抓取错误信息&xff0c;判断抓取失败原因,进行优化处理。比如错误提示&xff1a;Recv failure:Connection reset by peer、Unknown SSL protocol error in connection to www.example.com:443,...
1950165872005874 2019-12-01 18:55:51 482 浏览量 回答数 0

回答

能够正常访问并被百度抓取。网站从虚拟主机搬到阿里云服务器&xff0c;linux系统&xff0c;安装oneinstack&xff0c;并开启了SSL 网站能够正常访问&xff0c;但是百度索引下降。通过百度站长的抓取诊断工具检查&xff0c;发现抓取...
繁华瞬间 2019-12-01 20:59:47 14262 浏览量 回答数 1

回答

最近发现网站的数据老是被抓取,不知道是通过爬虫抓取的还是其他方式获取。
llrdysh 2019-12-01 20:22:58 762 浏览量 回答数 2

回答

发现有时候,百度抓取非常频繁,会导致服务器压力过大。如何限制他们的抓取频率?
exinnet 2019-12-01 19:39:07 3065 浏览量 回答数 1

回答

以下是360搜索Spider抓取结果及页面信息 抓取信息 提交网站 simingte.com 提交网址 http://simingte.com/xnqcdxc.htm 抓取UA Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0);360Spider 抓取时间 2019...
1330155868457057 2019-12-01 19:03:44 72 浏览量 回答数 1

回答

fiddler一直只能抓取局域网的,我想请教一下,如何设置才能抓取公网上的手机信息?当然手机wifi代理什么的都会设置好。
隔壁老王wk 2019-12-01 20:09:16 1088 浏览量 回答数 1

回答

Re采用Jsoup抓取TB数据&xff0c;本地正常&xff0c;部署在阿里云上无法成功 这个是读取的一个日志文件&xff0c;里面包含获取到的html信息 不过打开后&xff0c;会跳转到tmall的登录页面 Re采用Jsoup抓取TB数据&xff0c;本地正常&...
城市劣人 2019-12-02 00:16:48 0 浏览量 回答数 0

回答

想用spiderman学一下抓取数据&xff0c;现在环境搭建好了&xff0c;可是抓取步骤毫无头绪&xff0c;所有在oschina上的和spiderman相关的帖子都看完了&xff0c;终于从一窍不通成功到把各种相关软件和环境都搭建完了&xff0c;可是。...
爱吃鱼的程序员 2020-06-09 15:00:50 0 浏览量 回答数 1

回答

rt,如何抓取某个微信公共账号的文章列表?原先是通过搜狗微信进行抓取的,但是现在经常换加密方式,不能在使用了。不知道现在还有什么方式?通过android客户端?
爵霸 2019-12-01 19:41:48 1012 浏览量 回答数 1

回答

rt,如何抓取某个微信公共账号的文章列表?原先是通过搜狗微信进行抓取的,但是现在经常换加密方式,不能在使用了。不知道现在还有什么方式?通过android客户端?
爵霸 2019-12-01 19:46:32 847 浏览量 回答数 1

回答

如题,假设我要从http://www.appinn.com/category/mac/这个链接页面里面抓取右侧的列表中的图片作为一个array放到我的app中,我应该怎样来抓取网页中的数据呢?
a123456678 2019-12-01 20:27:49 880 浏览量 回答数 0

云产品推荐

小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化