Requests爬取智联京东商城

简介:   #coding=utf-8  import requests  from pymongo import MongoClient  #数据库建立  c=MongoClient(host='127.0.0.1',port=27017)  db=c['zhilian']  collection=db['zhilianhtml']

  #coding=utf-8

  import requests

  from pymongo import MongoClient

  #数据库建立

  c=MongoClient(host='127.0.0.1',port=27017)

  db=c['zhilian']

  collection=db['zhilianhtml']

  def zhilian(company,page):

  for i in xrange(1,page):

  #京东商城 北京

  url="sou.zhaopin/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=company=2&p=i"

  header={

  'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'

  }

  res=requests.get(url=url,headers=header)

  #存入数据库中

  collection.insert({'charles':res.content})

  if __name__=='__main__':

  company=raw_input('请输入您要查询的二手游戏账号买号平台:')

  page=int(raw_input('请输入您要查找的页数:'))

  if page<1:

  print '输入错误!!!'

  else:

  zhilian(company,page)

目录
相关文章
|
1月前
|
数据采集 JSON NoSQL
python爬虫 Appium+mitmdump 京东商品
python 爬虫 Charles + appium + mitmproxy 实现 app 京东商品数据获取
32 0
|
JavaScript 大数据 应用服务中间件
Python网络爬虫(JSON, Phantomjs, selenium/Chromedirver,豆瓣电影、斗鱼直播、京东商城爬取)
python、python爬虫、网络爬虫、爬虫框架、selenium、requests、urllib、数据分析、大数据、爬虫爬取静态网页、爬虫基础、自动化测试、json、动态加载、反爬虫
3452 0
|
10月前
|
API
关于1688、淘宝、天猫等各大电商平台商品详情API接口
关于1688、淘宝、天猫等各大电商平台商品详情API接口
|
小程序
京东联盟-怎么跳转到京东购物小程序领券下单
我们在自己的小程序里接入京东联盟,实际上模式是用户点击商品详情页下单,然后跳转到“京东购物”小程序领券下单(像下面那样),但是这个接口是需要申请的,且自有小程序日均访问人数>1万。
310 0
京东联盟-怎么跳转到京东购物小程序领券下单
|
XML 数据采集 Web App开发
学习XPath助力爬取中秋各大电商平台数据
学习XPath助力爬取中秋各大电商平台数据
97 0
学习XPath助力爬取中秋各大电商平台数据
|
Web App开发 关系型数据库 Linux
解密淘宝网的开源架构
解密淘宝网的开源架构 作者:曾宪杰。2002年毕业于浙江大学计算机系。先后在中科院下属企业、先锋电子(中国)就职。积累了丰富的Windows平台、企业级系统设计经验。现任淘宝网平台架构部架构师,主要研究方向为大规模集群环境下的消息中间件设计、分布式数据层和分布式系统。
1810 0
|
数据采集 Web App开发 iOS开发
Python爬虫天猫店铺全部商品一记
1、前言 最近小姐姐工作需要,需要爬取天猫某店的全部商品,正好小哥学习了Python几个月,就答应上手试试!结果第一道题就难住了,天猫登陆需要账号密码和验证码!!!虽然知道可以通过模拟和Session操作,但是,始终是新手开车,还没有学习那么高深,感觉...
3661 0
用selenium爬取淘宝美食
这里用淘宝来练习一下 selenium 的使用,可以替换关键字,爬取不同的物品,比如说衣服、鞋子之类的。 from selenium import webdriver from selenium.
1239 0
|
存储 数据库 搜索推荐
3.3、苏宁百万级商品爬取 代码讲解 商品爬取
接下去进入代码的模块,首先我们分析一下如何实现代码 我们拥有一张类别表,类别表中记录了 类别名称,编码,地址,该类别所拥有的页数等信息 类别表.png 抽象描述: 取出所有的类别 循环类别集合 循环类别页数 得到当前类别当前页集合数据 插入数据库 对上述内容我们又几个地方需要注意,我们依次说明 第一点 数量量大 类别大致有4000多个,每个类别页数各不相同(一页60个商品是固定的),这么多的商品数据,如果我们还是采用同步方法依次执行的话,效率势必大打折扣,爬取所需花费的时间也很长。
1119 0
|
数据采集 Python
Scrapy爬虫(5)爬取当当网图书畅销榜
  本次将会使用Scrapy来爬取当当网的图书畅销榜,其网页截图如下:   我们的爬虫将会把每本书的排名,书名,作者,出版社,价格以及评论数爬取出来,并保存为csv格式的文件。
1881 0

热门文章

最新文章