随着网络的普及,人们网络购物已然成为日常生活方式之一。电商们也是在不断壮大成长,各电商平台的数据量是越来越大。如何将电商大数据转化为能为我们所用的,给我们带来利益增长的工具呢?抓取电商数据是第一步,能够通过快速便捷低成本的方式获取电商数据,这样的商家才能在竞争激烈的电商市场中立于不败之地。
抓取电商数据有以下几种方式,各有利弊,有需要的朋友结合自己实际情况采用。
1、各大电商平台都有自己的开放平台接口,提供各类API供大家使用,根据调用量收费。缺点是注册和申请账号key比较麻烦,审核严格。
2、使用网络爬虫技术爬取电商数据也是一种方式,缺点是稳定性不能保证。
3、找到可靠的第三方开发公司,专业从事数据挖掘,电商数据提供的。他们将自己的技术源码封装在API中,调用简单方便。都是实时数据,支持高并发。
以下是他们封装的一个商品详情数据采集接口的示例。
item_get-获得商品详情原数据
请求示例(curl、PHP、Python、JavaScript、Java、C++)
# coding:utf-8 """ Compatible for python2.x and python3.x requirement: pip install requests """ from __future__ import print_function import requests # 请求示例 url 默认请求参数已经做URL编码 url = "https://注册账号获取服务器/taobao/item_get/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=652874751412&is_promotion=1" headers = { "Accept-Encoding": "gzip", "Connection": "close" } if __name__ == "__main__": r = requests.get(url, headers=headers) json_obj = r.json() print(json_obj)
公共参数
名称 | 类型 | 必须 | 描述 |
key | String | 是 | 调用key(必须以GET方式拼接在URL中) |
secret | String | 是 | 调用密钥(获取测试地址) |
api_name | String | 是 | API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等] |
cache | String | 否 | [yes,no]默认yes,将调用缓存的数据,速度比较快 |
result_type | String | 否 | [json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读 |
lang | String | 否 | [cn,en,ru]翻译语言,默认cn简体中文 |
version | String | 否 | API版本 |
请求参数:num_iid=652874751412&is_promotion=1
参数说明:num_iid:淘宝商品ID
is_promotion:是否获取取促销价
响应示例(部分)