外卖订单爬虫(美团,饿了么,百度外卖)

简介: 这个程序是用来抓取外卖平台(美团,饿了么,百度)的商户订单开发,并不是一个通用库,而是为这个 特定场景进行开发的。 适用场景:餐饮企业拥有多家外卖门店,订单量非常大,有对订单进行数据分析的需求。 主要功能:每天定时启动,抓取三大外卖平台的订单,转成成excel文件,发邮件给需要的人 如何使用 修改config目录下的production.

这个程序是用来抓取外卖平台(美团,饿了么,百度)的商户订单开发,并不是一个通用库,而是为这个 特定场景进行开发的。 适用场景:餐饮企业拥有多家外卖门店,订单量非常大,有对订单进行数据分析的需求。 主要功能:每天定时启动,抓取三大外卖平台的订单,转成成excel文件,发邮件给需要的人

如何使用

修改config目录下的production.json

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
{
   "log": {
     "level": "DEBUG"
   },
   "mail": {
     "from": "company@xxx.com", //邮件发送人
     "mailTo": "di.mu@xxx.com", //邮件接收人
     "host":"smtp.xxx.com",
     "port":25,
     "secure":false,
     "user":"company@xxx.com",  //程序使用的邮件
     "pass":"程序使用的邮件的密码"
   },
   "imgCode":{
     "key":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxx"   // https://www.juhe.cn/docs/api/id/60  识别验证码api的key
   },
   "account": [
     {
       "name": "美团xxx店",
       "username": "帐户名",
       "password": "账户密码",
       "type": "meituan"
     },
     {
       "name": "饿了么xxx店",
       "username": "帐户名",
       "password": "账户密码",
       "type": "eleme"
     },
     {
       "name": "百度xxx店",
       "username": "帐户名",
       "password": "账户密码",
       "type": "baidu"
     }
   ]
}

其中以下配置是程序中使用验证码识别的api服务, 美团,百度的商家后台都需要验证码登录 api服务使用的是聚合数据的验证码识别服务,你需要先 申请聚合数据的账号,得到key 填写到如下配置项中去。

1
2
3
"imgCode":{
     "key":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxx"   // https://www.juhe.cn/docs/api/id/60  识别验证码api的key
   },

邮件功能需要配置详细的smtp服务地址、发件人账号名、密码、端口、是否使用ssl

1
2
3
4
5
6
7
8
9
"mail": {
     "from": "company@xxx.com", //邮件发送人
     "mailTo": "di.mu@xxx.com", //邮件接收人
     "host":"smtp.xxx.com",
     "port":25,
     "secure":false,
     "user":"company@xxx.com",  //程序使用的邮件
     "pass":"程序使用的邮件的密码"
   },

GitHub地址:https://github.com/mudiyouyou/waimai-crawler

 

转:

http://www.cnblogs.com/annie00/p/6178185.html

 

 

本文转自左正博客园博客,原文链接:http://www.cnblogs.com/soundcode/p/7499849.html,如需转载请自行联系原作者

相关文章
|
6月前
|
数据采集 Python
爬虫实战-Python爬取百度当天热搜内容
爬虫实战-Python爬取百度当天热搜内容
205 0
|
3月前
|
数据采集 XML 前端开发
Python爬虫实战:利用代理IP爬取百度翻译
Python 爬虫实战:利用代理 IP 爬取百度翻译
195 2
|
3月前
|
数据采集 网络协议 索引
Python 爬虫技巧:百度页面重定向的自动跟踪与处理
Python 爬虫技巧:百度页面重定向的自动跟踪与处理
|
6月前
|
数据采集 存储 JavaScript
Buzz库网络爬虫实例:快速爬取百度搜索实时热点
Buzz库网络爬虫实例:快速爬取百度搜索实时热点
|
数据采集 Python
python网络爬虫,爬百度的示例
python网络爬虫,爬百度的示例
161 2
|
数据采集 测试技术 Python
python写的爬虫,抓取百度的搜索结果,被屏蔽了怎么办?
这个问题通常是由于频繁的请求导致百度的反爬虫机制触发了验证码的保护机制
|
数据采集 JSON 编解码
Python爬虫系列6-百度文库VIP付费数据的抓取
编程难不难?那可不是闹着玩的。不从事这一行的永远不知道这行的艰辛 俗话说的好;爬虫在手天下我有,自从学习了爬虫;看到什么都想盘它一番;直到遇到JS反爬。 不知大家有没有遇到过这种情况;就是你在网上不管是查阅资料也好还是做什么,你会发现其实很多人写的反爬一类的都只给你看结果,你根本不知道这个突破过程是怎么样的,哪怕获取到了代码又有何用;下次再给你一道题,你同样还是不会。你品,你细品...... 我觉得做任何事情一定有在短期内简单可行的方法。学习不应该是苦差事,而应该是快乐的,重要的是找到适合自己的学习方法。师者传道受业解惑!
Python爬虫系列6-百度文库VIP付费数据的抓取
|
数据采集 数据库 Python
Python爬虫:利用百度短网址缩短url
Python爬虫:利用百度短网址缩短url
287 1
|
数据采集 API Python
Python爬虫之百度API调用
上次爬取了糗事百科的用户地址,也画了一个段子手分布的地图,今天就讲讲思路,其实也就是如何让地址换为经纬度,因为个人BDP免费版是需要经纬度字段的,今天就调用百度API获取经纬度信息。
1483 0
|
数据采集 小程序 前端开发
【重写爬虫案例】百度图片、今日头条今日街拍爬取图片中遇到的问题
【重写爬虫案例】百度图片、今日头条今日街拍爬取图片中遇到的问题
【重写爬虫案例】百度图片、今日头条今日街拍爬取图片中遇到的问题
下一篇
无影云桌面