基于python获取某东信息商品信息

import requests
from bs4 import BeautifulSoup
import xlwt
def get_html(url):
    # 模拟浏览器访问
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 Edg/101.0.1210.53'}
    print("--> 正在获取网站信息")
    response = requests.get(url, headers=headers)  # 请求访问网站
    if response.status_code == 200:
        html = response.text  # 获取网页源码
        return html  # 返回网页源码
    else:
        print("获取网站信息失败！")
if __name__ == '__main__':
    # 创建workbook，就是创建一个Excel文档
    write_work = xlwt.Workbook(encoding='ascii')
    # 添加一张单
    write_sheet = write_work.add_sheet("sheet1")
    # 创建表头
    write_sheet.write(0, 0, label='商品编号')      # 第1行 第1列 写入内容'商品编号'
    write_sheet.write(0, 1, label='商品名称')      # 第1行 第2列 写入内容'商品名称'
    write_sheet.write(0, 2, label='价格')         # 第1行 第4列 写入内容'价格'
    write_sheet.write(0, 3, label='商家')         # 第1行 第5列 写入内容'商家'
    write_sheet.write(0, 4, label='商品详情地址')   # 第1行 第6列 写入内容'商品详情地址'
    # 记录当前行数
    _current_row = 0
    i=0
    k=0
    j=0
    for k in range(0,5):
        i = 3+k*2
        j = 56+k*60
        # 搜索关键字
        keyword = 'AJ1'
        # 搜索地址
        search_url= 'https://search.jd.com/Search?keyword=%s&suggest=1.his.0.0&wq=AJ1&pvid=65892364c2604d5897754ab21bed6d22&page=%d&s=%d&click=1'%(keyword,i,j)
        html = get_html(search_url)
        # 初始化BeautifulSoup库,并设置解析器
        soup = BeautifulSoup(html, 'lxml')
        # 商品列表
        goods_list = soup.find_all('li', class_='gl-item')
        # 打印goods_list到控制台
        for li in goods_list:  # 遍历父节点
            # 由于我们第一行已经写入了表头。所以这里0+1，就是从第1行开始，后面每次循环+1
            _current_row += 1
            if _current_row == 29:
                break
            # 商品编号
            no = li['data-sku']
            # 商品名称
            name = li.find(class_='p-name p-name-type-2').find('em').get_text()
            # 价格
            price = li.find(class_='p-price').find('i').get_text()
            # 商家
            shop = li.find(class_='p-shop').find('a').get_text()
            # 商品详情地址
            detail_addr = li.find(class_='p-name p-name-type-2').find('a')['href']
 # 写入Excel
            write_sheet.write(_current_row, 0, label=no)
            write_sheet.write(_current_row, 1, label=name)
            write_sheet.write(_current_row, 2, label=price)
            write_sheet.write(_current_row, 3, label=shop)
            write_sheet.write(_current_row, 4, label=detail_addr)
    # 保存文件，使用的是相对目录（也可以使用绝对路径），会保存在当前文件的同目录下。文件名为读取多个商品页面1.xls，必须是.xls后缀
    write_work.save("./读取多个商品页面1.xls")