Scrapy使用MailSender发送邮件

简介: Scrapy使用MailSender发送邮件

1、配置邮箱账号 163为例

settings.py

# 邮箱配置
MAIL_HOST = "smtp.163.com"
MAIL_FROM = "xxx@163.com"
MAIL_USER = "xxx@163.com"
MAIL_PASS = "xxx"   # 授权码
MAIL_PORT = 25

2、发送邮件的代码

# -*- coding: utf-8 -*-


import scrapy
from scrapy import cmdline
from scrapy.mail import MailSender


class SendEmailSpider(scrapy.Spider):
name = 'send_email'

start_urls = ['https://www.baidu.com/';]

def parse(self, response):
# 方式一:读取配置文件中的配置
# debug参数为True 不会发送邮件,仅仅打印日志
mailer = MailSender(
smtphost=self.settings["MAIL_HOST"],
mailfrom=self.settings["MAIL_FROM"],
smtpuser=self.settings["MAIL_USER"],
smtppass=self.settings["MAIL_PASS"],
smtpport=self.settings["MAIL_PORT"]
)

# 方式二:直接传入settings 对象
mailer = MailSender.from_settings(self.settings)

# 发送邮件
return mailer.send(
to=["xxx@qq.com"],
subject="这是邮件标题",
body="这是邮件内容"
)


if name == '__main__':
cmdline.execute("scrapy crawl send_email".split())

问题

1、问题一

以上代码如果不加return, 可以正常发送邮件

mailer.send(
to=["xxx@qq.com"],
subject="这是邮件标题",
body="这是邮件内容"
)

不过会报错

builtins.AttributeError: 'NoneType' object has no attribute 'bio_read'

2、问题二

如果按照文档的写法直接不传参数实例化MailSender

mailer = MailSender()

会报错

Unable to send mail: To=['xxx@qq.com'] Cc=[] Subject="这是邮件标题" Attachs=0- 
Connection was refused by other side: 61: Connection refused.

原因是MailSender的实例化参数是固定的默认值,并没有读取settings.py文件中设定的值,坑~~

构造函数源码如下

class MailSender(object):

def __init__(self, smtphost='localhost', mailfrom='scrapy@localhost',
smtpuser=None, smtppass=None, smtpport=25,
smtptls=False, smtpssl=False, debug=False):
self.smtphost = smtphost
self.smtpport = smtpport
self.smtpuser = _to_bytes_or_none(smtpuser)
self.smtppass = _to_bytes_or_none(smtppass)
self.smtptls = smtptls
self.smtpssl = smtpssl
self.mailfrom = mailfrom
self.debug = debug

如果采用此方式实例化MailSender 需要采用方式一手动读取配置

吐槽:搞不懂scrapy作者为啥要设置完全没有用的默认值, 也不报错,坑了一波人


3、问题三

如果按照文档的写法

mailer = MailSender.from_settings(settings)

直接就会报错,都没有定义

NameError: name 'settings' is not defined

我的第一感觉是把项目的settings.py 导入传进去

import settings

mailer = MailSender.from_settings(settings)

然后又报错了

TypeError: 'module' object is not subscriptable

查看文档参数说明才知道要传一个settings 对象

settings (scrapy.settings.Settings object)

所以需要按照方式二的形式,才能正确获取setting对象

吐槽:动态语言的函数定义并没有严格要求参数类型,没有把具体的参数类型写清楚,不看文档完全不知道传什么参数


参考

  1. https://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/email.html
            </div>
目录
相关文章
|
5天前
|
存储 关系型数据库 分布式数据库
PostgreSQL 18 发布,快来 PolarDB 尝鲜!
PostgreSQL 18 发布,PolarDB for PostgreSQL 全面兼容。新版本支持异步I/O、UUIDv7、虚拟生成列、逻辑复制增强及OAuth认证,显著提升性能与安全。PolarDB-PG 18 支持存算分离架构,融合海量弹性存储与极致计算性能,搭配丰富插件生态,为企业提供高效、稳定、灵活的云数据库解决方案,助力企业数字化转型如虎添翼!
|
16天前
|
弹性计算 关系型数据库 微服务
基于 Docker 与 Kubernetes(K3s)的微服务:阿里云生产环境扩容实践
在微服务架构中,如何实现“稳定扩容”与“成本可控”是企业面临的核心挑战。本文结合 Python FastAPI 微服务实战,详解如何基于阿里云基础设施,利用 Docker 封装服务、K3s 实现容器编排,构建生产级微服务架构。内容涵盖容器构建、集群部署、自动扩缩容、可观测性等关键环节,适配阿里云资源特性与服务生态,助力企业打造低成本、高可靠、易扩展的微服务解决方案。
1316 5
|
3天前
|
监控 JavaScript Java
基于大模型技术的反欺诈知识问答系统
随着互联网与金融科技发展,网络欺诈频发,构建高效反欺诈平台成为迫切需求。本文基于Java、Vue.js、Spring Boot与MySQL技术,设计实现集欺诈识别、宣传教育、用户互动于一体的反欺诈系统,提升公众防范意识,助力企业合规与用户权益保护。
|
15天前
|
机器学习/深度学习 人工智能 前端开发
通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论
通义研究团队开源发布通义 DeepResearch —— 首个在性能上可与 OpenAI DeepResearch 相媲美、并在多项权威基准测试中取得领先表现的全开源 Web Agent。
1369 87
|
3天前
|
JavaScript Java 大数据
基于JavaWeb的销售管理系统设计系统
本系统基于Java、MySQL、Spring Boot与Vue.js技术,构建高效、可扩展的销售管理平台,实现客户、订单、数据可视化等全流程自动化管理,提升企业运营效率与决策能力。
|
4天前
|
弹性计算 安全 数据安全/隐私保护
2025年阿里云域名备案流程(新手图文详细流程)
本文图文详解阿里云账号注册、服务器租赁、域名购买及备案全流程,涵盖企业实名认证、信息模板创建、域名备案提交与管局审核等关键步骤,助您快速完成网站上线前的准备工作。
202 82
2025年阿里云域名备案流程(新手图文详细流程)