OperationalError: (1366, "Incorrect string value)

简介: OperationalError: (1366, "Incorrect string value)

python2爬虫抓取数据的时候,保存到数据库报错:


OperationalError: (1366, "Incorrect string value)

发现字符中存在表情符号

使用re正则库将表情符号过滤掉即可, 去除字符串中emoji符号


# 过滤表情符号
    def filter(self, text):
        try:
            text = unicode(text, "utf-8")
        except TypeError as e:
            pass
        try:
            highpoints = re.compile(u'[\U00010000-\U0010ffff]')
        except re.error:
            highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')
        return highpoints.sub(u'', text)

参考:

python2 去除 字符串中emoji 符号,去除所有4字节utf8字符

相关文章
|
4月前
|
SQL 搜索推荐 关系型数据库
Mysql报Cause: java.sql.SQLException: Incorrect string value: ‘\xE5\xA4\x96‘...for column username
Mysql报Cause: java.sql.SQLException: Incorrect string value: ‘\xE5\xA4\x96‘...for column username
25 0
|
7月前
|
SQL 数据库
解决Incorrect string value: ‘\xE5\xBC\xA0\xE4\xB8\x89‘ for column ‘name‘ at row 1 SQL Statement的问题~
解决Incorrect string value: ‘\xE5\xBC\xA0\xE4\xB8\x89‘ for column ‘name‘ at row 1 SQL Statement的问题~
170 0
|
10月前
|
XML 关系型数据库 MySQL
Mysql插入emoji表情字符编码错误 Incorrect string value: ‘\xF0\x9F\x98\x84\xF0\x9F...‘ for column ‘comment‘ at r
今天在插入数据时发现emoji表情时数据库报错了,以前从来不会报错的,因为我设计表时从来都是如下设置:
137 0
|
11月前
|
SQL 关系型数据库 MySQL
【问题解决】MySQL5.5 向MySQL数据库中插入汉字时,提示:Incorrect string value: '\Xe7\x8E...' for column 'XXX' at row 1
【问题解决】MySQL5.5 向MySQL数据库中插入汉字时,提示:Incorrect string value: '\Xe7\x8E...' for column 'XXX' at row 1
100 0
|
12月前
|
缓存 JSON NoSQL
Map<Integer,Value>放入缓存后取出来变成了Map<String,Value>
Map<Integer,Value>放入缓存后取出来变成了Map<String,Value>
161 0
|
12月前
|
存储 关系型数据库 MySQL
Mysql插入emoji表情报错java.sql.SQLException: Incorrect string value: '\xF0\x9F\x90\xB8'
Mysql插入emoji表情报错java.sql.SQLException: Incorrect string value: '\xF0\x9F\x90\xB8'
243 0
|
关系型数据库 MySQL Python
pymysql.err.DataError: (1366, "Incorrect string value: '\\xC2\\xA0\\xE5\\x89\\xA7\\xE6...' for column 'types' at row 1")怎么解决?
这个错误通常是由于在尝试将一个包含非ASCII字符的字符串插入到MySQL表的一个字符列中,但该列没有设置正确的字符集导致的。 解决方法是要确保将表的字符集设置正确,以便它能够支持插入包含非ASCII字符的字符串。 可以尝试以下方法来解决这个问题:
636 0
|
关系型数据库 MySQL 数据库
pymysql.err.DataError: (1366, "Incorrect string value: '\\xC2\\xB7\\xE6\\x83\\x85' for column 'filmname' at row 1") 是什么原因?
这个错误是由于在向MySQL数据库的'filmname'列插入数据时,数据包含了不能被该列接受的字符或编码。该错误指出了该列中无效的字符或编码的位置。
505 0
|
数据库
第六周 课后实践案例 出现 Incorrect string value: '\xC0\xD6\xC6\xF7' for column 'tName' at row 1
第六周 课后实践案例 出现 Incorrect string value: '\xC0\xD6\xC6\xF7' for column 'tName' at row 1
第六周 课后实践案例 出现 Incorrect string value: '\xC0\xD6\xC6\xF7' for column 'tName' at row 1
|
编解码 关系型数据库 MySQL
python2.7传数据到数据库OperationalError: (1366, "Incorrect string value")
python2.7传数据到数据库OperationalError: (1366, "Incorrect string value")