开发者社区> 问答> 正文

同样的代码保存成CSV时正常但写入Mysql数据库时错误

用scrpay写爬虫用大众点评练手,同样的代码-o保存成CSV时一切正常,但同时写入Mysql数据库时很多数据重复且不齐全。
screenshot
csv文件一切正常。
screenshot
Mysql里面的数据库一塌糊涂。
同一段代码,完全没有头绪,请高手帮忙。

class MySQLStorePipeline(object):
    """docstring for MySQLstor"""
    def __init__(self):
 
        self.dbpool = adbapi.ConnectionPool('MySQLdb',
            host = 'localhost',
            db = 'dianping',
            user = 'root',
            passwd = 'root',
            cursorclass = MySQLdb.cursors.DictCursor,
            charset = 'utf8',
            use_unicode = True
        )
    def process_item(self, item, spider):
        #print spider
        # run db query in thread pool
        query = self.dbpool.runInteraction(self._conditional_insert, item)
        query.addErrback(self.handle_error)

        return item

    def _conditional_insert(self, tx, item):
        if item.get('user_id'):
         
            tx.execute(\
                "insert into testtable_gz (city, store_name, store_id, book, group_buy, branch, average_spend, style, store_area, store_addr, store_url, comment_url, store_phone, user_id, star, taste, environment, service, comment, comment_date, user_url)\
                values (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)",
 
                (item['city'],
                 item['store_name'],
                 item['store_id'],
                 item['book'],
                 item['group_buy'],
                 item['branch'],
                 item['average_spend'],
                 item['style'],
                 item['store_area'],
                 item['store_addr'],
                 item['store_url'],
                 item['comment_url'],
                 item['store_phone'],
                 item['user_id'], 
                 item['star'], 
                 item['taste'],
                 item['environment'],
                 item['service'],
                 item['comment'],
                 item['comment_date'],
                 item['user_url']
                ))
 
    def handle_error(self, e):
        log.err(e)

展开
收起
蛮大人123 2016-02-12 17:11:52 2589 0
1 条回答
写回答
取消 提交回答
  • 我说我不帅他们就打我,还说我虚伪

    笨方法,pipeline里面不连接MySQL,而是自己生成sql插入语句保存到文件。最后爬完后直接就复制语句去执行。上次遇到你这个问题我就是这么干的

    2019-07-17 18:41:33
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像