记一次MongoDB 数据乱码处理问题

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: bson 转json的辛酸史

公司前端组正在进行前后端分离,需要有后台接口提供,公司也没有搭建可用的Mock服务器,正好自己有现成的Flask做的一个小Demo, 现在Docker 又用的还可以,所以,二话不说后台接口我来提供。借助自己的阿里云搭起了我的微服务架构之路。

Flask 走起

Flask 提供的API相当简单,完全服务微服务架构的设计理念,我们规划做的是一个图书列表的管理,涉及到图书列表,详情,新增,删除;

API 设计如下

@app.route('/books')
def books():
    return book_model.get_books()
@app.route('/books/<string:book_id>')
def book(book_id):
    ......
@app.route('/books/add', methods=['GET'])
def add():
    ......
@app.route('/books/<string:book_id>/delete')
    ......

错误

在处理从数据库里面拿到的数据传到前端的时候就变成unicode编码了,中文全部被转换了。

err

相应的数据处理代码如下

## book_model.py
from bson import json_util as jsonb
#......
def get_books():
    db = MongoDB().get_db('liberiry')
    result = {}
    db_result = db.books.find()
    if db_result:
        result['status']= True
        result['data'] = jsonb.dumps(list(db_result)) # 直接将bson解析为字符串,由controller在转换为json
        del db_result
        return result

## controller.py
import json
# ......
@app.route('/books')
def books():
    return Response(json.dumps(book_model.get_books()))

总体思路是,将从MongoDB获取到的 bson 格式的数据转换为字符串,然后由json 的 dumps 方法将其转换回json;可转换的结果是错的。

登录装有 MonogoDB的镜像,输入查询语句,返回的结果是正常的。

  ~ docker container ls
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS               NAMES
c17296ed0c05        flask:latest        "gunicorn -b :8080 a…"   4 days ago          Up 4 days           8080/tcp            liberiry_flask.1.vu70ur9cuaimefxl01979haqw
451d71a2dc8a        mongo:3.6           "docker-entrypoint.s…"   4 days ago          Up 4 days           27017/tcp           liberiry_mongo.1.prlfqd3nuuo3y985dznw8nmcs
  ~ docker exec -it 451 /bin/bash
root@451d71a2dc8a:/# mongo
MongoDB shell version v3.6.6
connecting to: mongodb://127.0.0.1:27017
MongoDB server version: 3.6.6
Welcome to the MongoDB shell.
For interactive help, type "help".
For more comprehensive documentation, see
    http://docs.mongodb.org/
Questions? Try the support group
    http://groups.google.com/group/mongodb-user
Server has startup warnings: 
2018-07-27T03:21:16.488+0000 I STORAGE  [initandlisten] 
2018-07-27T03:21:16.488+0000 I STORAGE  [initandlisten] ** WARNING: Using the XFS filesystem is strongly recommended with the WiredTiger storage engine
2018-07-27T03:21:16.488+0000 I STORAGE  [initandlisten] **          See http://dochub.mongodb.org/core/prodnotes-filesystem
2018-07-27T03:21:20.877+0000 I CONTROL  [initandlisten] 
2018-07-27T03:21:20.878+0000 I CONTROL  [initandlisten] ** WARNING: Access control is not enabled for the database.
2018-07-27T03:21:20.878+0000 I CONTROL  [initandlisten] **          Read and write access to data and configuration is unrestricted.
2018-07-27T03:21:20.878+0000 I CONTROL  [initandlisten] 
2018-07-27T03:21:20.878+0000 I CONTROL  [initandlisten] 
2018-07-27T03:21:20.878+0000 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.
2018-07-27T03:21:20.878+0000 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2018-07-27T03:21:20.878+0000 I CONTROL  [initandlisten] 
2018-07-27T03:21:20.878+0000 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'.
2018-07-27T03:21:20.878+0000 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2018-07-27T03:21:20.878+0000 I CONTROL  [initandlisten] 
> use liberiry
switched to db liberiry
> db.books.find().pretty()
{
    "_id" : ObjectId("5b59934719fe22fc8ecfad19"),
    "name" : "创业维艰",
    "content" : "test中国",
    "labels" : "book,bussiness",
    "author" : "本·霍洛维茨"
}
{
    "_id" : ObjectId("5b5993b843314814f50d263a"),
    "name" : "从0到1",
    "content" : "这些回答都不好。diyi和第二个陈述可能是对的,但有许多人已经表示赞同了。而第三个只简单套用了常见辩论中一方的观点。好的回答应该按照下面这种模式:“大多数人相信X,但事实却是X 的对立面。”我之后会在本章给出自己的回答。 那么,这个反主流的问题和未来有什么关系呢?从小处看,未来只是还没有到来的时刻的集合。但是真正使未来如此独特和重要的并非因为未来没有发生,而是未来的世界会与此刻不同。这样看来,如果我们的社会在之后100 年都没有发生变化,那未来就在100 多年之后。如果在之后10 年世界改天换地,那未来就触手可及。没有人能精准地预测未来,但我们知道两件事:世界必然会变得不同,但变化必须基于当今的世界。针对这个反主流问题的多数回答都是对现在的不同看法,而好的回答应该尽可能地使我们看到未来。",
    "labels" : "book,bussiness",
    "author" : "彼得·蒂尔,布莱克·马斯特斯(Blake Masters)"
}
{
    "_id" : ObjectId("5b5993e443314814f50d2642"),
    "name" : "联盟",
    "content" : "是时候重建雇主与员工的关系了。商业世界需要有利于相互信任、相互投资、共同受益的新雇佣关系框架。理想的雇佣关系框架应鼓励员工发展个人人脉、勇于开拓实干,而不是成为唯利是图的跳槽专业户。",
    "labels" : "book,bussiness",
    "author" : "里德·霍夫曼"
}
{
    "_id" : ObjectId("5b59947343314814f50d2650"),
    "name" : "人类简史",
    "content" : "在历史的路上,有三大重要革命:大约7万年前,“认知革命”(Cognitive Revolution)让历史正式启动。大约12000年前,“农业革命”(Agricultural Revolution)让历史加速发展。而到了大约不过是500年前,“科学革命”(Scientific Revolution)可以说是让历史画下句点而另创新局。这本书的内容,讲述的就是这三大革命如何改变了人类和其他生物。",
    "labels" : "book,bussiness",
    "author" : "尤瓦尔·赫拉利"
}
{
    "_id" : ObjectId("5b59954a43314814f50d2670"),
    "name" : "支付战争",
    "content" : "我的令人不安的入职经验,以及第一天上班的无序状态,说明康菲尼迪完全不是一家组织化的公司。作为一家年轻的公司,没有足够的资源投入到人力资源和IT部门,无法给新员工提供规划好的入职教育,这是情有可原的。尽管如此,这种明显的混乱状态还是有点让人不安。虽然我不愿有这种想法,但在第一天的中午,我发现自己还是禁不住地想,我对彼得的盲目信任,以及自己急功近利想快点挣钱的想法,是不是导致我犯下了一个可怕的错误。",
    "labels" : "book,bussiness",
    "author" : "埃里克·杰克逊"
}
{
    "_id" : ObjectId("5b59ac30cdc864001148ba19"),
    "name" : "asdfs",
    "content" : "asdfasdf",
    "lables" : "dfasdf,sadf",
    "author" : "test"
}
{
    "_id" : ObjectId("5b59ac38cdc864001148ba1b"),
    "name" : "asdsfs",
    "content" : "asdfasdf",
    "lables" : "dfasdf,sadf",
    "author" : "test"
}

在MongoDB中查询没有问题,所以问题应该出在了bson 转 json这块了;仔细一分析应该是出在了 Object 这块了,应为从数据库里出来的结果是下面这种结构

"_id" : ObjectId("5b59ac38cdc864001148ba1b"),

json 是无法转换 Object 的,百度谷歌一遍,大家的方法都是将查询到的就结果进行遍历处理, 如下:

results = collection.find({'age': 20})
print(results)
for result in results:
    print(result)
    # 处理 Object

显然对于拿到的结果再去做一次遍历岂不是又要耗时耗力,数据量大了性能肯定下降的厉害,所以这种处理方式不可取。

解决思路

将拿到的的数据转换为 bson 对象,然后通过json.loads()方法将其转换为json 能处理的字符串,然后在转换为json对象;由此,可以写一个通用处理方法,

## utils.py
from bson import json_util as jsonb
import json
def bson_to_json(documentList):
    return json.dumps(json.loads(jsonb.dumps(documentList)))

验证

## book_modal.py
from .mongo_connection import MongoDB
from .utils import bson_to_json
def get_books():
    db = MongoDB().get_db('liberiry')
    result = {}
    db_result = db.books.find() #'_id': False
    if db_result:
        result['status']= True
        result['data'] = db_result
        del db_result
        return bson_to_json(result)

前端调用

right

总结

数据之间的转换总是有联系的;比如这次的从 bson 到 json 的转换,首先要将查询到的结果list转换为 bson, 然后再通过bson中json_util的dumps转换为含有Object的解析数据的结果,再将其结果转换为字符串(json.loads(Obj)),通过json的dumps方法又可以将字符串解析为标准的 json 对象。

存在的即时合理的。

个人公众号

qrcode_for_gh_3c4efb2fa820_258

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
2月前
|
存储 NoSQL MongoDB
数据的存储--MongoDB文档存储(二)
数据的存储--MongoDB文档存储(二)
76 2
|
5月前
|
SQL NoSQL 数据管理
数据管理DMS使用问题之如何批量导入MongoDB的数据文件
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
6月前
|
SQL DataWorks NoSQL
DataWorks产品使用合集之如何将SQL Server中的数据转存到MongoDB
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
287 1
|
2月前
|
NoSQL MongoDB 数据库
使用NimoShake将数据从AWS DynamoDB迁移至阿里云MongoDB
使用NimoShake将数据从AWS DynamoDB迁移至阿里云MongoDB
|
2月前
|
存储 NoSQL 关系型数据库
数据的存储--MongoDB文档存储(一)
数据的存储--MongoDB文档存储(一)
106 3
|
4月前
|
NoSQL 安全 MongoDB
【MongoDB深度揭秘】你的更新操作真的安全了吗?MongoDB fsync机制大起底,数据持久化不再是谜!
【8月更文挑战第24天】MongoDB是一款备受欢迎的NoSQL数据库,以其灵活的文档模型和强大的查询能力著称。处理关键业务数据时,数据持久化至关重要。本文深入探讨MongoDB的写入机制,特别是更新操作时的fsync行为。MongoDB先将数据更新至内存以提升性能,而非直接写入磁盘。fsync的作用是确保数据从内存同步到磁盘,但MongoDB并非每次更新后都立即执行fsync。通过设置不同的写入关注级别(如w:0、w:1和w:majority),可以平衡数据持久性和性能。
54 1
|
4月前
|
监控 NoSQL MongoDB
mongodb查询100万数据如何查询快速
综上,提高MongoDB百万级数据的查询性能需要综合多项技术,并在实际应用中不断调优和实践。理解数据的特征,合理设计索引,优化查询语句,在数据访问、管理上遵循最佳的实践,这样才能有效地管理和查询大规模的数据集合。
256 1
|
4月前
|
NoSQL MongoDB 数据库
DTS 的惊天挑战:迁移海量 MongoDB 数据时,捍卫数据准确完整的生死之战!
【8月更文挑战第7天】在数字化时代,大数据量的MongoDB迁移至关重要。DTS(数据传输服务)通过全面的数据评估、可靠的传输机制(如事务保证一致性)、异常处理(如回滚或重试),以及迁移后的数据校验来确保数据准确无损。DTS还处理数据转换与映射,即使面对不同数据库结构也能保持数据完整性,为企业提供可靠的数据迁移解决方案。
71 2
|
4月前
|
存储 NoSQL 物联网
MongoDB:改变游戏规则的数据库,看它如何统治数据世界的每一个角落
【8月更文挑战第7天】MongoDB是一款高性能、开源的NoSQL数据库,采用文档数据模型,支持丰富查询语言及二级索引。其灵活的数据模型和扩展性使其在大数据应用、实时分析、物联网、内容管理系统及电子商务平台等多种现代场景中广泛应用。例如,在大数据应用中,它可以高效存储社交媒体的非结构化数据;在实时分析中,能快速处理新数据并即时更新结果;在物联网应用中,则适用于存储大量非结构化传感器数据;而在内容管理和电子商务平台中,能提供灵活的内容存储和高效的商品搜索功能。
77 2
|
4月前
|
存储 NoSQL 安全
MongoDB:它如何悄然改变了全球开发者的数据游戏规则?
【8月更文挑战第8天】MongoDB是一款革命性的文档数据库,在开发者数据平台领域享有盛誉。以其独特的文档数据模型著称,无需预定义复杂模式即可高效存储与处理数据。支持实时数据分析及多云全球化部署,并具备企业级安全特性。从快速开发到大数据分析,MongoDB为现代应用提供全方位支持。
71 1