MongoShake——基于MongoDB的跨数据中心的数据复制平台
MongoShake是基于MongoDB的通用型平台服务,作为数据连通的桥梁,打通各个闭环节点的通道。通过MongoShake的订阅消费,可以灵活对接以适应不同场景,例如日志订阅、数据中心同步、监控审计等。其中,集群数据同步作为核心应用场景,能够灵活实现灾备和多活的业务场景。
【转载】时隔一年多,我又用起了 Superset
去年 6 月份在流利说提离职后,leader 问我为什么要走。我说,流利说有很健全的数据处理基础设施,但这不是所有的公司都会有的条件,所以我想看看在一个基建不全的创业公司我是否也可以像现在一样做的好。
Mongodb集群搭建及spring和java连接配置记录
<p>一、基本环境:</p>
<p>mongdb3.0.5数据库</p>
<p>spring-data-mongodb-1.7.2.jar</p>
<p>mongo-java-driver-3.0.2.jar</p>
<p>linux-redhat6.3</p>
<p>tomcat7</p>
<p> </p>
<p> </p>
<p>二、搭建mongodb副本集:</p>
MongoDB最佳实践及性能优化(DTCC中国数据库技术大会分享PPT)
上周五在北京DTCC分享了「32 Tips to Boost MongoDB Performance」,本文是分享的PPT以及重要内容的注解。
注解:本次分享主要「自底向上」的介绍提升 MongoDB 服务性能需要注意的问题,从硬件、操作系统、服务端一直到应用端,前面3个层次的建议主要面向DBA及运维人员,而最上层的应用开发建议主要面向开发者。
MongoDB sharding 集合不分片性能更高?
最近云上用户用户遇到一个 sharding 集群性能问题的疑惑,比较有代表性,简单分享一下
测试配置
mongos x 2、shard x 3
测试1:集合不开启分片,批量 insert 导入数据,每个 batch 100 个文档
测试2:集合开启分片,随机生成 shardKey,chunk 已...
docker安装mongodb
学习更多编程技术,请关注 “吾要编程” 微信公众号
首先简单介绍一下docker:
Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。
如何在运行pyspark时加载本地jar包?
某内网项目需要测试spark和mongodb联调,因为不能连接外网,所以下载好了相应的jar包扔进去了。
官网给出的事例代码如下:
./bin/pyspark --conf "spark.mongodb.