• Learn Influxdb the hard way(4)-Services in ...

    在前几篇文章中我们稍微涉及了一些关于Influxdb存储结构上的内容,一个Influxdb可以包含多个库,每个库的存储是根据retention policy来分目录的,而retention policy之下才是真正的Shard,因此在预创建Shard的时候,...
    文章 2018-05-05 1595浏览量
  • MongoDB sharding迁移那些事(二)

    如果迁移的集合在目标 shard 上没有任何 chunk,则需要先在目标 shard创建集合,并创建跟源 shard 上集合相同的索引 目标 shard 清理脏数据(如果有必要) 如果目标 shard 上已经存在该 chunk 范围内的数据,则...
    文章 2016-09-24 5971浏览量
  • 日志服务支持Shard自动分裂

    创建Logstore时,可以根据实际数据量来进行预先设置shard的个数,同时,日志服务提供shard的split和merge功能,在日志量超过现有shard处理能力的情况,用户可分裂shard提升Logstore的处理能力。但是,你有没有为...
    文章 2018-06-19 8339浏览量
  • CLI使用案例9:Shard不够?使用CLI一行命令搞定配置

    创建Shard时,最多配置10个Shard,但是预期Logstore会有更大数据量写入尤其是查询读取需求?手工在Web控制台进行分裂,因为无法把握均匀分布,且点击较多,比较低效?现在使用CLI一行命令即可配置Logstore到期望的...
    文章 2018-10-08 1714浏览量
  • PostgreSQL 流计算插件pipelinedb sharding 集群版...

    shard是逻辑概念,在创建cv时,需要指定这个CV需要开启多少个shard。注意,为了达到最高横向扩展效率,对于同一个CV,每个NODE只负责它一个SHARD。因此一个CV最多可以创建多少SHARD呢?(当然是不能超过NODE个数了)...
    文章 2018-04-18 3541浏览量
  • DataHub常见问题之限制篇

    每个Shard写入QPS限制(非Record/s,Batch写入同一Shard仅计算为1次) 2000 Throughput限制 每个Shard写入每秒吞吐限制 5MB/s Project限制 每个云账号能够创建的Project上限 50 Topic限制 每个Project内能创建的Topic...
    文章 2020-07-24 1257浏览量
  • 日志服务(原SLS)新功能发布(3)-多实例协同消费库...

    如果要顺序消费hash值为7的数据,必须保证在shard 0被消费完之前shard 4不应该被任何消费者消费,同理,shard 6不应该在shard 4中数据消费完之前被消费,我们把shard 0、4认为是shard 6的祖先,shard 6称为shard 0和...
    文章 2017-12-01 2113浏览量
  • 日志服务(原SLS)新功能发布(3)-多实例协同消费库...

    如果要顺序消费hash值为7的数据,必须保证在shard 0被消费完之前shard 4不应该被任何消费者消费,同理,shard 6不应该在shard 4中数据消费完之前被消费,我们把shard 0、4认为是shard 6的祖先,shard 6称为shard 0和...
    文章 2016-02-25 8271浏览量
  • 日志服务新功能发布(1)-支持保序写入和消费

    日志服务在上周新上线的版本,支持数据的保序写入和消费,shard的split和merge,server端consumer group的原生支持(除去对mysql的依赖),数据自动同步至oss等一些列新功能。本文主要介绍数据的保序写入和消费的...
    文章 2016-02-16 4100浏览量
  • 日志服务(Log service)6月控制台更新指南

    日志服务提供了Shard自动分裂功能,后台实时监控每个shard的流量,如果发现一个shard的写入在一段时间内,有连续出现超过shard处理能力的情况,会触发shard的自动分裂。用户可以在新建或者修改Logstore的时候对自动...
    文章 2018-07-02 1414浏览量
  • mongodb的限制

    group操作(可以使用aggregate替代)和不以shard key为前缀的唯一索引均无法在shading环境中使用,如果索引没有包含shard key当一个查询在mongos上运行时将无法使用该索引,mongodb不支持跨越shard节点的唯一索引除非...
    文章 2019-08-01 1282浏览量
  • 惊喜与局限并存,12c Sharding内测报告抢先看!

    mkdir fast_recovery_area-创建shard库的快速恢复区的位置 ssh shard2 su – oracle schagent-stop schagent-start schagent-status echo welcome|schagent-registerdatabase shard0 8080 cd/data/oracle mkdir ...
    文章 2017-05-16 1452浏览量
  • SDK使用指南

    Data使用指南 参数设置 shard数量设置 ​ Shard表示对一个Topic进行数据传输的并发通道,每个Shard启用以后会占用一定的...一个订阅创建后只需要初始化一次offset,多次初始化会生成新的session,无法提交点位 ​ ​
    文章 2020-12-11 110浏览量
  • MongoDB 3.4 副本集分片集群搭建

    eg:shard1的副本分别部署在app1、app4、app5上,在各服务器上分给shard1的端口均为27101。shard1 [admin@app1~]$/cli-mongodb/bin/mongo-port 27101 gt;use admin;gt;config={"_id":"shard1","members": {"_id":0,...
    文章 2017-10-16 2617浏览量
  • 循序渐进:Oracle 12.2的Sharding基础概念解读

    一个shard表的分区键叫做sharding key,例如,下面的语法是典型的用来创建sharding表的: CREATE SHARDED TABLE customers (cust_id NUMBER NOT NULL name VARCHAR2(50) address VARCHAR2(250) region VARCHAR2(20...
    文章 2017-07-18 1336浏览量
  • 突破Java面试(14)-分布式搜索引擎的架构

    接着就是这个 shard 的数据实际是有多个备份,即每个 shard 都有一个 primary shard负责写入数据,还有几个 replica shard.primary shard 写入数据后,会将数据同步到其他几个 replica shard 中. 通过 replica 方案,每...
    文章 2019-06-26 1903浏览量
  • 分片集群Mongos到Shard请求管理

    当 Mongos 需要向 Shard 发请求时,就会从连接池里获取一个新的网络连接,当没有空闲的网络连接时,则会创建新的网络连接,所以当客户端到 Mongos 并发请求很多时,Mongos 到 后端 Shard 的网络连接也会很多。...
    文章 2017-03-31 4213浏览量
  • 《银行的一天》演示日志处理保序、不丢、不重

    实现保序的方法很简单:排队,创建一个Shard,终端只有一个柜员A来处理。用户请求先进先出,一点问题都没有。但带来的问题是效率低下,假设有1000个用户来进行操作,即使有10个柜员也无济于事。这种场景怎么办?假设...
    文章 2016-08-24 10733浏览量
  • SLS数据处理实践:加工延迟篇

    观察加工延迟指标,可能会发现部分Shard的加工延迟高,部分低的情况:较为可能的原因是老的Shard历史上积攒数据较多,追上进度需要时间,而新的Shard上的数据可以立刻被处理,从Logstore属性查看Shard创建时间可以...
    文章 2020-02-26 1740浏览量
  • MongoDB Sharded cluster架构原理

    Sharded cluster在数据库创建时,为用户选择当前存储数据量最小的shard作为数据库的primary shard,用户也可调用movePrimary命令来改变primary shard以实现负载均衡,一旦primary shard发生改变,mongos会自动将数据...
    文章 2016-04-21 34925浏览量
  • MongoDB·特性分析·Sharded cluster架构原理

    Sharded cluster在数据库创建时,为用户选择当前存储数据量最小的shard作为数据库的primary shard,用户也可调用movePrimary命令来改变primary shard以实现负载均衡,一旦primary shard发生改变,mongos会自动将数据...
    文章 2016-05-19 1871浏览量
  • MongoDB·特性分析·Sharded cluster架构原理

    Sharded cluster在数据库创建时,为用户选择当前存储数据量最小的shard作为数据库的primary shard,用户也可调用movePrimary命令来改变primary shard以实现负载均衡,一旦primary shard发生改变,mongos会自动将数据...
    文章 2016-05-23 2490浏览量
  • 如何创建云数据库MongoDB版实例?

    本文将为大家介绍云数据库MongoDB实例的创建和开通流程。登录控制台https://mongodb.console.aliyun.com/replicate/cn-beijing/instances,点击进入MongoDB的管理控制台。点击右上角新建实例按钮,可以看到购买页面...
    文章 2019-10-10 868浏览量
  • mongodb 3.4 集群搭建:分片+副本集

    mongodb3.4以后要求配置服务器也创建副本集,不然集群搭建不成功。添加配置文件 vi/usr/local/mongodb/conf/config.conf 配置文件内容 pidfilepath=usr/local/mongodb/config/log/configsrv.pid dbpath=usr/local/...
    文章 2017-08-11 1702浏览量
  • 内核调优|如何提升Elasticsearch master调度性能40倍

    通过阅读对应的代码,发现所有触发reroute操作的请求,比如创建、删除、更新集群状态等,都会调用BalancedShardsAllocator来遍历集群的所有started shard,再计算shard所在节点被relocated shard的磁盘占用大小。...
    文章 2020-02-21 1548浏览量
  • 搭建mongodb3.4测试集群(没有副本)

    2、config server配置服务器mongodb3.4以后要求配置服务器也创建副本集,不然集群搭建不成功。添加配置文件vi/opt/mongodb3.4.1/mongodb/conf/config.conf 配置文件内容 pidfilepath=opt/mongodb3.4.1/mongodb/...
    文章 2017-09-14 1786浏览量
  • mongodb分布式集群搭建手记

    MONGOD-port 27003-shardsvr-replSet shard1-keyFile$KEYFILE-dbpath$WORK_DIR/nodes/shard1/n3/data-pidfilepath$WORK_DIR/nodes/shard1/n3/db.pid-logpath$WORK_DIR/nodes/shard1/n3/db.log-config$CONFFILE ...
    文章 2018-03-13 6962浏览量
  • 搭建 MongoDB分片(sharding)/分区/集群环境

    mongodb3.4以后要求配置服务器也创建副本集,不然集群搭建不成功。(三台机器)添加配置文件 vi/usr/local/mongodb/conf/config.conf 配置文件内容 pidfilepath=usr/local/mongodb/config/log/configsrv.pid dbpath=...
    文章 2018-02-02 2279浏览量
  • 日志服务运行日志使用指南

    2.判断Shard写入和消费是否均衡您可以通过对比Shard数据写入趋势和消费趋势判断Shard写入和消费是否均衡。当您的LogStore存在多个Shard时,可以通过仪表盘 operation_statistics中查看shard的写入数据趋势。如图6所...
    文章 2018-07-30 2961浏览量
  • MongoDB sharding chunk 分裂与迁移详解

    在使用 shardCollection 对集合进行分片时,如果使用 hash 分片,可以对集合进行「预分片」,直接创建出指定数量的 chunk,并打散分布到后端的各个 shard。指定 numInitialChunks 参数在 shardCollection 指定初始化...
    文章 2017-05-31 13383浏览量
1 2 3 4 ... 16 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化