• 关于

    mongodb 修复数据库

    的搜索结果

回答

详细解答可以参考官方帮助文档使用数据传输DTS可以将本地的MongoDB实例的数据迁移至RDS For MongoDB。Mongodb迁移支持增量数据同步功能,可以实现在本地应用不停服的情况下,平滑完成MongoDB数据库的迁移工作。 本小节简单介绍使用DTS进行MongoDB->RDS For MongoDB数据迁移的任务配置流程。 迁移类型简介对于MongoDB->云数据库 MongoDB数据迁移,DTS支持全量数据迁移及增量数据迁移,这个迁移类型的功能及限制如下。 全量数据迁移 数据传输DTS将源数据库迁移对象的存量数据全部迁移到目标实例。 增量数据迁移 增量数据迁移将迁移过程中,本地MongoDB实例的增量更新数据同步到云数据库MongoDB,最终本地MongoDB同云数据库MongoDB进入动态数据同步的过程。使用增量数据迁移,可以实现在本地MongoDB正常提供服务的时候,平滑完成MongoDB->RDS For MongoDB的数据迁移。 迁移功能 MongoDB版本支持支持MongoDB 3.0,3.2 两个版本 MongoDB全量数据迁移支持 支持database 迁移支持collection 迁移支持index 迁移 MongoDB增量数据迁移支持 支持document 新增、删除、更新 操作的同步支持collection新建、删除 操作的同步支持database 新建、删除 操作的同步支持index 新建、删除 操作的同步 迁移权限要求当使用DTS进行MongoDB-> 云数据库MongoDB迁移时,不同迁移类型,对源跟目标MongoDB实例的迁移帐号权限要求如下: 迁移类型 全量数据迁移 增量数据迁移 本地MongoDB read 待迁移库的readadmin的read权限local的read权限 目的MongoDB实例 readWrite readWrite 迁移任务配置下面详细介绍使用DTS将本地的MongoDB迁移到云数据库MongoDB的任务配置流程。 迁移帐号创建迁移任务配置,需要提供本地自建MongoDB实例及目标MongoDB云数据库的迁移账号,迁移账号所需权限详见上面的 迁移权限要求 一节。 如果您的本地MongoDB或MongoDB云数据库的迁移账号尚未创建,那么可以参考如下流程创建迁移账号: db.createUser({user:"username",pwd:"password",roles:[{role:"rolename1",db:"database_name1"},{role:"rolename2",db:"database_name2"}]}) 参数说明: username: 要创建的账号password: 上面账号对应的密码rolename1/rolename2:待授权给username的角色名,例如上面的read, readWritedatabase_name1/database_name2: 只将database_name1/database_name2上的角色role1/role2授权给username 关于MongoDB的角色授权也可以参考 MongoDB Create User说明 迁移任务配置当上面的所有前置条件都配置完成后,就可以开始正式的数据迁移了。下面详细介绍迁移任务配置流程。 进入数据传输DTS控制台,点击右上角的创建迁移任务,开始迁移任务配置。本地MongoDB跟目标MongoDB实例的连接信息配置。 这个步骤主要配置 迁移任务名称,本地MongoDB连接信息及目标MongoDB云数据库连接信息。其中: 任务名称 DTS为每个任务自动生成一个任务名称,任务名称没有唯一性要求。您可以根据需要修改任务名称,建议为任务配置具有业务意义的名称,便于后续的任务识别。 源实例信息 实例类型:选择 有公网IP的自建数据库数据库类型: 选择 MongoDB主机名或IP地址: 配置MongoDB访问地址,这个地址必须为公网访问方式端口:本地MongoDB实例的监听端口数据库名称:连接MongoDB实例的默认数据库名数据库账号:本地MongoDB实例的连接账号数据库密码:本地MongoDB实例连接账号对应的密码 目标实例信息 实例类型:选择 MongoDB实例MongoDB实例ID: 配置迁移的目标MongoDB实例的实例ID。 DTS支持经典网络的MongoDB实例。如果您的MongoDB实例为VPC网络的实例,那么需要切换到经典网络模式后,再使用DTS进行迁移数据库名称:连接MongoDB的默认数据库名数据库账号:连接MongoDB实例的连接账号数据库密码:上面数据库账号对应的密码 当配置完连接信息后,点击右下角 授权白名单并进入下一步 进行白名单授权。这个步骤DTS会将DTS服务器的IP地址添加到目标MongoDB云数据库的白名单中,避免因为MongoDB实例设置了白名单,DTS服务器连接不上MongoDB实例导致迁移失败。 选择迁移对象及迁移类型。 迁移类型 对于MongoDB,支持 全量数据迁移、增量数据迁移。 如果只需要进行全量迁移,那么迁移类型选择:全量数据迁移。 如果需要进行不停机迁移,那么迁移类型选择:全量数据迁移+增量数据迁移。 迁移对象 这个步骤需要选择要迁移的对象。迁移对象选择的粒度可以为:库、collection/function 两个粒度。默认情况下,对象迁移到MongoDB实例后,对象名跟本地MongoDB实例一致。如果您迁移的对象在源实例跟目标实例上名称不同,那么需要使用DTS提供的对象名映射功能,详细使用方式可以参考库表列映射。 预检查。 在迁移任务正式启动之前,会先进行前置预检查,只有预检查通过后,才能成功启动迁移。预检查的内容及修复方式可以参考本文末尾的 预检查简介 一节。 如果预检查失败,那么可以点击具体检查项后的按钮,查看具体的失败详情,并根据失败原因修复后,重新进行预检查。 启动迁移任务。 当预检查通过后,可以启动迁移任务,任务启动成功后,可以在任务列表中查看迁移的具体状态及迁移进度。 至此,完成本地MongoDB数据库到MongoDB实例的数据迁移任务配置。 预检查DTS在启动迁移之前,会进行前置预检查,本小节简单介绍MongoDB->RDS For MongoDB的预检查内容: 检查项 检查内容 备注 源库连接性检查 检查DTS服务器跟本地MongoDB实例的连通性 (1) 填写信息是否有误?如果填写信息有误,请修改后重新预检查(2) 检查端口是否配置从其他服务器连接访问 目标库连接性检查 检查DTS服务器跟目标MongoDB实例的连通性 检查填写信息是否有误,如果有误请先修改后重新预检查 源库版本检查 检查本地MongoDB的版本,DTS是否支持 请先升级版本到3.2后,重新预检查 源库权限检查 检查本地MongoDB提供的迁移账号的权限是否满足需求 如果检查失败,请参照 迁移账号创建 一节授权后,重新预检查 目的库权限检查 检查目的MongoDB数据库提供的迁移账号的权限是否满足需求 如果检查失败,请参照 迁移账号创建 一节授权后,重新预检查 增量拓扑冲突检查 检查MongoDB实例上是否有其他增量迁移任务正在运行 如果检查失败,那么需要结束或删除其他的增量迁移任务后,重新预检查
2019-12-01 23:09:43 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档使用数据传输DTS可以将本地的MongoDB实例的数据迁移至RDS For MongoDB。Mongodb迁移支持增量数据同步功能,可以实现在本地应用不停服的情况下,平滑完成MongoDB数据库的迁移工作。 本小节简单介绍使用DTS进行MongoDB->RDS For MongoDB数据迁移的任务配置流程。 迁移类型简介对于MongoDB->云数据库 MongoDB数据迁移,DTS支持全量数据迁移及增量数据迁移,这个迁移类型的功能及限制如下。 全量数据迁移 数据传输DTS将源数据库迁移对象的存量数据全部迁移到目标实例。 增量数据迁移 增量数据迁移将迁移过程中,本地MongoDB实例的增量更新数据同步到云数据库MongoDB,最终本地MongoDB同云数据库MongoDB进入动态数据同步的过程。使用增量数据迁移,可以实现在本地MongoDB正常提供服务的时候,平滑完成MongoDB->RDS For MongoDB的数据迁移。 迁移功能 MongoDB版本支持支持MongoDB 3.0,3.2 两个版本 MongoDB全量数据迁移支持 支持database 迁移支持collection 迁移支持index 迁移 MongoDB增量数据迁移支持 支持document 新增、删除、更新 操作的同步支持collection新建、删除 操作的同步支持database 新建、删除 操作的同步支持index 新建、删除 操作的同步 迁移权限要求当使用DTS进行MongoDB-> 云数据库MongoDB迁移时,不同迁移类型,对源跟目标MongoDB实例的迁移帐号权限要求如下: 迁移类型 全量数据迁移 增量数据迁移 本地MongoDB read 待迁移库的readadmin的read权限local的read权限 目的MongoDB实例 readWrite readWrite 迁移任务配置下面详细介绍使用DTS将本地的MongoDB迁移到云数据库MongoDB的任务配置流程。 迁移帐号创建迁移任务配置,需要提供本地自建MongoDB实例及目标MongoDB云数据库的迁移账号,迁移账号所需权限详见上面的 迁移权限要求 一节。 如果您的本地MongoDB或MongoDB云数据库的迁移账号尚未创建,那么可以参考如下流程创建迁移账号: db.createUser({user:"username",pwd:"password",roles:[{role:"rolename1",db:"database_name1"},{role:"rolename2",db:"database_name2"}]}) 参数说明: username: 要创建的账号password: 上面账号对应的密码rolename1/rolename2:待授权给username的角色名,例如上面的read, readWritedatabase_name1/database_name2: 只将database_name1/database_name2上的角色role1/role2授权给username 关于MongoDB的角色授权也可以参考 MongoDB Create User说明 迁移任务配置当上面的所有前置条件都配置完成后,就可以开始正式的数据迁移了。下面详细介绍迁移任务配置流程。 进入数据传输DTS控制台,点击右上角的创建迁移任务,开始迁移任务配置。本地MongoDB跟目标MongoDB实例的连接信息配置。 这个步骤主要配置 迁移任务名称,本地MongoDB连接信息及目标MongoDB云数据库连接信息。其中: 任务名称 DTS为每个任务自动生成一个任务名称,任务名称没有唯一性要求。您可以根据需要修改任务名称,建议为任务配置具有业务意义的名称,便于后续的任务识别。 源实例信息 实例类型:选择 有公网IP的自建数据库数据库类型: 选择 MongoDB主机名或IP地址: 配置MongoDB访问地址,这个地址必须为公网访问方式端口:本地MongoDB实例的监听端口数据库名称:连接MongoDB实例的默认数据库名数据库账号:本地MongoDB实例的连接账号数据库密码:本地MongoDB实例连接账号对应的密码 目标实例信息 实例类型:选择 MongoDB实例MongoDB实例ID: 配置迁移的目标MongoDB实例的实例ID。 DTS支持经典网络的MongoDB实例。如果您的MongoDB实例为VPC网络的实例,那么需要切换到经典网络模式后,再使用DTS进行迁移数据库名称:连接MongoDB的默认数据库名数据库账号:连接MongoDB实例的连接账号数据库密码:上面数据库账号对应的密码 当配置完连接信息后,点击右下角 授权白名单并进入下一步 进行白名单授权。这个步骤DTS会将DTS服务器的IP地址添加到目标MongoDB云数据库的白名单中,避免因为MongoDB实例设置了白名单,DTS服务器连接不上MongoDB实例导致迁移失败。 选择迁移对象及迁移类型。 迁移类型 对于MongoDB,支持 全量数据迁移、增量数据迁移。 如果只需要进行全量迁移,那么迁移类型选择:全量数据迁移。 如果需要进行不停机迁移,那么迁移类型选择:全量数据迁移+增量数据迁移。 迁移对象 这个步骤需要选择要迁移的对象。迁移对象选择的粒度可以为:库、collection/function 两个粒度。默认情况下,对象迁移到MongoDB实例后,对象名跟本地MongoDB实例一致。如果您迁移的对象在源实例跟目标实例上名称不同,那么需要使用DTS提供的对象名映射功能,详细使用方式可以参考库表列映射。 预检查。 在迁移任务正式启动之前,会先进行前置预检查,只有预检查通过后,才能成功启动迁移。预检查的内容及修复方式可以参考本文末尾的 预检查简介 一节。 如果预检查失败,那么可以点击具体检查项后的按钮,查看具体的失败详情,并根据失败原因修复后,重新进行预检查。 启动迁移任务。 当预检查通过后,可以启动迁移任务,任务启动成功后,可以在任务列表中查看迁移的具体状态及迁移进度。 至此,完成本地MongoDB数据库到MongoDB实例的数据迁移任务配置。 预检查DTS在启动迁移之前,会进行前置预检查,本小节简单介绍MongoDB->RDS For MongoDB的预检查内容: 检查项 检查内容 备注 源库连接性检查 检查DTS服务器跟本地MongoDB实例的连通性 (1) 填写信息是否有误?如果填写信息有误,请修改后重新预检查(2) 检查端口是否配置从其他服务器连接访问 目标库连接性检查 检查DTS服务器跟目标MongoDB实例的连通性 检查填写信息是否有误,如果有误请先修改后重新预检查 源库版本检查 检查本地MongoDB的版本,DTS是否支持 请先升级版本到3.2后,重新预检查 源库权限检查 检查本地MongoDB提供的迁移账号的权限是否满足需求 如果检查失败,请参照 迁移账号创建 一节授权后,重新预检查 目的库权限检查 检查目的MongoDB数据库提供的迁移账号的权限是否满足需求 如果检查失败,请参照 迁移账号创建 一节授权后,重新预检查 增量拓扑冲突检查 检查MongoDB实例上是否有其他增量迁移任务正在运行 如果检查失败,那么需要结束或删除其他的增量迁移任务后,重新预检查
2019-12-01 23:09:44 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档使用数据传输DTS可以将本地的MongoDB实例的数据迁移至RDS For MongoDB。Mongodb迁移支持增量数据同步功能,可以实现在本地应用不停服的情况下,平滑完成MongoDB数据库的迁移工作。 本小节简单介绍使用DTS进行MongoDB->RDS For MongoDB数据迁移的任务配置流程。 迁移类型简介对于MongoDB->云数据库 MongoDB数据迁移,DTS支持全量数据迁移及增量数据迁移,这个迁移类型的功能及限制如下。 全量数据迁移 数据传输DTS将源数据库迁移对象的存量数据全部迁移到目标实例。 增量数据迁移 增量数据迁移将迁移过程中,本地MongoDB实例的增量更新数据同步到云数据库MongoDB,最终本地MongoDB同云数据库MongoDB进入动态数据同步的过程。使用增量数据迁移,可以实现在本地MongoDB正常提供服务的时候,平滑完成MongoDB->RDS For MongoDB的数据迁移。 迁移功能 MongoDB版本支持支持MongoDB 3.0,3.2 两个版本 MongoDB全量数据迁移支持 支持database 迁移支持collection 迁移支持index 迁移 MongoDB增量数据迁移支持 支持document 新增、删除、更新 操作的同步支持collection新建、删除 操作的同步支持database 新建、删除 操作的同步支持index 新建、删除 操作的同步 迁移权限要求当使用DTS进行MongoDB-> 云数据库MongoDB迁移时,不同迁移类型,对源跟目标MongoDB实例的迁移帐号权限要求如下: 迁移类型 全量数据迁移 增量数据迁移 本地MongoDB read 待迁移库的readadmin的read权限local的read权限 目的MongoDB实例 readWrite readWrite 迁移任务配置下面详细介绍使用DTS将本地的MongoDB迁移到云数据库MongoDB的任务配置流程。 迁移帐号创建迁移任务配置,需要提供本地自建MongoDB实例及目标MongoDB云数据库的迁移账号,迁移账号所需权限详见上面的 迁移权限要求 一节。 如果您的本地MongoDB或MongoDB云数据库的迁移账号尚未创建,那么可以参考如下流程创建迁移账号: db.createUser({user:"username",pwd:"password",roles:[{role:"rolename1",db:"database_name1"},{role:"rolename2",db:"database_name2"}]}) 参数说明: username: 要创建的账号password: 上面账号对应的密码rolename1/rolename2:待授权给username的角色名,例如上面的read, readWritedatabase_name1/database_name2: 只将database_name1/database_name2上的角色role1/role2授权给username 关于MongoDB的角色授权也可以参考 MongoDB Create User说明 迁移任务配置当上面的所有前置条件都配置完成后,就可以开始正式的数据迁移了。下面详细介绍迁移任务配置流程。 进入数据传输DTS控制台,点击右上角的创建迁移任务,开始迁移任务配置。本地MongoDB跟目标MongoDB实例的连接信息配置。 这个步骤主要配置 迁移任务名称,本地MongoDB连接信息及目标MongoDB云数据库连接信息。其中: 任务名称 DTS为每个任务自动生成一个任务名称,任务名称没有唯一性要求。您可以根据需要修改任务名称,建议为任务配置具有业务意义的名称,便于后续的任务识别。 源实例信息 实例类型:选择 有公网IP的自建数据库数据库类型: 选择 MongoDB主机名或IP地址: 配置MongoDB访问地址,这个地址必须为公网访问方式端口:本地MongoDB实例的监听端口数据库名称:连接MongoDB实例的默认数据库名数据库账号:本地MongoDB实例的连接账号数据库密码:本地MongoDB实例连接账号对应的密码 目标实例信息 实例类型:选择 MongoDB实例MongoDB实例ID: 配置迁移的目标MongoDB实例的实例ID。 DTS支持经典网络的MongoDB实例。如果您的MongoDB实例为VPC网络的实例,那么需要切换到经典网络模式后,再使用DTS进行迁移数据库名称:连接MongoDB的默认数据库名数据库账号:连接MongoDB实例的连接账号数据库密码:上面数据库账号对应的密码 当配置完连接信息后,点击右下角 授权白名单并进入下一步 进行白名单授权。这个步骤DTS会将DTS服务器的IP地址添加到目标MongoDB云数据库的白名单中,避免因为MongoDB实例设置了白名单,DTS服务器连接不上MongoDB实例导致迁移失败。 选择迁移对象及迁移类型。 迁移类型 对于MongoDB,支持 全量数据迁移、增量数据迁移。 如果只需要进行全量迁移,那么迁移类型选择:全量数据迁移。 如果需要进行不停机迁移,那么迁移类型选择:全量数据迁移+增量数据迁移。 迁移对象 这个步骤需要选择要迁移的对象。迁移对象选择的粒度可以为:库、collection/function 两个粒度。默认情况下,对象迁移到MongoDB实例后,对象名跟本地MongoDB实例一致。如果您迁移的对象在源实例跟目标实例上名称不同,那么需要使用DTS提供的对象名映射功能,详细使用方式可以参考库表列映射。 预检查。 在迁移任务正式启动之前,会先进行前置预检查,只有预检查通过后,才能成功启动迁移。预检查的内容及修复方式可以参考本文末尾的 预检查简介 一节。 如果预检查失败,那么可以点击具体检查项后的按钮,查看具体的失败详情,并根据失败原因修复后,重新进行预检查。 启动迁移任务。 当预检查通过后,可以启动迁移任务,任务启动成功后,可以在任务列表中查看迁移的具体状态及迁移进度。 至此,完成本地MongoDB数据库到MongoDB实例的数据迁移任务配置。 预检查DTS在启动迁移之前,会进行前置预检查,本小节简单介绍MongoDB->RDS For MongoDB的预检查内容: 检查项 检查内容 备注 源库连接性检查 检查DTS服务器跟本地MongoDB实例的连通性 (1) 填写信息是否有误?如果填写信息有误,请修改后重新预检查(2) 检查端口是否配置从其他服务器连接访问 目标库连接性检查 检查DTS服务器跟目标MongoDB实例的连通性 检查填写信息是否有误,如果有误请先修改后重新预检查 源库版本检查 检查本地MongoDB的版本,DTS是否支持 请先升级版本到3.2后,重新预检查 源库权限检查 检查本地MongoDB提供的迁移账号的权限是否满足需求 如果检查失败,请参照 迁移账号创建 一节授权后,重新预检查 目的库权限检查 检查目的MongoDB数据库提供的迁移账号的权限是否满足需求 如果检查失败,请参照 迁移账号创建 一节授权后,重新预检查 增量拓扑冲突检查 检查MongoDB实例上是否有其他增量迁移任务正在运行 如果检查失败,那么需要结束或删除其他的增量迁移任务后,重新预检查
2019-12-01 23:09:43 0 浏览量 回答数 0

万券齐发助力企业上云,爆款产品低至2.2折起!

限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

回答

详细解答可以参考官方帮助文档使用数据传输DTS可以将本地的MongoDB实例的数据迁移至RDS For MongoDB。Mongodb迁移支持增量数据同步功能,可以实现在本地应用不停服的情况下,平滑完成MongoDB数据库的迁移工作。 本小节简单介绍使用DTS进行MongoDB->RDS For MongoDB数据迁移的任务配置流程。 迁移类型简介对于MongoDB->云数据库 MongoDB数据迁移,DTS支持全量数据迁移及增量数据迁移,这个迁移类型的功能及限制如下。 全量数据迁移 数据传输DTS将源数据库迁移对象的存量数据全部迁移到目标实例。 增量数据迁移 增量数据迁移将迁移过程中,本地MongoDB实例的增量更新数据同步到云数据库MongoDB,最终本地MongoDB同云数据库MongoDB进入动态数据同步的过程。使用增量数据迁移,可以实现在本地MongoDB正常提供服务的时候,平滑完成MongoDB->RDS For MongoDB的数据迁移。 迁移功能 MongoDB版本支持支持MongoDB 3.0,3.2 两个版本 MongoDB全量数据迁移支持 支持database 迁移支持collection 迁移支持index 迁移 MongoDB增量数据迁移支持 支持document 新增、删除、更新 操作的同步支持collection新建、删除 操作的同步支持database 新建、删除 操作的同步支持index 新建、删除 操作的同步 迁移权限要求当使用DTS进行MongoDB-> 云数据库MongoDB迁移时,不同迁移类型,对源跟目标MongoDB实例的迁移帐号权限要求如下: 迁移类型 全量数据迁移 增量数据迁移 本地MongoDB read 待迁移库的readadmin的read权限local的read权限 目的MongoDB实例 readWrite readWrite 迁移任务配置下面详细介绍使用DTS将本地的MongoDB迁移到云数据库MongoDB的任务配置流程。 迁移帐号创建迁移任务配置,需要提供本地自建MongoDB实例及目标MongoDB云数据库的迁移账号,迁移账号所需权限详见上面的 迁移权限要求 一节。 如果您的本地MongoDB或MongoDB云数据库的迁移账号尚未创建,那么可以参考如下流程创建迁移账号: db.createUser({user:"username",pwd:"password",roles:[{role:"rolename1",db:"database_name1"},{role:"rolename2",db:"database_name2"}]}) 参数说明: username: 要创建的账号password: 上面账号对应的密码rolename1/rolename2:待授权给username的角色名,例如上面的read, readWritedatabase_name1/database_name2: 只将database_name1/database_name2上的角色role1/role2授权给username 关于MongoDB的角色授权也可以参考 MongoDB Create User说明 迁移任务配置当上面的所有前置条件都配置完成后,就可以开始正式的数据迁移了。下面详细介绍迁移任务配置流程。 进入数据传输DTS控制台,点击右上角的创建迁移任务,开始迁移任务配置。本地MongoDB跟目标MongoDB实例的连接信息配置。 这个步骤主要配置 迁移任务名称,本地MongoDB连接信息及目标MongoDB云数据库连接信息。其中: 任务名称 DTS为每个任务自动生成一个任务名称,任务名称没有唯一性要求。您可以根据需要修改任务名称,建议为任务配置具有业务意义的名称,便于后续的任务识别。 源实例信息 实例类型:选择 有公网IP的自建数据库数据库类型: 选择 MongoDB主机名或IP地址: 配置MongoDB访问地址,这个地址必须为公网访问方式端口:本地MongoDB实例的监听端口数据库名称:连接MongoDB实例的默认数据库名数据库账号:本地MongoDB实例的连接账号数据库密码:本地MongoDB实例连接账号对应的密码 目标实例信息 实例类型:选择 MongoDB实例MongoDB实例ID: 配置迁移的目标MongoDB实例的实例ID。 DTS支持经典网络的MongoDB实例。如果您的MongoDB实例为VPC网络的实例,那么需要切换到经典网络模式后,再使用DTS进行迁移数据库名称:连接MongoDB的默认数据库名数据库账号:连接MongoDB实例的连接账号数据库密码:上面数据库账号对应的密码 当配置完连接信息后,点击右下角 授权白名单并进入下一步 进行白名单授权。这个步骤DTS会将DTS服务器的IP地址添加到目标MongoDB云数据库的白名单中,避免因为MongoDB实例设置了白名单,DTS服务器连接不上MongoDB实例导致迁移失败。 选择迁移对象及迁移类型。 迁移类型 对于MongoDB,支持 全量数据迁移、增量数据迁移。 如果只需要进行全量迁移,那么迁移类型选择:全量数据迁移。 如果需要进行不停机迁移,那么迁移类型选择:全量数据迁移+增量数据迁移。 迁移对象 这个步骤需要选择要迁移的对象。迁移对象选择的粒度可以为:库、collection/function 两个粒度。默认情况下,对象迁移到MongoDB实例后,对象名跟本地MongoDB实例一致。如果您迁移的对象在源实例跟目标实例上名称不同,那么需要使用DTS提供的对象名映射功能,详细使用方式可以参考库表列映射。 预检查。 在迁移任务正式启动之前,会先进行前置预检查,只有预检查通过后,才能成功启动迁移。预检查的内容及修复方式可以参考本文末尾的 预检查简介 一节。 如果预检查失败,那么可以点击具体检查项后的按钮,查看具体的失败详情,并根据失败原因修复后,重新进行预检查。 启动迁移任务。 当预检查通过后,可以启动迁移任务,任务启动成功后,可以在任务列表中查看迁移的具体状态及迁移进度。 至此,完成本地MongoDB数据库到MongoDB实例的数据迁移任务配置。 预检查DTS在启动迁移之前,会进行前置预检查,本小节简单介绍MongoDB->RDS For MongoDB的预检查内容: 检查项 检查内容 备注 源库连接性检查 检查DTS服务器跟本地MongoDB实例的连通性 (1) 填写信息是否有误?如果填写信息有误,请修改后重新预检查(2) 检查端口是否配置从其他服务器连接访问 目标库连接性检查 检查DTS服务器跟目标MongoDB实例的连通性 检查填写信息是否有误,如果有误请先修改后重新预检查 源库版本检查 检查本地MongoDB的版本,DTS是否支持 请先升级版本到3.2后,重新预检查 源库权限检查 检查本地MongoDB提供的迁移账号的权限是否满足需求 如果检查失败,请参照 迁移账号创建 一节授权后,重新预检查 目的库权限检查 检查目的MongoDB数据库提供的迁移账号的权限是否满足需求 如果检查失败,请参照 迁移账号创建 一节授权后,重新预检查 增量拓扑冲突检查 检查MongoDB实例上是否有其他增量迁移任务正在运行 如果检查失败,那么需要结束或删除其他的增量迁移任务后,重新预检查
2019-12-01 23:09:44 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档使用数据传输DTS可以将本地的MongoDB实例的数据迁移至RDS For MongoDB。Mongodb迁移支持增量数据同步功能,可以实现在本地应用不停服的情况下,平滑完成MongoDB数据库的迁移工作。 本小节简单介绍使用DTS进行MongoDB->RDS For MongoDB数据迁移的任务配置流程。 迁移类型简介对于MongoDB->云数据库 MongoDB数据迁移,DTS支持全量数据迁移及增量数据迁移,这个迁移类型的功能及限制如下。 全量数据迁移 数据传输DTS将源数据库迁移对象的存量数据全部迁移到目标实例。 增量数据迁移 增量数据迁移将迁移过程中,本地MongoDB实例的增量更新数据同步到云数据库MongoDB,最终本地MongoDB同云数据库MongoDB进入动态数据同步的过程。使用增量数据迁移,可以实现在本地MongoDB正常提供服务的时候,平滑完成MongoDB->RDS For MongoDB的数据迁移。 迁移功能 MongoDB版本支持支持MongoDB 3.0,3.2 两个版本 MongoDB全量数据迁移支持 支持database 迁移支持collection 迁移支持index 迁移 MongoDB增量数据迁移支持 支持document 新增、删除、更新 操作的同步支持collection新建、删除 操作的同步支持database 新建、删除 操作的同步支持index 新建、删除 操作的同步 迁移权限要求当使用DTS进行MongoDB-> 云数据库MongoDB迁移时,不同迁移类型,对源跟目标MongoDB实例的迁移帐号权限要求如下: 迁移类型 全量数据迁移 增量数据迁移 本地MongoDB read 待迁移库的readadmin的read权限local的read权限 目的MongoDB实例 readWrite readWrite 迁移任务配置下面详细介绍使用DTS将本地的MongoDB迁移到云数据库MongoDB的任务配置流程。 迁移帐号创建迁移任务配置,需要提供本地自建MongoDB实例及目标MongoDB云数据库的迁移账号,迁移账号所需权限详见上面的 迁移权限要求 一节。 如果您的本地MongoDB或MongoDB云数据库的迁移账号尚未创建,那么可以参考如下流程创建迁移账号: db.createUser({user:"username",pwd:"password",roles:[{role:"rolename1",db:"database_name1"},{role:"rolename2",db:"database_name2"}]}) 参数说明: username: 要创建的账号password: 上面账号对应的密码rolename1/rolename2:待授权给username的角色名,例如上面的read, readWritedatabase_name1/database_name2: 只将database_name1/database_name2上的角色role1/role2授权给username 关于MongoDB的角色授权也可以参考 MongoDB Create User说明 迁移任务配置当上面的所有前置条件都配置完成后,就可以开始正式的数据迁移了。下面详细介绍迁移任务配置流程。 进入数据传输DTS控制台,点击右上角的创建迁移任务,开始迁移任务配置。本地MongoDB跟目标MongoDB实例的连接信息配置。 这个步骤主要配置 迁移任务名称,本地MongoDB连接信息及目标MongoDB云数据库连接信息。其中: 任务名称 DTS为每个任务自动生成一个任务名称,任务名称没有唯一性要求。您可以根据需要修改任务名称,建议为任务配置具有业务意义的名称,便于后续的任务识别。 源实例信息 实例类型:选择 有公网IP的自建数据库数据库类型: 选择 MongoDB主机名或IP地址: 配置MongoDB访问地址,这个地址必须为公网访问方式端口:本地MongoDB实例的监听端口数据库名称:连接MongoDB实例的默认数据库名数据库账号:本地MongoDB实例的连接账号数据库密码:本地MongoDB实例连接账号对应的密码 目标实例信息 实例类型:选择 MongoDB实例MongoDB实例ID: 配置迁移的目标MongoDB实例的实例ID。 DTS支持经典网络的MongoDB实例。如果您的MongoDB实例为VPC网络的实例,那么需要切换到经典网络模式后,再使用DTS进行迁移数据库名称:连接MongoDB的默认数据库名数据库账号:连接MongoDB实例的连接账号数据库密码:上面数据库账号对应的密码 当配置完连接信息后,点击右下角 授权白名单并进入下一步 进行白名单授权。这个步骤DTS会将DTS服务器的IP地址添加到目标MongoDB云数据库的白名单中,避免因为MongoDB实例设置了白名单,DTS服务器连接不上MongoDB实例导致迁移失败。 选择迁移对象及迁移类型。 迁移类型 对于MongoDB,支持 全量数据迁移、增量数据迁移。 如果只需要进行全量迁移,那么迁移类型选择:全量数据迁移。 如果需要进行不停机迁移,那么迁移类型选择:全量数据迁移+增量数据迁移。 迁移对象 这个步骤需要选择要迁移的对象。迁移对象选择的粒度可以为:库、collection/function 两个粒度。默认情况下,对象迁移到MongoDB实例后,对象名跟本地MongoDB实例一致。如果您迁移的对象在源实例跟目标实例上名称不同,那么需要使用DTS提供的对象名映射功能,详细使用方式可以参考库表列映射。 预检查。 在迁移任务正式启动之前,会先进行前置预检查,只有预检查通过后,才能成功启动迁移。预检查的内容及修复方式可以参考本文末尾的 预检查简介 一节。 如果预检查失败,那么可以点击具体检查项后的按钮,查看具体的失败详情,并根据失败原因修复后,重新进行预检查。 启动迁移任务。 当预检查通过后,可以启动迁移任务,任务启动成功后,可以在任务列表中查看迁移的具体状态及迁移进度。 至此,完成本地MongoDB数据库到MongoDB实例的数据迁移任务配置。 预检查DTS在启动迁移之前,会进行前置预检查,本小节简单介绍MongoDB->RDS For MongoDB的预检查内容: 检查项 检查内容 备注 源库连接性检查 检查DTS服务器跟本地MongoDB实例的连通性 (1) 填写信息是否有误?如果填写信息有误,请修改后重新预检查(2) 检查端口是否配置从其他服务器连接访问 目标库连接性检查 检查DTS服务器跟目标MongoDB实例的连通性 检查填写信息是否有误,如果有误请先修改后重新预检查 源库版本检查 检查本地MongoDB的版本,DTS是否支持 请先升级版本到3.2后,重新预检查 源库权限检查 检查本地MongoDB提供的迁移账号的权限是否满足需求 如果检查失败,请参照 迁移账号创建 一节授权后,重新预检查 目的库权限检查 检查目的MongoDB数据库提供的迁移账号的权限是否满足需求 如果检查失败,请参照 迁移账号创建 一节授权后,重新预检查 增量拓扑冲突检查 检查MongoDB实例上是否有其他增量迁移任务正在运行 如果检查失败,那么需要结束或删除其他的增量迁移任务后,重新预检查
2019-12-01 23:09:44 0 浏览量 回答数 0

回答

1.启停止MongoDB 执行mongod,启MongoDB服务器mongod选项命令执行 mongod --help 主要选项: --dbpath 指定数据目录默认值C:\data\db每mongod进程都需要独立数据目录要3mongod 实例必须3独立数据目录mongod启数据库目录创建mongod.lock文件 文件用于防止其mongod纯净使用该数据目录 --port 指定服务器监听端口号默认端口27017.要运行mongod进程则要给每指定同端口号 --logpath 指定志输路径文件夹读写权限系统文件存创建已文件覆盖掉 清除所原志记录想要保留原志需使用--logappend选项 --config 指定配置文件加载命令行未指定各种选项 2.配置文件启 MongoDB支持文件获取配置信息.需要配置非或者要自化MongoDB启用. 指定配置文件用-f或--config选项. : mongod --config refactorConfig.txt refactorConfig.txt内容: #start MongoDB port = 10000 dbpath = "f:\mongo\db" logpath = "f:\mongo\log\MongoDB.txt" rest = true 配置文件命令行功能 mongod --dbpath "f:\mongo\db" --logpath "f:\mongo\log\MongoDB.txt" --rest --port 10000 配置文件特点: a.#行注释 b.指定选项语种"选项=值"形式.选项区写. c.命令行--rest关选项,值要设true 3.停止MongoDB 使用shutdown命令{"shutdown":1},命令要admin数据库使用.shell提供辅助函数: use admin db.shutdownServer() 4. 监控 使用管理接口,默认情况,启mongod启基本http服务器,该服务默认端口28017.浏览器输入 localhost:28017.些链接需要mongod启,用--rest选项启rest支持 才能进.启rest支持, mongod启使用--nohttpinterface关闭管理接口. 5.serverStatus 要获取运行MongoDB服务器统计信息,基本工具serverStatus命令 db.runCommand({"serverStatus":1}) serverStatus返键解释: "globalLock"值表示全局写入锁占用服务器少间(单位微秒) "mem"包含服务器内存映射少数据,服务器进程虚拟内存驻内存占用情况(单位MB) "indexCounters"表示B树磁盘检索("misses")内存检索("hits")数.比值始升,要考虑加内存. "backgroundFlushing"表示台做少fsync及用少间 "opcounters"文档包含每种主要操作数 "asserts"统计断言数 6.mongostat serverStatus虽强,服务器监控说容易.MongoDB提供mongostat mongostat输些serverStatus提供重要信息,每秒输新行,比前看静态数据实性要. 输列,别 inserts/s commands/s vsize %locked,与serverStatus数据相应. 使用第三插件进行数据库监控. 7.安全认证 认证基础知识 每MongoDB实例数据库都用户,启安全性检查,数据库认证用户才能执行读或写操作. 认证文,MongoDB普通数据作admin数据库处理.admin数据库用户称超级用户(管理员). 认证,管理员读写所数据库,执行特定管理命令,listDatabasesshutdown. 启安全检查前,至少要管理员帐号,shell连接没启安全检查服务器 面添加管理员refactor_root,test数据库添加两普通账号,其读权限.shell创建读用户要 addUser第三参数设true.调用addUser必须响应数据库写权限.所数据库调用addUser, 没启安全检查. 重启数据库,重启加入 --auth 命令行选项,启安全检查 第连接,能test数据库执行任何操作,作读用户认证,能查找,能插入数据.能读写用户认证,能查找插入 数据,能使用show dbs 列举所数据库.超级用户认证,所欲. 8.认证工作原理 数据库用户帐号文档形式存储system.users集合.文档结构 { "_id" : ObjectId("5006a037dff37e149322fd83"), "user" : "refactor_read_write", "readOnly" : false, "pwd" : "5a84584ac51d3f702461fce4c46b0d6b"//根据用户名密码散列 } 知道用户信息何存储及存储位置,进行管理工作. 删除帐户: > db.system.users.remove({"user":"refactor_read"}) > db.auth("refactor_read","refactor") 0 用户认证,服务器认证连接绑定跟踪认证,说驱程序或工具使用连接池或故障切换 另节点,所认证用户必须每新连接重新认证. MongoDB传输协议加密,需加密,用ssh隧道或者类似技术做客户端服务器间加密. 建议MongoDB服务器放防火墙或放应用服务器能访问网络.MongoDB必须能外面访问, 建议使用--bindip选项,指定mongod绑定本ip址.:能本机应用服务器访问,使用 mongod --bindip localhost 默认情况MongoDB启简单http服务器,便于查看运行,锁,复制等面信息,要想公些信息,用 --nohttpinterface关闭管理接口. 用--noscripting完全禁止服务端javascript执行 9.备份修复 MongoDB所数据都存放 数据目录 ,默认目录C:\data\db\.启MongoDB候用--dbpath指定数据目录. 论数据目录哪,都存放着MongoDB所数据.要想备份MongoDB,要简单复制数据目录所文件即. 除非服务器做完整fsync,允许写入,否则运行MongoDB创建数据目录副本并安全,备份能已经 破损,需要修复. 运行MongoDB创建数据目录副本并安全,所先服务器关,再复制数据目录.关闭数据库要停止业务. 10.mongodumpmongorestore mongodump种能运行备份.mongodump运行MongoDB做查询,所查文档写入磁盘. mongodump般客户端,所供运行MongoDB使用,即便处理其请求或执行写入没问题. mongodump使用普通查询机制,所产备份定服务器数据实快照.服务器备份程处理写入,非明显. mongodump备份查询其客户端性能产影响. mongodump --help 获帮助 mongorestore备份恢复数据工具. mongorestore获取mongodump 输结,并备份数据插入运行MongoDB实例. :数据库test备份backup目录 mongodump -d test -o backup 使用mongorestore 恢复testNew 数据库 mongorestore -d testNew --drop backup/test/ -d指定要恢复数据库.--drop指恢复前删除集合(若存),否则数据与现集合数据合并,能覆盖些文档. 使用mongorestore --help获帮助信息 11.fsync锁 虽使用mongodumpmongorestore能停机备份,却失获取实数据视图能力.MongoDBfsync命令 能MongoDB运行复制数据目录损坏数据. fsync命令强制服务器所缓冲区写入磁盘.选择锁住址数据库进步写入,知道释放锁止.写入锁让 fsync备份发挥作用关键. shell,强制执行fsync并获写入锁: db.runCommand({"fsync":1,"lock":1}) ,数据目录数据致,且数据实快照.锁,安全数据目录副本作备份.要数据库运行 快照功能文件系统,比LVM,EBS,用,拍数据库目录快照快. 备份,解锁: db.$cmd.sys.unlock.findOne() db.currentOp() 运行db.currentOp()确保已经解锁(初请求解锁花点间) fsync命令,能非灵备份,用停掉服务器,用牺牲备份实性能.要付代价些写入操作 暂阻塞.唯耽误读写能保证实快照备份式通服务器备份. 12.属备份 虽面备份式灵,都没服务器备份.复制式运行MongoDB,前面提备份技术仅能用 主服务器,用服务器.服务器数据几乎与主服务器同步.太乎属服务器性能或者能能读写, 于能随意选择面3种备份式:关停,转存或恢复工具或fsync命令.服务器备份MongoDB推荐备份式. 13.修复 MongoDB存储式能保证磁盘数据能用,能损毁.MongoDB内置修复功能试着恢复损坏数据文件. 未停止MongoDB应该修复数据库.修复数据库式简单 mongod --repair 启服务器. 修复数据库实际程简单:所文档导马导入,忽略效文档.完,重建索引.数据量,花间, 所数据都要验证,所索引都要重建(MongoDB 1.8 版本引入志系统,使修复间打打缩短). 修复能比修复前少些文档,损坏文档删除. 修复数据库能起压缩数据作用.闲置控件(删除体积较集合,或删除量文档腾空间)修复重新利用. 修复运行服务器数据库,要shell用repairDatabases. use test db.repairDatabase() 答案来源网络,供参考,希望对您有帮助 2.
问问小秘 2019-12-02 03:05:11 0 浏览量 回答数 0

回答

1.启停止MongoDB 执行mongod,启MongoDB服务器mongod选项命令执行 mongod --help 主要选项: --dbpath 指定数据目录默认值C:\data\db每mongod进程都需要独立数据目录要3mongod 实例必须3独立数据目录mongod启数据库目录创建mongod.lock文件 文件用于防止其mongod纯净使用该数据目录 --port 指定服务器监听端口号默认端口27017.要运行mongod进程则要给每指定同端口号 --logpath 指定志输路径文件夹读写权限系统文件存创建已文件覆盖掉 清除所原志记录想要保留原志需使用--logappend选项 --config 指定配置文件加载命令行未指定各种选项 2.配置文件启 MongoDB支持文件获取配置信息.需要配置非或者要自化MongoDB启用. 指定配置文件用-f或--config选项. : mongod --config refactorConfig.txt refactorConfig.txt内容: #start MongoDB port = 10000 dbpath = "f:\mongo\db" logpath = "f:\mongo\log\MongoDB.txt" rest = true 配置文件命令行功能 mongod --dbpath "f:\mongo\db" --logpath "f:\mongo\log\MongoDB.txt" --rest --port 10000 配置文件特点: a.#行注释 b.指定选项语种"选项=值"形式.选项区写. c.命令行--rest关选项,值要设true 3.停止MongoDB 使用shutdown命令{"shutdown":1},命令要admin数据库使用.shell提供辅助函数: use admin db.shutdownServer() 4. 监控 使用管理接口,默认情况,启mongod启基本http服务器,该服务默认端口28017.浏览器输入 localhost:28017.些链接需要mongod启,用--rest选项启rest支持 才能进.启rest支持, mongod启使用--nohttpinterface关闭管理接口. 5.serverStatus 要获取运行MongoDB服务器统计信息,基本工具serverStatus命令 db.runCommand({"serverStatus":1}) serverStatus返键解释: "globalLock"值表示全局写入锁占用服务器少间(单位微秒) "mem"包含服务器内存映射少数据,服务器进程虚拟内存驻内存占用情况(单位MB) "indexCounters"表示B树磁盘检索("misses")内存检索("hits")数.比值始升,要考虑加内存. "backgroundFlushing"表示台做少fsync及用少间 "opcounters"文档包含每种主要操作数 "asserts"统计断言数 6.mongostat serverStatus虽强,服务器监控说容易.MongoDB提供mongostat mongostat输些serverStatus提供重要信息,每秒输新行,比前看静态数据实性要. 输列,别 inserts/s commands/s vsize %locked,与serverStatus数据相应. 使用第三插件进行数据库监控. 7.安全认证 认证基础知识 每MongoDB实例数据库都用户,启安全性检查,数据库认证用户才能执行读或写操作. 认证文,MongoDB普通数据作admin数据库处理.admin数据库用户称超级用户(管理员). 认证,管理员读写所数据库,执行特定管理命令,listDatabasesshutdown. 启安全检查前,至少要管理员帐号,shell连接没启安全检查服务器 面添加管理员refactor_root,test数据库添加两普通账号,其读权限.shell创建读用户要 addUser第三参数设true.调用addUser必须响应数据库写权限.所数据库调用addUser, 没启安全检查. 重启数据库,重启加入 --auth 命令行选项,启安全检查 第连接,能test数据库执行任何操作,作读用户认证,能查找,能插入数据.能读写用户认证,能查找插入 数据,能使用show dbs 列举所数据库.超级用户认证,所欲. 8.认证工作原理 数据库用户帐号文档形式存储system.users集合.文档结构 { "_id" : ObjectId("5006a037dff37e149322fd83"), "user" : "refactor_read_write", "readOnly" : false, "pwd" : "5a84584ac51d3f702461fce4c46b0d6b"//根据用户名密码散列 } 知道用户信息何存储及存储位置,进行管理工作. 删除帐户: > db.system.users.remove({"user":"refactor_read"}) > db.auth("refactor_read","refactor") 0 用户认证,服务器认证连接绑定跟踪认证,说驱程序或工具使用连接池或故障切换 另节点,所认证用户必须每新连接重新认证. MongoDB传输协议加密,需加密,用ssh隧道或者类似技术做客户端服务器间加密. 建议MongoDB服务器放防火墙或放应用服务器能访问网络.MongoDB必须能外面访问, 建议使用--bindip选项,指定mongod绑定本ip址.:能本机应用服务器访问,使用 mongod --bindip localhost 默认情况MongoDB启简单http服务器,便于查看运行,锁,复制等面信息,要想公些信息,用 --nohttpinterface关闭管理接口. 用--noscripting完全禁止服务端javascript执行 9.备份修复 MongoDB所数据都存放 数据目录 ,默认目录C:\data\db\.启MongoDB候用--dbpath指定数据目录. 论数据目录哪,都存放着MongoDB所数据.要想备份MongoDB,要简单复制数据目录所文件即. 除非服务器做完整fsync,允许写入,否则运行MongoDB创建数据目录副本并安全,备份能已经 破损,需要修复. 运行MongoDB创建数据目录副本并安全,所先服务器关,再复制数据目录.关闭数据库要停止业务. 10.mongodumpmongorestore mongodump种能运行备份.mongodump运行MongoDB做查询,所查文档写入磁盘. mongodump般客户端,所供运行MongoDB使用,即便处理其请求或执行写入没问题. mongodump使用普通查询机制,所产备份定服务器数据实快照.服务器备份程处理写入,非明显. mongodump备份查询其客户端性能产影响. mongodump --help 获帮助 mongorestore备份恢复数据工具. mongorestore获取mongodump 输结,并备份数据插入运行MongoDB实例. :数据库test备份backup目录 mongodump -d test -o backup 使用mongorestore 恢复testNew 数据库 mongorestore -d testNew --drop backup/test/ -d指定要恢复数据库.--drop指恢复前删除集合(若存),否则数据与现集合数据合并,能覆盖些文档. 使用mongorestore --help获帮助信息 11.fsync锁 虽使用mongodumpmongorestore能停机备份,却失获取实数据视图能力.MongoDBfsync命令 能MongoDB运行复制数据目录损坏数据. fsync命令强制服务器所缓冲区写入磁盘.选择锁住址数据库进步写入,知道释放锁止.写入锁让 fsync备份发挥作用关键. shell,强制执行fsync并获写入锁: db.runCommand({"fsync":1,"lock":1}) ,数据目录数据致,且数据实快照.锁,安全数据目录副本作备份.要数据库运行 快照功能文件系统,比LVM,EBS,用,拍数据库目录快照快. 备份,解锁: db.$cmd.sys.unlock.findOne() db.currentOp() 运行db.currentOp()确保已经解锁(初请求解锁花点间) fsync命令,能非灵备份,用停掉服务器,用牺牲备份实性能.要付代价些写入操作 暂阻塞.唯耽误读写能保证实快照备份式通服务器备份. 12.属备份 虽面备份式灵,都没服务器备份.复制式运行MongoDB,前面提备份技术仅能用 主服务器,用服务器.服务器数据几乎与主服务器同步.太乎属服务器性能或者能能读写, 于能随意选择面3种备份式:关停,转存或恢复工具或fsync命令.服务器备份MongoDB推荐备份式. 13.修复 MongoDB存储式能保证磁盘数据能用,能损毁.MongoDB内置修复功能试着恢复损坏数据文件. 未停止MongoDB应该修复数据库.修复数据库式简单 mongod --repair 启服务器. 修复数据库实际程简单:所文档导马导入,忽略效文档.完,重建索引.数据量,花间, 所数据都要验证,所索引都要重建(MongoDB 1.8 版本引入志系统,使修复间打打缩短). 修复能比修复前少些文档,损坏文档删除. 修复数据库能起压缩数据作用.闲置控件(删除体积较集合,或删除量文档腾空间)修复重新利用. 修复运行服务器数据库,要shell用repairDatabases. use test db.repairDatabase() “答案来源于网络,供您参考” 希望以上信息可以帮到您! 2.
牧明 2019-12-02 02:17:29 0 浏览量 回答数 0

问题

【漏洞公告】CVE-2017-15535:MongoDB内存破坏漏洞

2017年10月30日,Mongodb数据库爆出内存破坏漏洞 ,CVE编号CVE-2017-15535,攻击者可以利用此问题导致拒绝服务条件或修改内存。由于这个问题的性质,代码执行可能...
正禾 2019-12-01 21:47:30 15102 浏览量 回答数 0

回答

MongoDB无法启动的解决方法 遇到MongoDB突然无法启动,第一反应是删除mongod.lock。这个文件在MongoDB的数据库目录下,默认是/data/db。这是最常见的问题了,产生原因是MongoDB没有正常结束(比如被kill -9杀掉或是其他意外情况导致中断)。 还一些其他情况会导致MongoDB无法启动。本文讨论的无法启动,是指:使用/etc/init.d/mongodb start或是sudo service mongdb start,提示mongodb start/running,但查看status仍然是stop/waiting。 service SERVERNAME status有可能误报,先确认MongoDB的实际状态。主要是ps axu|grep mongod查看是否有相关进程,打开links或是直接用浏览器访问127.0.0.1:28017,看不到MongoDB的信息说明没有启动。 然后执行: $ sudo mongod –repair –config /etc/mongodb.conf $ sudo mongod –config /etc/mongodb.conf 第一条命令是修复操作,第二条命令是手动指定MongoDB的配置文件,在终端中直接运行,这样输出错误时比较直观,不用去翻日志。如果能顺利运行mongod,说明配置文件和数据库都没有问题,是/usr/bin/mongodb权限不够,请参考本文结尾setcap方法。 如果不能运行,可以看到报错信息,分三种情况:配置文件错误,数据目录设置错误,/usr/bin/mongod文件错误。 配置文件错误比较明显,参数错误会明确提示error command line: unknown option xxx。第二条命令中明确指定使用的配置文件,也容易排错。所以除了之前配MongoDB主从修改配置文件弄坏过一次,很少遇到配置文件的问题。 其次是数据目录,主要是权限问题,可能的报错是: Thu 22 11 10:03:30 [initandlisten] warning couldn’t write to / rename file /srv/mongodb/journal/prealloc.0 Thu 22 11 10:03:30 [initandlisten] couldn’t open /srv/mongodb/duoshuo.ns errno:1 Operation not permitted Thu 22 11 10:03:30 [initandlisten] error couldn’t open file /srv/mongodb/duoshuo.ns terminating 数据目录的owner应该是mongodb:mongodb。 $ sudo chown mongodb:mongodb mongodb 最后一种情况是/usr/bin/mongod的问题。它的报错和目录没有读写权限一样,但即使你把MongoDB的数据库目录设置成777,一样会有问题。因为mongod是以O_NOATIME标志来访问文件系统的,mongodb没有这个权限,用setcap设置: setcap cap_fowner+ep /usr/bin/mongod 如果这样都不行…备份数据库然后apt-get purge 卸载重装吧。
游客2q7uranxketok 2021-02-24 18:07:13 0 浏览量 回答数 0

回答

避免方法 第一种 使用正确的关闭方法使用 kill -15,killall mongod或者在client的shell里,use admin,执行db.shutdownServer()即可!第二种通过replication 使用 一个slave,或者用replica set 来避免单结点数据丢失。第三种 1.7以后出现类似于binlog的功能在 MongoDB 1.7 版本的最新分支上,就出现了一个新的数据可靠性选项(–dur)的支持。并且在数据文件修复工具上也有了一些改进。如果在启动MongoDB时加上–dur 则MongoDB 会在进行写操作前记一份日志,这和在其他一些数据库中的binlog 类似,在MongoDB 数据文件损坏的情况下,可以使用此日志来进行恢复。据说其对性能的影响不大。
落地花开啦 2019-12-02 01:42:30 0 浏览量 回答数 0

问题

MongoDB数据库未授权访问漏洞及加固

近日安全团队经检测发现部分阿里云用户存在MongoDB数据库未授权访问漏洞,漏洞危害严重,可以导致数据库数据泄露或被删除勒索,从而造成严重的生产事故。为保证您的业务和应用的安全,提供以...
正禾 2019-12-01 21:46:56 4012 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档适用场景使用数据传输DTS可以实现ECS自建数据库到RDS/MongoDB/Redis/DRDS/PetaData/OceanBase实例的数据迁移。对于支持增量迁移的存储引擎,还可以使用DTS在ECS自建数据库不停服的情况下,将数据迁移到目标实例。 本小节简单介绍使用DTS进行ECS自建数据库迁移到RDS/MongoDB/Redis/DRDS/PetaData/OceanBase等实例的数据迁移任务的配置流程。 环境准备 创建RDS实例数据库 如果目标实例为RDS实例,如果待迁移的数据库在目标RDS实例中不存在,那么DTS自动会创建。但是对于如下两种情况,用户需要在配置迁移任务之前,手动创建数据库。 数据库名称不符合:RDS定义规范(由小写字母、数字、下划线、中划线组成,字母开头,字母或数字结尾,最长64个字符)。待迁移数据库,在ECS自建数据库跟目标RDS实例中存储名称不同。 对于这两种情况,用户需要在配置迁移任务之前,先在RDS控制台完成数据库创建。具体参考RDS数据库创建流程。 创建迁移帐号 迁移任务配置时,需要提供ECS自建数据库及目的实例的迁移账号。 自建数据库的存储引擎不同,账号创建及权限授权的方式不同,具体授权方式可以参考各存储引擎的官方文档。 目的实例的迁移账号可以参考各个云产品的使用手册,进行账号创建。例如,RDS实例的迁移账号的创建流程可以参考 RDS账号创建说明。 操作步骤 以目标实例所属阿里云账号登录DTS数据传输控制台,单击右上角的创建迁移任务,开始任务配置。 设置实例连接信息。 这个步骤主要配置迁移任务名称、源ECS连接信息及目标实例连接信息。其中: 任务名称 DTS为每个任务自动生成一个任务名称,任务名称没有唯一性要求。您可以根据需要修改任务名称,建议为任务配置具有业务意义的名称,便于后续的任务识别。 源实例信息 实例类型:选择 ECS上的自建数据库ECS实例ID: 配置迁移的源ECS实例的实例ID。DTS支持经典网络、VPC网络的ECS实例。如果ECS实例跟目标实例在不同地域,那么ECS上面必须挂载公网EIP。数据库类型:选择ECS上自建数据库的数据库类型,例如Oracle/MySQL/SQLServer/PostgreSQL/Redis/MongoDB等。数据库名称: 如果自建数据库为PostgreSQL/MongoDB, 那么需要配置数据库名称。这个数据库名称为连接ECS自建数据库时使用的默认数据库。数据库账号:连接自建数据库的账号。数据库密码:上面数据账号对应的密码。 目标实例信息 实例类型: 选择要迁入的实例对应的实例类型,包括RDS/MongoDB/Redis/DRDS/PetaData/OceanBase等。实例ID: 配置迁移的目标实例的实例ID。数据库名称:如果数据库类型为PostgreSQL/PPAS/MongoDB, 那么需要配置数据库名称。这个数据库名称为连接实例时使用的默认数据库。数据库账号:连接实例的账号。数据库密码:上面数据账号对应的密码。 下图以ECS上自建MongoDB到MongoDB实例的数据迁移为例,展示配置内容。 迁移类型及迁移对象选择 迁移类型 对于不同的数据库类型,DTS 支持的迁移类型不同。 如果只需要进行全量迁移,那么迁移类型选择:结构迁移+全量数据迁移。 对于支持增量迁移的数据库类型,如果需要进行不停机迁移,迁移类型选择:结构迁移+全量数据迁移+增量数据迁移。 迁移对象 这个步骤选择要迁移的对象。迁移对象的选择粒度细化为:库、表、列三个粒度。默认情况下,对象迁移到目标实例后,对象名跟源实例一致。如果您迁移的对象在源实例跟目标实例上名称不同,那么需要使用DTS提供的对象名映射功能,详细使用方式可以参考库表列映射。 预检查。 在迁移任务正式启动之前,会先进行前置预检查,只有预检查通过后,才能成功启动迁移。 如果预检查失败,那么可以点击具体检查项后的按钮,查看具体的失败详情,并根据失败原因修复后,重新进行预检查。 启动迁移任务。 当预检查通过后,可以启动迁移任务,任务启动成功后,可以在任务列表中查看迁移的具体状态及迁移进度。 如果选择了增量迁移,那么进入增量迁移阶段后,源库的更新写入都会被DTS同步到目标实例。迁移任务不会自动结束。如果用户只是为了迁移,那么建议在增量迁移无延迟的状态时,源库停写几分钟,等待增量迁移再次进入无延迟状态后,停止掉迁移任务,直接将业务切换到目标实例上即可。 至此,完成ECS自建数据库到目标实例的数据迁移任务的配置。 说明:配置迁移任务时如果选择了增量迁移,那么增量迁移过程中,若用户不结束迁移,任务会一直处于迁移中。建议在业务验证通过且增量迁移无延迟的状态时,源库停写几分钟,等待增量迁移再次进入无延迟状态后,停止掉迁移任务,将业务切换到目标实例上即可。
2019-12-01 23:09:45 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档适用场景使用数据传输DTS可以实现ECS自建数据库到RDS/MongoDB/Redis/DRDS/PetaData/OceanBase实例的数据迁移。对于支持增量迁移的存储引擎,还可以使用DTS在ECS自建数据库不停服的情况下,将数据迁移到目标实例。 本小节简单介绍使用DTS进行ECS自建数据库迁移到RDS/MongoDB/Redis/DRDS/PetaData/OceanBase等实例的数据迁移任务的配置流程。 环境准备 创建RDS实例数据库 如果目标实例为RDS实例,如果待迁移的数据库在目标RDS实例中不存在,那么DTS自动会创建。但是对于如下两种情况,用户需要在配置迁移任务之前,手动创建数据库。 数据库名称不符合:RDS定义规范(由小写字母、数字、下划线、中划线组成,字母开头,字母或数字结尾,最长64个字符)。待迁移数据库,在ECS自建数据库跟目标RDS实例中存储名称不同。 对于这两种情况,用户需要在配置迁移任务之前,先在RDS控制台完成数据库创建。具体参考RDS数据库创建流程。 创建迁移帐号 迁移任务配置时,需要提供ECS自建数据库及目的实例的迁移账号。 自建数据库的存储引擎不同,账号创建及权限授权的方式不同,具体授权方式可以参考各存储引擎的官方文档。 目的实例的迁移账号可以参考各个云产品的使用手册,进行账号创建。例如,RDS实例的迁移账号的创建流程可以参考 RDS账号创建说明。 操作步骤 以目标实例所属阿里云账号登录DTS数据传输控制台,单击右上角的创建迁移任务,开始任务配置。 设置实例连接信息。 这个步骤主要配置迁移任务名称、源ECS连接信息及目标实例连接信息。其中: 任务名称 DTS为每个任务自动生成一个任务名称,任务名称没有唯一性要求。您可以根据需要修改任务名称,建议为任务配置具有业务意义的名称,便于后续的任务识别。 源实例信息 实例类型:选择 ECS上的自建数据库ECS实例ID: 配置迁移的源ECS实例的实例ID。DTS支持经典网络、VPC网络的ECS实例。如果ECS实例跟目标实例在不同地域,那么ECS上面必须挂载公网EIP。数据库类型:选择ECS上自建数据库的数据库类型,例如Oracle/MySQL/SQLServer/PostgreSQL/Redis/MongoDB等。数据库名称: 如果自建数据库为PostgreSQL/MongoDB, 那么需要配置数据库名称。这个数据库名称为连接ECS自建数据库时使用的默认数据库。数据库账号:连接自建数据库的账号。数据库密码:上面数据账号对应的密码。 目标实例信息 实例类型: 选择要迁入的实例对应的实例类型,包括RDS/MongoDB/Redis/DRDS/PetaData/OceanBase等。实例ID: 配置迁移的目标实例的实例ID。数据库名称:如果数据库类型为PostgreSQL/PPAS/MongoDB, 那么需要配置数据库名称。这个数据库名称为连接实例时使用的默认数据库。数据库账号:连接实例的账号。数据库密码:上面数据账号对应的密码。 下图以ECS上自建MongoDB到MongoDB实例的数据迁移为例,展示配置内容。 迁移类型及迁移对象选择 迁移类型 对于不同的数据库类型,DTS 支持的迁移类型不同。 如果只需要进行全量迁移,那么迁移类型选择:结构迁移+全量数据迁移。 对于支持增量迁移的数据库类型,如果需要进行不停机迁移,迁移类型选择:结构迁移+全量数据迁移+增量数据迁移。 迁移对象 这个步骤选择要迁移的对象。迁移对象的选择粒度细化为:库、表、列三个粒度。默认情况下,对象迁移到目标实例后,对象名跟源实例一致。如果您迁移的对象在源实例跟目标实例上名称不同,那么需要使用DTS提供的对象名映射功能,详细使用方式可以参考库表列映射。 预检查。 在迁移任务正式启动之前,会先进行前置预检查,只有预检查通过后,才能成功启动迁移。 如果预检查失败,那么可以点击具体检查项后的按钮,查看具体的失败详情,并根据失败原因修复后,重新进行预检查。 启动迁移任务。 当预检查通过后,可以启动迁移任务,任务启动成功后,可以在任务列表中查看迁移的具体状态及迁移进度。 如果选择了增量迁移,那么进入增量迁移阶段后,源库的更新写入都会被DTS同步到目标实例。迁移任务不会自动结束。如果用户只是为了迁移,那么建议在增量迁移无延迟的状态时,源库停写几分钟,等待增量迁移再次进入无延迟状态后,停止掉迁移任务,直接将业务切换到目标实例上即可。 至此,完成ECS自建数据库到目标实例的数据迁移任务的配置。 说明:配置迁移任务时如果选择了增量迁移,那么增量迁移过程中,若用户不结束迁移,任务会一直处于迁移中。建议在业务验证通过且增量迁移无延迟的状态时,源库停写几分钟,等待增量迁移再次进入无延迟状态后,停止掉迁移任务,将业务切换到目标实例上即可。
2019-12-01 23:09:45 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档适用场景使用数据传输DTS可以实现ECS自建数据库到RDS/MongoDB/Redis/DRDS/PetaData/OceanBase实例的数据迁移。对于支持增量迁移的存储引擎,还可以使用DTS在ECS自建数据库不停服的情况下,将数据迁移到目标实例。 本小节简单介绍使用DTS进行ECS自建数据库迁移到RDS/MongoDB/Redis/DRDS/PetaData/OceanBase等实例的数据迁移任务的配置流程。 环境准备 创建RDS实例数据库 如果目标实例为RDS实例,如果待迁移的数据库在目标RDS实例中不存在,那么DTS自动会创建。但是对于如下两种情况,用户需要在配置迁移任务之前,手动创建数据库。 数据库名称不符合:RDS定义规范(由小写字母、数字、下划线、中划线组成,字母开头,字母或数字结尾,最长64个字符)。待迁移数据库,在ECS自建数据库跟目标RDS实例中存储名称不同。 对于这两种情况,用户需要在配置迁移任务之前,先在RDS控制台完成数据库创建。具体参考RDS数据库创建流程。 创建迁移帐号 迁移任务配置时,需要提供ECS自建数据库及目的实例的迁移账号。 自建数据库的存储引擎不同,账号创建及权限授权的方式不同,具体授权方式可以参考各存储引擎的官方文档。 目的实例的迁移账号可以参考各个云产品的使用手册,进行账号创建。例如,RDS实例的迁移账号的创建流程可以参考 RDS账号创建说明。 操作步骤 以目标实例所属阿里云账号登录DTS数据传输控制台,单击右上角的创建迁移任务,开始任务配置。 设置实例连接信息。 这个步骤主要配置迁移任务名称、源ECS连接信息及目标实例连接信息。其中: 任务名称 DTS为每个任务自动生成一个任务名称,任务名称没有唯一性要求。您可以根据需要修改任务名称,建议为任务配置具有业务意义的名称,便于后续的任务识别。 源实例信息 实例类型:选择 ECS上的自建数据库ECS实例ID: 配置迁移的源ECS实例的实例ID。DTS支持经典网络、VPC网络的ECS实例。如果ECS实例跟目标实例在不同地域,那么ECS上面必须挂载公网EIP。数据库类型:选择ECS上自建数据库的数据库类型,例如Oracle/MySQL/SQLServer/PostgreSQL/Redis/MongoDB等。数据库名称: 如果自建数据库为PostgreSQL/MongoDB, 那么需要配置数据库名称。这个数据库名称为连接ECS自建数据库时使用的默认数据库。数据库账号:连接自建数据库的账号。数据库密码:上面数据账号对应的密码。 目标实例信息 实例类型: 选择要迁入的实例对应的实例类型,包括RDS/MongoDB/Redis/DRDS/PetaData/OceanBase等。实例ID: 配置迁移的目标实例的实例ID。数据库名称:如果数据库类型为PostgreSQL/PPAS/MongoDB, 那么需要配置数据库名称。这个数据库名称为连接实例时使用的默认数据库。数据库账号:连接实例的账号。数据库密码:上面数据账号对应的密码。 下图以ECS上自建MongoDB到MongoDB实例的数据迁移为例,展示配置内容。 迁移类型及迁移对象选择 迁移类型 对于不同的数据库类型,DTS 支持的迁移类型不同。 如果只需要进行全量迁移,那么迁移类型选择:结构迁移+全量数据迁移。 对于支持增量迁移的数据库类型,如果需要进行不停机迁移,迁移类型选择:结构迁移+全量数据迁移+增量数据迁移。 迁移对象 这个步骤选择要迁移的对象。迁移对象的选择粒度细化为:库、表、列三个粒度。默认情况下,对象迁移到目标实例后,对象名跟源实例一致。如果您迁移的对象在源实例跟目标实例上名称不同,那么需要使用DTS提供的对象名映射功能,详细使用方式可以参考库表列映射。 预检查。 在迁移任务正式启动之前,会先进行前置预检查,只有预检查通过后,才能成功启动迁移。 如果预检查失败,那么可以点击具体检查项后的按钮,查看具体的失败详情,并根据失败原因修复后,重新进行预检查。 启动迁移任务。 当预检查通过后,可以启动迁移任务,任务启动成功后,可以在任务列表中查看迁移的具体状态及迁移进度。 如果选择了增量迁移,那么进入增量迁移阶段后,源库的更新写入都会被DTS同步到目标实例。迁移任务不会自动结束。如果用户只是为了迁移,那么建议在增量迁移无延迟的状态时,源库停写几分钟,等待增量迁移再次进入无延迟状态后,停止掉迁移任务,直接将业务切换到目标实例上即可。 至此,完成ECS自建数据库到目标实例的数据迁移任务的配置。 说明:配置迁移任务时如果选择了增量迁移,那么增量迁移过程中,若用户不结束迁移,任务会一直处于迁移中。建议在业务验证通过且增量迁移无延迟的状态时,源库停写几分钟,等待增量迁移再次进入无延迟状态后,停止掉迁移任务,将业务切换到目标实例上即可。
2019-12-01 23:09:45 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档适用场景使用数据传输DTS可以实现ECS自建数据库到RDS/MongoDB/Redis/DRDS/PetaData/OceanBase实例的数据迁移。对于支持增量迁移的存储引擎,还可以使用DTS在ECS自建数据库不停服的情况下,将数据迁移到目标实例。 本小节简单介绍使用DTS进行ECS自建数据库迁移到RDS/MongoDB/Redis/DRDS/PetaData/OceanBase等实例的数据迁移任务的配置流程。 环境准备 创建RDS实例数据库 如果目标实例为RDS实例,如果待迁移的数据库在目标RDS实例中不存在,那么DTS自动会创建。但是对于如下两种情况,用户需要在配置迁移任务之前,手动创建数据库。 数据库名称不符合:RDS定义规范(由小写字母、数字、下划线、中划线组成,字母开头,字母或数字结尾,最长64个字符)。待迁移数据库,在ECS自建数据库跟目标RDS实例中存储名称不同。 对于这两种情况,用户需要在配置迁移任务之前,先在RDS控制台完成数据库创建。具体参考RDS数据库创建流程。 创建迁移帐号 迁移任务配置时,需要提供ECS自建数据库及目的实例的迁移账号。 自建数据库的存储引擎不同,账号创建及权限授权的方式不同,具体授权方式可以参考各存储引擎的官方文档。 目的实例的迁移账号可以参考各个云产品的使用手册,进行账号创建。例如,RDS实例的迁移账号的创建流程可以参考 RDS账号创建说明。 操作步骤 以目标实例所属阿里云账号登录DTS数据传输控制台,单击右上角的创建迁移任务,开始任务配置。 设置实例连接信息。 这个步骤主要配置迁移任务名称、源ECS连接信息及目标实例连接信息。其中: 任务名称 DTS为每个任务自动生成一个任务名称,任务名称没有唯一性要求。您可以根据需要修改任务名称,建议为任务配置具有业务意义的名称,便于后续的任务识别。 源实例信息 实例类型:选择 ECS上的自建数据库ECS实例ID: 配置迁移的源ECS实例的实例ID。DTS支持经典网络、VPC网络的ECS实例。如果ECS实例跟目标实例在不同地域,那么ECS上面必须挂载公网EIP。数据库类型:选择ECS上自建数据库的数据库类型,例如Oracle/MySQL/SQLServer/PostgreSQL/Redis/MongoDB等。数据库名称: 如果自建数据库为PostgreSQL/MongoDB, 那么需要配置数据库名称。这个数据库名称为连接ECS自建数据库时使用的默认数据库。数据库账号:连接自建数据库的账号。数据库密码:上面数据账号对应的密码。 目标实例信息 实例类型: 选择要迁入的实例对应的实例类型,包括RDS/MongoDB/Redis/DRDS/PetaData/OceanBase等。实例ID: 配置迁移的目标实例的实例ID。数据库名称:如果数据库类型为PostgreSQL/PPAS/MongoDB, 那么需要配置数据库名称。这个数据库名称为连接实例时使用的默认数据库。数据库账号:连接实例的账号。数据库密码:上面数据账号对应的密码。 下图以ECS上自建MongoDB到MongoDB实例的数据迁移为例,展示配置内容。 迁移类型及迁移对象选择 迁移类型 对于不同的数据库类型,DTS 支持的迁移类型不同。 如果只需要进行全量迁移,那么迁移类型选择:结构迁移+全量数据迁移。 对于支持增量迁移的数据库类型,如果需要进行不停机迁移,迁移类型选择:结构迁移+全量数据迁移+增量数据迁移。 迁移对象 这个步骤选择要迁移的对象。迁移对象的选择粒度细化为:库、表、列三个粒度。默认情况下,对象迁移到目标实例后,对象名跟源实例一致。如果您迁移的对象在源实例跟目标实例上名称不同,那么需要使用DTS提供的对象名映射功能,详细使用方式可以参考库表列映射。 预检查。 在迁移任务正式启动之前,会先进行前置预检查,只有预检查通过后,才能成功启动迁移。 如果预检查失败,那么可以点击具体检查项后的按钮,查看具体的失败详情,并根据失败原因修复后,重新进行预检查。 启动迁移任务。 当预检查通过后,可以启动迁移任务,任务启动成功后,可以在任务列表中查看迁移的具体状态及迁移进度。 如果选择了增量迁移,那么进入增量迁移阶段后,源库的更新写入都会被DTS同步到目标实例。迁移任务不会自动结束。如果用户只是为了迁移,那么建议在增量迁移无延迟的状态时,源库停写几分钟,等待增量迁移再次进入无延迟状态后,停止掉迁移任务,直接将业务切换到目标实例上即可。 至此,完成ECS自建数据库到目标实例的数据迁移任务的配置。 说明:配置迁移任务时如果选择了增量迁移,那么增量迁移过程中,若用户不结束迁移,任务会一直处于迁移中。建议在业务验证通过且增量迁移无延迟的状态时,源库停写几分钟,等待增量迁移再次进入无延迟状态后,停止掉迁移任务,将业务切换到目标实例上即可。
2019-12-01 23:09:45 0 浏览量 回答数 0

回答

mongodb 有数据库repair功能,修复下试试.如果数据比较多,也比较重要的话,建议经常备份。
落地花开啦 2019-12-02 01:50:25 0 浏览量 回答数 0

问题

MongoDB无法连接

我们购买了阿里云serverless mongodb, 然后在nodejs app里尝试连接这个数据库,但是得到了如下的错误: UnhandledPromiseRejectionWarning: MongoErr...
游客fzvopd5s7e3qo 2021-03-09 10:25:38 30 浏览量 回答数 2

回答

“丢数据”和chunksize是两个不相关的东西,并没有直接的逻辑联系,不知道什么人会把这两个东西扯到一起说给你听。由于我也不知道具体指的什么样的特定场景出现丢数据,所以就我所知道的情况,给出一些可能会对你有用的答案。看起来你关注的是丢数据的问题而根本不是chunksize,再者通常情况下chunksize保留默认值就没有什么问题,所以chunksize的问题我就略过了。就“丢数据”做一些说明。对于任何一个数据库,无理由的丢数据都是不可容忍的。所以出现了丢数据的情况,要么是1.出现了不可抗拒的因素,比如断电,硬件损坏,网络故障等2.配置原因3.软件出现严重bug。对于1反正你也无能为力了,这点应该通过ReplicaSet的复制功能来尽可能减小影响。第2点,如果你没有开journal(默认已打开),遇到断电或者程序crash的情况,可能会丢失30ms内的数据。如果数据非常重要不能容忍30ms的丢失,请打开j参数:mongodb://ip:port/db?replicaSet=rs&j=1(以上参数也可能通过代码按单次请求的粒度来指定,请查阅你使用的驱动文档)这个参数确保数据写入时阻塞到journal写到磁盘上为止。但是你以为数据落盘就算安全了吗?记住这是分布式环境,单台机器的数据安全并不能代表集群。所以在万一的情况下,journal虽然落盘,但是还没来得及复制到replica的其他结点上,然后primary正当掉了,就会有其他结点通过选举成为新的primary,这时候就会发生一个有意思的情况叫做rollback,有兴趣可以阅读一下。当然通常复制的速度是非常快的,发生rollback的情况非常稀有。好吧你可能还是觉得不够安全,那还有一个w参数可以使用:mongodb://ip:port/db?replicaSet=rs&j=1&w=1w参数可以确保写入操作被阻塞直到数据落到多个结点上(w=1/2/3...n)。那这样就安全了吗?sorry,特别倒霉的情况下(真应该去买彩票),你把数据复制到了多于一个结点上,万一这组结点同时失效了怎么办?所以有了w=majority(大多数)。当集群失去大多数结点的时候会变为只读状态,所以不会有新数据写入,也就不会有rollback。当一切恢复之后,你的数据还在。以上是一些会出现数据丢失的情况,可以想象w和j的配置在数据安全性得到保障的同时,肯定会很大程度上影响写入效率。这实际上应该是你根据你对数据丢失的容忍程度自己定制的策略,不算是bug。另外想到一点,在社区经常遇到有人喜欢干这种事情:kill -9 mongod要我说简直太残暴了,干嘛一上来就用大炮打蚊子。这种情况下出现数据丢失只能说活该。实际上kill mongod是安全的,但是-9就是你的不对了。至于第3点,mongodb在开发过程中确实出现过导致数据丢失的bug,3.0.8-3.0.10是重灾区,避开这几个版本。话说回来,哪个软件开发过程中不出现点问题呢?3.0.10发现问题的当天就出了3.0.11,修复速度已经快得可以了。好了,说了这么多,也不知道对题主有没有用。还是提醒一下,尽可能把问题描述清楚,不然只能像我这样猜测你到底在什么样的场景下遇到了什么样的问题,最可能出现的情况就是那句老话:Garbage in, garbage out
蛮大人123 2019-12-02 02:49:01 0 浏览量 回答数 0

回答

1、MongoDB复制是MongoDB自动将数据同步到多个服务器的过程,设置好策略之后免去了人工操作。 2、MongoDB提供了两种复制部署方案:主从复制(Master-Slave)和副本集(ReplicaSets,在1.6版本及以上版本,推荐使用),两种方式的共同特点在于都是只在一个主节点上进行写操作,然后写入的数据会异步地同步到所有的从节点上。 副本集工作原理 1、副本集中主要有三个角色:主节点、从节点、仲裁者。要组建副本集集群至少需要两个节点,主节点和从节点,主节点负责接受客户端的请求写入数据等操作,从节点负责复制主节点上的数据,也可以提供给客户端读取数据的服务。仲裁者则是辅助投票修改集群。 2、副本集要完成数据复制及修复集群依赖于两个基本的机制:oplog(操作日志)和心跳(heartbeat). oplog(操作日志) oplog是一个固定集合,位于每个复制节点的local数据库里,记录了所有对数据的变更操作。oplog只记录改变了数据的操作(更新数据或插入数据),读取查询数据这些操作不记录。 数据同步 在副本集中,每次客户端向主节点写入数据,就会自动向主节点的oplog里添加一个文档,其中包含了足够的信息来重现这次操作。当某个从节点注备更新自己时,首先:查看自己oplog里最后一条的时间戳;其次,查询主节点oplog里所有大于此时间戳的文档;最后,把那些文档应用到自己库里,并添加写操作文档到自己的oplog里。 复制状态和本地数据库 除了oplog操作之外,主从节点还会存放复制状态。记录下主从节点交互连接的状态,记录同步参数时间戳和选举情况。主从节点都会检查这些复制状态,以确保从节点能跟上主节点的数据更新。复制状态的文档记录在本地数据库local中。 阻塞复制 当主节点oplog操作日志更新太快,就会阻塞主节点更新,让从节点先更新,以确保从节点能够跟上主节点的数据更新。 心跳机制 副本集的心跳检测有助于发现故障进行自动选举和故障转移。默认情况下,每个副本集成员每两秒ping一次其他所有成员,这样,系统可以弄清楚自己的健康情况。 如果哪个节点失去了响应,副本集就会去判断失去响应的是主节点还是从节点,如果是多个从节点中的某一个从节点,则副本集不做任何处理,只是等待从节点重新连接;如果是主节点挂掉,则副本集就会开始进行选举了,选出新的主节点。还有一种场景是副本集中主节点突然失去了其他大多数节点的心跳(多余一半时),主节点会把自己降级为从节点,从新选取。 选举机制 第一阶段 满足三个条件: 1)、副本集中是否有其他节点已经是主节点了? 2)、自己的数据是否比请求成为主节点的从节点上的数据更新? 3)、副本集中其他节点的数据是否比请求成为主节点的从节点的数据更新? 如果上面三个条件都是否定的,就会把票投给这个请求节点。 第二阶段 获得认可的请求节点会向其他节点发送一个确认的请求包,在30秒内所有都没有反对,就升级为主节点,若反对,从新选举,如果选举结果相同,可通过仲裁者决定选举谁。 数据回滚
游客2q7uranxketok 2021-02-09 10:52:43 0 浏览量 回答数 0

回答

能干的多了去了看下面弹性计算云服务器ECS:可弹性扩展、安全、稳定、易用的计算服务块存储:可弹性扩展、高性能、高可靠的块级随机存储专有网络 VPC:帮您轻松构建逻辑隔离的专有网络负载均衡:对多台云服务器进行流量分发的负载均衡服务弹性伸缩:自动调整弹性计算资源的管理服务资源编排:批量创建、管理、配置云计算资源容器服务:应用全生命周期管理的Docker服务高性能计算HPC:加速深度学习、渲染和科学计算的GPU物理机批量计算:简单易用的大规模并行批处理计算服务E-MapReduce:基于Hadoop/Spark的大数据处理分析服务数据库云数据库RDS:完全兼容MySQL,SQLServer,PostgreSQL云数据库MongoDB版:三节点副本集保证高可用云数据库Redis版:兼容开源Redis协议的Key-Value类型云数据库Memcache版:在线缓存服务,为热点数据的访问提供高速响应PB级云数据库PetaData:支持PB级海量数据存储的分布式关系型数据库云数据库HybridDB:基于Greenplum Database的MPP数据仓库云数据库OceanBase:金融级高可靠、高性能、分布式自研数据库数据传输:比GoldenGate更易用,阿里异地多活基础架构数据管理:比phpMyadmin更强大,比Navicat更易用存储对象存储OSS:海量、安全和高可靠的云存储服务文件存储:无限扩展、多共享、标准文件协议的文件存储服务归档存储:海量数据的长期归档、备份服务块存储:可弹性扩展、高性能、高可靠的块级随机存储表格存储:高并发、低延时、无限容量的Nosql数据存储服务网络CDN:跨运营商、跨地域全网覆盖的网络加速服务专有网络 VPC:帮您轻松构建逻辑隔离的专有网络高速通道:高速稳定的VPC互联和专线接入服务NAT网关:支持NAT转发、共享带宽的VPC网关大数据(数加)MaxCompute:原名ODPS,是一种快速、完全托管的TB/PB级数据仓库解决方案大数据开发套件:提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,拥有强大的Open API为数据应用开发者提供良好的再创作生态DataV数据可视化:专精于业务数据与地理信息融合的大数据可视化,通过图形界面轻松搭建专业的可视化应用, 满足您日常业务监控、调度、会展演示等多场景使用需求关系网络分析:基于关系网络的大数据可视化分析平台,针对数据情报侦察场景赋能,如打击虚假交易,审理保险骗赔,案件还原研判等推荐引擎:推荐服务框架,用于实时预测用户对物品偏好,支持 A/B Test 效果对比公众趋势分析:利用语义分析、情感算法和机器学习,分析公众对品牌形象、热点事件和公共政策的认知趋势企业图谱:提供企业多维度信息查询,方便企业构建基于企业画像及企业关系网络的风险控制、市场监测等企业级服务数据集成:稳定高效、弹性伸缩的数据同步平台,为阿里云各个云产品提供离线(批量)数据进出通道分析型数据库:在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索流计算:流式大数据分析平台,提供给用户在云上进行流式数据实时化分析工具人工智能机器学习:基于阿里云分布式计算引擎的一款机器学习算法平台,用户通过拖拉拽的方式可视化的操作组件来进行试验,平台提供了丰富的组件,包括数据预处理、特征工程、算法组件、预测与评估语音识别与合成:基于语音识别、语音合成、自然语言理解等技术,为企业在多种实际应用场景下,赋予产品“能听、会说、懂你”式的智能人机交互体验人脸识别:提供图像和视频帧中人脸分析的在线服务,包括人脸检测、人脸特征提取、人脸年龄估计和性别识别、人脸关键点定位等独立服务模块印刷文字识别:将图片中的文字识别出来,包括身份证文字识别、门店招牌识别、行驶证识别、驾驶证识别、名片识别等证件类文字识别场景云安全(云盾)服务器安全(安骑士):由轻量级Agent和云端组成,集检测、修复、防御为一体,提供网站后门查杀、通用Web软件0day漏洞修复、安全基线巡检、主机访问控制等功能,保障服务器安全DDoS高防IP:云盾DDoS高防IP是针对互联网服务器(包括非阿里云主机)在遭受大流量的DDoS攻击后导致服务不可用的情况下,推出的付费增值服务,用户可以通过配置高防IP,将攻击流量引流到高防IP,确保源站的稳定可靠Web应用防火墙:网站必备的一款安全防护产品。 通过分析网站的访问请求、过滤异常攻击,保护网站业务可用及资产数据安全加密服务:满足云上数据加密,密钥管理、加解密运算需求的数据安全解决方案CA证书服务:云上签发Symantec、CFCA、GeoTrust SSL数字证书,部署简单,轻松实现全站HTTPS化,防监听、防劫持,呈现给用户可信的网站访问数据风控:凝聚阿里多年业务风控经验,专业、实时对抗垃圾注册、刷库撞库、活动作弊、论坛灌水等严重威胁互联网业务安全的风险绿网:智能识别文本、图片、视频等多媒体的内容违规风险,如涉黄,暴恐,涉政等,省去90%人力成本安全管家:基于阿里云多年安全实践经验为云上用户提供的全方位安全技术和咨询服务,为云上用户建立和持续优化云安全防御体系,保障用户业务安全云盾混合云:在用户自有IDC、专有云、公共云、混合云等多种业务环境为用户建设涵盖网络安全、应用安全、主机安全、安全态势感知的全方位互联网安全攻防体系态势感知:安全大数据分析平台,通过机器学习和结合全网威胁情报,发现传统防御软件无法覆盖的网络威胁,溯源攻击手段、并且提供可行动的解决方案先知:全球顶尖白帽子和安全公司帮你找漏洞,最私密的安全众测平台。全面体检,提早发现业务漏洞及风险,按效果付费移动安全:为移动APP提供安全漏洞、恶意代码、仿冒应用等检测服务,并可对应用进行安全增强,提高反破解和反逆向能力。互联网中间件企业级分布式应用服务EDAS:以应用为中心的中间件PaaS平台、消息队列MQ:Apache RocketMQ商业版企业级异步通信中间件分布式关系型数据库服务DRDS:水平拆分/读写分离的在线分布式数据库服务云服务总线CSB:企业级互联网能力开放平台业务实施监控服务ARMS:端到端一体化实时监控解决方案产品分析E-MapReduce:基于Hadoop/Spark的大数据处理分析服务云数据库HybirdDB:基于Greenplum Database的MPP数据仓库高性能计算HPC:加速深度学习、渲染和科学计算的GPU物理机大数据计算服务MaxCompute:TB/PB级数据仓库解决方案分析型数据库:海量数据实时高并发在线分析开放搜索:结构化数据搜索托管服务管理与监控云监控:指标监控与报警服务访问控制:管理多因素认证、子账号与授权、角色与STS令牌资源编排:批量创建、管理、配置云计算资源操作审计:详细记录控制台和API操作密钥管理服务:安全、易用、低成本的密钥管理服务应用服务日志服务:针对日志收集、存储、查询和分析的服务开放搜索:结构化数据搜索托管服务性能测试:性能云测试平台,帮您轻松完成系统性能评估邮件推送:事务/批量邮件推送,验证码/通知短信服务API网关:高性能、高可用的API托管服务,低成本开放API物联网套件:助您快速搭建稳定可靠的物联网应用消息服务:大规模、高可靠、高并发访问和超强消息堆积能力视频服务视频点播:安全、弹性、高可定制的点播服务媒体转码:为多媒体数据提供的转码计算服务视频直播:低延迟、高并发的音频视频直播服务移动服务移动推送:移动应用通知与消息推送服务短信服务:验证码和短信通知服务,三网合一快速到达HTTPDNS:移动应用域名防劫持和精确调整服务移动安全:为移动应用提供全生命周期安全服务移动数据分析:移动应用数据采集、分析、展示和数据输出服务移动加速:移动应用访问加速云通信短信服务:验证码和短信通知服务,三网合一快速到达语音服务:语音通知和语音验证,支持多方通话流量服务:轻松玩转手机流量,物联卡专供物联终端使用私密专线:号码隔离,保护双方的隐私信息移动推送:移动应用通知与消息推送服务消息服务:大规模、高可靠、高并发访问和超强消息堆积能力邮件推送:事务邮件、通知邮件和批量邮件的快速发送
巴洛克上校 2019-12-02 00:25:55 0 浏览量 回答数 0

问题

访问控制支持 RAM 的云服务

许多阿里云服务都与 RAM 相集成,本文按服务类别罗列了这些服务,并提供每个服务支持的 RAM 授权粒度、系统策略,以及相关 RAM 文档的链接,方便您使用及查询。 在集成 RAM 功...
反向一觉 2019-12-01 21:26:33 1551 浏览量 回答数 0

回答

1.产品2.UI3.CSS4.JS5.后端(Java/php/python)6.DBA(mysql/oracle)7.运维(OP) 8.测试(QA)9.算法(分类/聚类/关系抽取/实体识别)10.搜索(Lucene/Solr/elasticSearch)11.大数据工程师(Hadoop)12.Android13.IOS14.运营 一.产品1 工作内容:了解用户需求,做竞品调研,画产品原型,写产品文档,讲解产品需求,测试产品Bug,收集用户反馈,苦练金刚罩以防止程序员拿刀砍。2 需要技能:PPT,Word, Axure,XP,MVP,行业知识,沟通。 二. UI1 工作内容:收到产品原型,给原型上色,偶尔会自作主张调整下原型的位置,出不同的风格给老板和客户选,然后听他们的意见给出一个自己极不喜欢的风格,最好给Android,IOS或者是CSS做好标注,还有的需要直接帮他们切好图,最后要练出来象素眼,看看这些不靠谱的程序员们有没有上错色或者是有偏差。2 需要技能:PS,Illustrator,Sketch,耐性,找素材。 三. CSS1 工作内容:产品设计好原型,UI做出来了效果图,剩下的就是CSS工程师用代码把静态文件写出来的。 2 需要技能:环境【IDE(WEBStorm,Sublime,EditPlus),源码管理(SVN/Git) ,WEB服务器(nginx)】基础【PS,域名,Html,Html5,CSS,CSS3】扩展【自适应,响应式,Bootstrap,Less,Flex】 四 .JS 1 工作内容:JS工程师其实分成两类,在之前讲CSS的时候已经提到过,一个是套页面的,一个是前后端分离的。对这两个概念还是分不太清的,可以回过头去看CSS的部分。 2 需要技能:环境【IDE(WEBStorm,Sublime,EditPlus),源码管理(SVN/Git) ,WEB服务器(nginx)】基础【Http,REST,跨域,语法,组件,F12,Json,Websocket】框架【JQuery,AngularJS,Bower,RequireJS,GruntJS,ReactJS,PhoneGap】业务【金融,教育,医疗,汽车,房产等等等等各种行业】 五 .后端(Java/python/go) 1 工作内容:大部分的后端工程师都停留在功能实现的层面上。这是现在国内二流或者是三流的公司的现状,甚至是在某些一流的公司。很多时候都是架构师出了架构设计,更多的外包公司根本就是有DBA来做设计,然后后端程序员从JS到CSS到Java全写,完全就是一个通道,所有的复杂逻辑全部交给DB来做,这也是几年前DBA很受重视的原因。 2 需要技能:环境【IDE(Idea/Eclipse,Maven,jenkins,Nexus,Jetty,Shell,Host),源码管理(SVN/Git) ,WEB服务器(nginx,tomcat,Resin)】基础【Http,REST,跨域,语法,Websocket,数据库,计算机网络,操作系统,算法,数据结构】框架【Spring,AOP,Quartz,Json TagLib,tiles,activeMQ,memcache,redis,mybatis,log4j,junit等等等等等】业务【金融,教育,医疗,汽车,房产等等等等各种行业】。 六 .DBA  1 工作内容:如果你做了一个DBA,基本上会遇到两种情况。一种是你的后端工程师懂架构,知道怎么合便使用DB,知道如何防止穿透DB,那么恭喜你,你只是需要当一个DB技术兜底的顾问就好,基本上没什么活可以做,做个监控,写个统计就好了。你可以花时间在MongoDB了,Hadoop了这些,随便玩玩儿。再按照我之前说的,做好数据备份。如果需求变动比较大,往往会牵涉到一些线上数据的更改,那么就在发布的时候安静的等着,等着他们出问题。。。。如果不出问题就可以回家睡觉了。 2 需要技能:环境【Linux,Mysql,Oracle,MongoDB,Hadoop】工具【各种DB的版本,工具,备份,日志等】。 七. 运维  1 工作内容:运维的工作大概分成几个部分,我对于修真院学习运维的少年们都这么说,大概是:A。基础环境的搭建和常用软件的安装和配置(兼网管的还有各种程控机),常用软件指的是SVN,Git,邮箱这种,更细节的内容请参考修真院对于运维职业的介绍。B。日常的发布和维护,如刚刚讲到的一样,测试环境和线上环境的发布和记录,原则上,对线上所有的变更都应该有记录。C。数据的备份和服务的监控&安全配置。各种数据,都要做好备份和回滚的手段,提前准备好各种紧急预案,服务的监制要做好。安全始终都是不怎么被重点考虑的问题,因为这个东西无底洞,你永远不知道做到什么程度算是比较安全了,所以大多数都是看着情况来。D。运维工具的编写。这一点在大的云服务器商里格外常见,大公司也是一样的。E。Hadoop相关的大数据体系架构的运维,确实有公司在用几百台机器做Hadoop,所以虽然不常见,我还是列出来吧。 2 需要技能:环境【Linux,Mysql,Oracle,MongoDB,Hadoop,nginx,apache,F5,lvs,vpn,iptable,svn,git,memcache,redis】工具【linux 常用工具,Mysql常用工具,Jenkins,zabbix,nagios】自动化运维【openstack,docker,ansible】语言【shell,python】 八 .QA  1 工作内容:QA需要了解需求,很多公司会要求QA写测试用例,我觉得是扯淡。完全是在浪费时间。通常开发三周,QA测试的时间只有一周到一周半。还有关于提前写测试用例的,都不靠谱。 2 需要技能:流程【Bug修复流程,版本发布流程】工具【禅道,BugZilla,Jira,Excel表格来统计Bug数,自动化测试】性格【严谨,耐心】 九. 算法工程师  1 工作内容:算法工程师的工作内容,大部分时间都是在调优。就是调各种参数和语料,寻找特征,验证结果,排除噪音。也会和Hadoop神马的打一些交道,mahout神马的,我那个时候还在用JavaML。现在并不知道有没有什么更好用的工具了。有的时候还要自己去标注语料---当然大部分人都不爱做这个事儿,会找漂亮的小编辑去做。2 需要技能:基础【机器学习,数据挖掘】工具【Mahout,JavaML等其他的算法工具集】 十. 搜索工程师  1 工作内容: 所以搜索现在其实分成两种。一种是传统的搜索。包括:A。抓取 B。解析C。去重D。处理E。索引F。查询另一种是做为架构的搜索。并不包括之前的抓取解析去重,只有索引和查询。A。索引B。查询 2 需要技能:环境【Linux】框架【Luence,Slor,ElasticSearch,Cassandra,MongoDB】算法【倒排索引,权重计算公式,去重算法,Facet搜索的原理,高亮算法,实时索引】 十一. 大数据工程师  1 工作内容:工作内容在前期会比较多一些,基础搭建还是一个挺讲究的事儿。系统搭建好之后呢,大概是两种,一种是向大数据部门提交任务,跑一圈给你。一种是持续的文本信息处理中增加新的处理模块,像我之前说的增加个分类啦,实体识别神马的。好吧第一种其实我也不记得是从哪得来的印象了,我是没有见到过的。架构稳定了之后,大数据部门的工作并不太多,常常会和算法工程师混到一起来。其他的应该就是大数据周边产品的开发工作了。再去解决一些Bug什么的。2 需要技能:环境【Linux】框架【Hadoo,spark,storm,pig,hive,mahout,zookeeper 】算法【mapreduce,hdfs,zookeeper】。 十二. Android工程师  1 工作内容:Android工程师的日常就是听产品经理讲需求,跟后端定接口,听QA反馈哪款机器不兼容,闹着申请各种测试机,以及悲催的用Android做IOS的控件。 2 需要技能:环境【Android Studio,Maven,Gradle】基础【数据结构,Java,计算机网络】组件【IM,地图,支付,拍照,视频,音频,统计,分享,手势密码】 十三. IOS工程师  1 工作内容:IOS工程师的工作内容真的挺简单的,听需求,定接口。做个适配,抛弃一下iphone4。还有啥。。马丹,以我为数不多的IOS知识来讲,真的不知道还有啥了。我知道的比较复杂的系统也是各种背景高斯模糊,各种渐变,各种图片滤镜处理,其他并没有什么。支付,地图,统计这些东西。 嗯。2 需要技能:环境【Xcode】基础【数据结构,Object,计算机网络】组件【IM,地图,支付,拍照,视频,音频,统计,分享,手势密码】
行者武松 2019-12-02 01:21:45 0 浏览量 回答数 0

问题

Node.js应用性能优化的五个技巧

在这个由软件定义的世界里,企业往往是通过 Web 应用和移动应用程序来提供他们大部分的服务。所以对企业来说,一个非常重要的任务就是要确保用户拥有出色的使用体验。Node.js 正迅速成为时下最流行的平台之一&#x...
忆远0711 2019-12-01 21:50:58 8422 浏览量 回答数 1

回答

HelloGitHub star:19k Python,Java,PHP,C++,go,swift等各种编程语言的项目都有,每月28号更新发布(持续更新中)。这些开源项目大多都是非常容易上手,适合新手。 接下来按分享几个Python和Java相关,有趣又优质的项目。 Python: faceai star:5.5k 入门级的人脸、视频、文字检测以及识别的项目。功能包含人脸监测、轮廓识别、头像合成、性别识别、图片修复等。 21个深度学习项目合集 star:3.7k 做这些项目,你可以在动手实验的过程中,比较轻松地掌握深度学习和TensorFlow的使用技巧,并且能完整地做出一些有意思的项目。主要包括CNN,GAN,RNN,LSTM,强化学习相关项目等。 learn_python3_spider star:1.8k 从0到1学习python爬虫,包括:浏览器抓包,手机APP抓包,如 fiddler、mitmproxy;各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识别,Mysql,MongoDB数据库的python使用,多线程多进程爬虫的使用,css 爬虫加密逆向破解,JS爬虫逆向,分布式爬虫,爬虫项目实战实例等。 语音对话机器人 star:1.5k 开源中文语音对话机器人/智能音箱项目。功能包含: cnn_captcha star:1.1k 这个项目针对字符型图片验证码,使用tensorflow实现卷积神经网络,进行验证码识别。项目封装了比较通用的校验、训练、验证、识别、API模块,极大的减少了识别字符型验证码花费的时间和精力。 提醒一下,在做这些项目之前,如果没有打好Python基础,做起来可能会遇到一些困难。所以,你最好先学习一遍Python基础,以达到事半功倍的效果: 基础算法(Python 3)
南霸天霸南北 2020-03-13 16:26:39 0 浏览量 回答数 0

问题

问题排查

迁云工具支持断点恢复,文件传输过程支持断点续传。一般情况下如果主程序异常中断或提示迁移不成功,故障排查处理完问题后,您可以再次运行主程序恢复迁云工作。 成功迁移Windows Server 2008...
chenchuan 2019-12-01 21:36:32 520 浏览量 回答数 0

回答

HelloGitHub star:19k Python,Java,PHP,C++,go,swift等各种编程语言的项目都有,每月28号更新发布(持续更新中)。这些开源项目大多都是非常容易上手,适合新手。 接下来按分享几个Python和Java相关,有趣又优质的项目。 Python: faceai star:5.5k 入门级的人脸、视频、文字检测以及识别的项目。功能包含人脸监测、轮廓识别、头像合成、性别识别、图片修复等。 21个深度学习项目合集 star:3.7k 做这些项目,你可以在动手实验的过程中,比较轻松地掌握深度学习和TensorFlow的使用技巧,并且能完整地做出一些有意思的项目。主要包括CNN,GAN,RNN,LSTM,强化学习相关项目等。 learn_python3_spider star:1.8k 从0到1学习python爬虫,包括:浏览器抓包,手机APP抓包,如 fiddler、mitmproxy;各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识别,Mysql,MongoDB数据库的python使用,多线程多进程爬虫的使用,css 爬虫加密逆向破解,JS爬虫逆向,分布式爬虫,爬虫项目实战实例等。 语音对话机器人 star:1.5k 开源中文语音对话机器人/智能音箱项目。功能包含: cnn_captcha star:1.1k 这个项目针对字符型图片验证码,使用tensorflow实现卷积神经网络,进行验证码识别。项目封装了比较通用的校验、训练、验证、识别、API模块,极大的减少了识别字符型验证码花费的时间和精力。 提醒一下,在做这些项目之前,如果没有打好Python基础,做起来可能会遇到一些困难。所以,你最好先学习一遍Python基础,以达到事半功倍的效果: 基础算法(Python 3) Java: shopping-management-system star:2.9k 是多个小项目的集合(持续更新中)。内容有类似淘宝、京东等网购管理系统以及图书管理、超市管理等系统等,非常适合Java从基础到入门的爱好者。 Vue-Meizi star:1.3k 基于vue2的实战项目,适合新手进阶。代码简单易懂,注释很多。实现了移动端使用最多的无限滚动、图片加载、左右滑动等。 Guns star:2.4k 基于SpringBoot 2,整合了springmvc + shiro + mybatis-plus + beetl。这个项目代码简洁,注释丰富,上手容易,同时包含许多基础模块(用户管理,角色管理,部门管理,字典管理等10个模块),可以直接作为一个后台管理系统的脚手架! spring-boot-demo star:7.5k 用深度学习并实战spring boot的项目,目前总共包含63个集成demo。 HenCoder筹划1练习项目 star:1k 是一个可以直接运行的Android App项目,是HenCoder Android的配套练习项目。
剑曼红尘 2020-03-11 22:24:42 0 浏览量 回答数 0

问题

运维最恨4件事:开发同学能帮忙做点啥?

DevOps 这个词表明,开发和运维需要通力合作。然而在现实生活中,双方都会有不同的工作职责,同时看待问题的视角也不尽相同。大多数情况下,都是运维一方得到不公正待遇。为了让开发人员能更...
sunny夏筱 2019-12-01 21:37:39 6779 浏览量 回答数 8

问题

程序员报错行为大赏-配置报错

Maven本地仓库配置报错:配置报错  GO语言配置什么的都没问题,但就是LiteIDE配置不好。。。:配置报错  Maven 配置nexus仓库 POM文件报错:配置报错  10个你可能从未用过的PHP函数:配置报错  QT...
问问小秘 2020-06-11 13:18:25 6 浏览量 回答数 1

问题

安全技术百问,老板再也不用担心病毒勒索了!

近期安全事件频发,从GitLab数据库被删除事件以及炉石传说数据库问题以及MongoDB黑客赎金事件,互联网以及云上安全又一次引发社会热议。互联网界有一句很流行的话,“没有什么应用是没有遭受过攻击的,只是因为你不知道”。所以说目前的互联网安...
yq传送门 2019-12-01 20:11:52 24648 浏览量 回答数 15

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT