在DataWorks中添加MongoDB数据源时,您需要使用对应账号进行连接。如果您使用的是云数据库MongoDB版,默认会有一个root账号。鉴权是为了保护您的数据库安全,对于MongoDB来说,只要开启鉴权,所有的DB访问操作都需要通过权限检查。用户在所属的数据库中进行鉴权;一旦通过鉴权,当前的会话(连接)中所有操作将按照用户被赋予的角色权限执行检查。
要在MongoDB中启用鉴权,可以在命令行启动MongoDB的时候增加--auth参数。如果是用配置文件的方式启动,可以直接在配置文件中增加启用鉴权的设置。请注意,鉴权设置完成后,只有具有相应权限的用户才能访问数据库。
DataWorks提供的数据同步类型不仅包括整库离线同步(一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步),还有一键实时同步(一次性全量同步,实时增量同步)。 不同的同步类型能满足不同的数据同步需求,如全量同步、增量同步等。同时,在数据同步过程中,DataWorks也支持数据类型的转换,例如,源端和目标端使用相同的数据类型以避免数据类型转换,或者在源端和目标端使用不同的数据类型,然后在同步时手动转换数据类型。
在DataWorks中,如果节点成环,即某个节点既是上游节点又依赖了自己的下游节点,那么这种依赖关系会形成一个闭环。这样的节点在自动调度时不会被调起。如果出现节点成环的情况,系统会自动进行监控并报警。
对于如何终止这种成环依赖的节点,您可以尝试以下步骤:
- 首先,确认并识别出现成环的节点。
- 然后,调整或修改这个节点的配置,以消除对自身下游节点的依赖。这可能涉及到改变节点的输出名和节点、表之间的依赖关系。
- 如果无法通过配置调整来解决问题,可能需要暂停或终止这个节点,然后手动删除补数据实例。但请注意,平台不允许手动删除补数据实例,实例在过期后(大约30天)平台将自动删除。
- 最后,检查并确保任务不需要再运行,可以选择冻结实例。公共调度资源组实例保留一个月(30天)、日志保留一周(7天)。独享调度资源组任务实例、日志保留一个月(30天)。运行完成状态的实例,当日志大于3M时,平台会每天定时清理。