问题一:DataWorks如何获得某个特定表,特定分区的instances id啊?
DataWorks如何获得某个特定表,特定分区的instances id啊?
我要用pyodps判断这个表分区的状态
instance = o.get_instance('2016042605520945g9k5pvyi2')
instance.status?
参考回答:
这个看着是计算的instanceid
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566968
问题二:DataWorks管理数据源权限进入数据源管理页面?
DataWorks管理数据源权限进入数据源管理页面?
参考回答:
进入数据源管理页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据集成。在左侧导航栏,单击数据源,进入数据源管理页面。在数据源管理页面,单击相应数据源后的权限管理。在数据源权限管理对话框中,配置各项参数。
序号 参数 描述
① 工作空间 为您展示当前操作人员参与的所有工作空间,并且展示空间内的所有人员。您可以针对整个工作空间,或者工作空间下的某些人员进行数据源分享:
② 工作空间类型 为您展示各工作空间的类型,包括简单和标准两种类型。
③ 权限 数据源的权限控制包括以下三种类型:
④ 批量操作 批量选中工作空间或成员后,您可以设置批量不可编辑、批量可编辑和批量无权限。单击确定。数据源支持跨工作空间分享,分享规则如下:从简单模式工作空间分享至简单模式工作空间:源端的简单模式工作空间升级为标准模式工作空间时:源工作空间会分享生产环境的数据源。目标简单模式工作空间升级为标准模式工作空间时:数据源变为两个,分别对应开发环境和生产环境,且内容一致。从简单模式工作空间分享至标准模式工作空间:数据源在标准模式工作空间下变为两个,分别对应开发环境和生产环境,且内容一致。从标准模式工作空间分享至标准模式工作空间:不同环境的数据源,分享后在目标工作空间内,仍然对应各自的环境。从标准模式工作空间分享至简单模式工作空间:源工作空间的生产或开发环境下的数据源,均支持分享。分享至目标数据源后,仅保留一个数据源,且最新分享的数据源会覆盖之前的数据源。如果目标工作空间升级为标准模式工作空间,则该数据源会变为两个,分别对应开发和生产环境,且内容一致,均与源数据源保持分享关系。
https://help.aliyun.com/document_detail/174499.html
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566967
问题三:DataWorks表的分区是按天分区的,我想同步的时候直接指定2019年的所有数据,可以直接指定么?
DataWorks表的分区是按天分区的,我想同步的时候直接指定2019年的所有数据,可以直接指定么?
参考回答:
分区,同步任务可以支持ODPS的数据列、分区列、常量列,但不支持函数列
ODPS分区配置支持linux shell通配符,* 表示0个或多个字符,? 代表任意一个字符
例如分区表 test存在 pt=1,ds=hangzhou pt=1,ds=shanghai pt=2,ds=hangzhou pt=2,ds=beijing 四个分区,
如果你想读取 pt=1,ds=shanghai 这个分区的数据,分区信息中配置: pt=1,ds=shanghai;
如果你想读取 pt=1下的所有分区,分区信息中配置 :pt=1,ds=;
如果你想读取整个 test 表的所有分区的数据,分区信息中配置 :pt=,ds=*
如果需要指定最大分区,可以配置如下信息:
/query/ ds=(select MAX(ds) from DataXODPSReaderPPR)
如果需要按条件过滤,可以配置如下信息:
/query/ pt>=20170101 and pt<20170110,表示pt分区大于等于20170101且小于20170110的所有数据
ODPS写插件指定分区技巧
需要写入数据表的分区信息,必须指定到最后一级分区。把数据写入一个三级分区表,必须配置到最后一级分区
例如:pt=20150101/type=1/biz=2
不支持写入多个分区
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566965
问题四:DataWorks这个能消掉吗?
DataWorks这个能消掉吗?
参考回答:
这个是一直存在的,方便咨询的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566963
问题五:dataworks为分区的表设置生命周期,是会定时删除老数据吗?
dataworks为分区的表设置生命周期,是会定时删除老数据吗?
参考回答:
转交任务,【修改节点或任务的责任人】
应用管理员可以在运维中心对节点进行批量修改责任人,运维中心-周期任务,选择节点并修改责任人。
节点责任人自己在数据开发,节点的调度配置页面,基本属性中可以修改责任人。修改后需要提交并发布;
会的 定时删除分区
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566962