问题一:DataWorks一个生产环境的表,如果被人drop后重建了,这个记录从哪里可以查到吗?
DataWorks一个生产环境的表,如果被人drop后重建了,这个记录从哪里可以查到吗?
参考回答:
如果您想要查找某个表被删除和重新创建的记录,可以从以下几个方面着手:
1. 日志记录:DataWorks会记录每次表的操作日志,包括表的创建、删除、更新等。您可以登录DataWorks控制台,在工作空间的日志页面查看相关的操作记录。
1. 数据源操作历史记录:如果表是从数据源同步过来的,您可以查看对应数据源的操作历史记录,了解表的创建和删除情况。
1. 审计日志:如果您的系统开启了审计日志功能,您可以查看系统的审计日志,查找与表操作相关的记录。
1. 数据库备份:如果数据库定期备份,您可以恢复最近一次的备份文件,从中查找表的创建和删除记录。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571203
问题二:自己写了一个python3的程序,可以在dataworks上面运行,拉起依赖吗?
自己写了一个python3的程序,可以在dataworks上面运行,拉起依赖吗?调用自己的python3的程序, 不论方法1,方法2,都需要:独享调度资源组 吗?
参考回答:
在独享调度资源组上有的三方包支持使用 。第三方包,shell只能使用独享调度资源组,shell调用python资源,##@resource_reference{"ipaddress-1.0.23-py2.zip"}
import time
import datetime
import base64
import hashlib
import httplib
import json
import sys
import csv
import os
from odps import ODPS
解压压缩包
pathname = os.path.dirname(os.path.abspath('ipaddress-1.0.23-py2.zip'))
os.system('unzip ipaddress-1.0.23-py2.zip -d ' + pathname)
添加引用
sys.path.append(pathname)
import ipaddress #在这里引用
print ipaddress.ip_network(unicode("192.0.2.0/24"))
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571202
问题三:DataWorks如何调度参数使用时间 戳?
DataWorks如何调度参数使用时间 戳?
参考回答:
通过赋值节点二次处理调度参数https://help.aliyun.com/zh/dataworks/user-guide/process-the-return-values-of-scheduling-parameters#concept-2189101
无法直接使用函数二次处理调度参数的节点,如果想直接使用时间戳或其他时间格式,则可以先通过赋值节点将时间类型数据进行相应转换,再将处理后的结果传递给该节点使用。赋值节点的使用,详情请参见赋值节点。https://help.aliyun.com/zh/dataworks/user-guide/configure-an-assignment-node#task-2485378
例如,如果离线同步节点需要使用时间戳类型字段进行增量同步,则可以先通过赋值节点使用函数将时间类型数据转换为时间戳,再传递给离线同步节点使用。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571200
问题四:dataworks中发布的冒烟测试 ,是提交到生产环境测试还是只在开发环境测试?
dataworks中发布的冒烟测试 ,是提交到生产环境测试还是只在开发环境测试?
参考回答:
标准模式是提交到开发环境测试
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571199
问题五:DataWorks数据地图这里的变更记录,对于OSS的外部表,所有的历史记录都会捕获到嘛?
DataWorks数据地图这里的变更记录,对于OSS的外部表,所有的历史记录都会捕获到嘛?哪怕我drop掉了重建都可以嘛?
参考回答:
可以看到部分在dataworks上调度任务产出的ddl 这里不是完整的哈 drop后整张表都看不到了
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571198