暂无个人介绍
2023年07月
非公网区域,注册到schedulerx,必须是阿里云vpc网络,此回答整理自钉群“【外部】SchedulerX阿里任务调度
在流水线上只有出公网的机器才能拉取到部署任务,您需要通过脚本去登录到其他的主机上进行执行命令部署。此回答整理自钉群“云效交付域答疑群”
确认看下是不是主账号欠费了呢,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
如果集群网络插件选的是 terway,pod数量是有限制。
轻量pod可以考虑用 flannel,pod 数量上限只与集群设置有关(k8s 默认110,创建集群时还可以选择 16 32 64 128)。但网络插件不支持切换,此回答整理自钉群“容器服务ACK 用户交流-1群“
2023-08-08 16:10:04 实际执行的时间也是符合预期的对么 只是等待时间状态的时候 打印的日志不符合预期 今天看这个实例已经执行成功了 您还有其他在等待时间状态的实例ID吗 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
1.调用获取审批实例列表接口:https://developers.dingtalk.com/document/app/operation-to-retrieve-a-list-of
此回答整理自钉群“钉钉开发者社区(互助群)”
你一次性把
这些维表数据都读取到内存里,做ckp当然越做越大,你要改成look up join,你知道u1 u2 u3表有多少数据吗?cdc源表还有不断地数据增加,这都是你需要考虑的点哦,改成lookup join,基本就没你说的问题了。此回答整理自钉群“Flink CDC 社区”
网络打通可以参考这篇:https://help.aliyun.com/zh/dataworks/user-guide/establish-a-network-connection-between-a-resource-group-and-a-data-source 此回答整理自钉群“DataWorks交流群(答疑@机器人)”
针对问题二的回答:可以不开通 走 servicemesh 才需要
针对问题三的回答:嗯。得是主账号才行... 主账号才能授权一些基础使用权限
针对问题四的回答:选择demo镜像—此回答来自钉群“【用户】EDAS技术探究专区”
针对问题二的回答:控制台右上角:
只要是能访问到 就可以正常抵扣 流量包 这个肯定是没问题的,问题是这个小程序没承诺对接过 不确定能否对接上(OSS没问题,点播存储没验证过),所以您这边如果能对接上(bucket name 从点播控制台获取),那就是OK的
存储看存储管理:
针对问题三的回答:点播控制台
—此回答来自钉群”阿里云-VOD-视频点播-技术交流(进群先看公告)“
建议您电话售后:400-80-13260 进行加急。此回答整理自钉群“【外部】阿里云dns客户交流3群”。
建议咨询淘宝客服跳转的时候能不能不用https。此回答整理自钉群“【外部】阿里云dns客户交流3群”。
报错现象: 如果数据中包括表情符,在同步过程中可能会报错脏数据:[13350975-0-0-writer] ERROR StdoutPluginCollector - 脏数据 {"exception":"Incorrect string value: '\xF0\x9F\x98\x82\xE8\xA2...' for column 'introduction' at row 1","record":[{"byteSize":8,"index":0,"rawData":9642,"type":"LONG"},}],"type":"writer"} 。可能原因:数据库相关编码未设置为utf8mb4,导致同步表情符报错。源端的数据本身就是乱码。数据库和客户端的编码不一样。浏览器编码不一样,导致预览失败或乱码。解决方案: 针对产生乱码的不同原因,选择相应的解决方法:如果您的原始数据乱码,需首先处理好原始数据,再进行同步任务。数据库和客户端编码格式不一致,需先修改编码格式。浏览器编码和数据库或客户端编码格式不一致,需先统一编码格式,然后进行数据预览。您可以尝试以下操作:JDBC格式添加的数据源修改utf8mb4:jdbc:mysql://xxx.x.x.x:3306/database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45。
添加数据源:在数据库名后拼接,格式为database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45。修改数据库相关的编码格式为utf8mb4。例如,在RDS控制台修改RDS的数据库编码格式。说明 设置RDS数据源编码格式命令:set names utf8mb4。查看RDS数据库编码格式命令:
show variables like 'char%'。
https://help.aliyun.com/document_detail/146663.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在节点运行日志里面查instance
或者在TASKS_HISTORY的settings字段里面搜SKYNET_ID就是节点ID,SKYNET_ID 节点id
SKYNET_NODENAME:节点名称。此回答整理自钉群“MaxCompute开发者社区2群”
可以通过以下步骤调用钉钉开放平台的审批流接口并获取审批实例详情信息: 1. 调用接口获取审批流对应的审批实例。 2. 调用获取单个审批实例详情接口,获取审批实例详情信息。 需要注意的是,在调用接口时,需要具备工作流实例读权限的企业内部应用权限。在调用该接口时,需要传入processCode、startTime、endTime等参数,其中startTime和endTime的时间距离当前时间不能超过120天。如果传入了startTime和endTime参数,则时间范围不能超过120天,同时startTime时间距当前时间不能超过365天。 —此回答来自钉群“钉钉开发者社区(互助群)”
系统变量系统变量 说明
unknown 项目ID。
unknown MaxCompute项目名。
unknown 节点ID。
unknown 实例定时时间所在天的00:00:00,格式为yyyy-MM-dd 00:00:00。
unknown 任务实例序号,代表该实例在当天同节点实例中的序号。
unknown 实例定时时间。
unknown 实例的状态:成功(SUCCESS)、失败(FAILURE)。
unknown 业务日期。
unknown 实例结束时间。
unknown 实例运行类型:正常(NORMAL)、手动(MANUAL)、暂停(PAUSE)、空跑(SKIP)、未选择(UNCHOOSE)、周月空跑(SKIP_CYCLE)。
unknown 节点名称。其它参数设置请参见基础属性:调度参数。
https://help.aliyun.com/document_detail/137553.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
报错现象: 如果数据中包括表情符,在同步过程中可能会报错脏数据:[13350975-0-0-writer] ERROR StdoutPluginCollector - 脏数据 {"exception":"Incorrect string value: '\xF0\x9F\x98\x82\xE8\xA2...' for column 'introduction' at row 1","record":[{"byteSize":8,"index":0,"rawData":9642,"type":"LONG"},}],"type":"writer"} 。可能原因:数据库相关编码未设置为utf8mb4,导致同步表情符报错。源端的数据本身就是乱码。数据库和客户端的编码不一样。浏览器编码不一样,导致预览失败或乱码。解决方案: 针对产生乱码的不同原因,选择相应的解决方法:如果您的原始数据乱码,需首先处理好原始数据,再进行同步任务。数据库和客户端编码格式不一致,需先修改编码格式。浏览器编码和数据库或客户端编码格式不一致,需先统一编码格式,然后进行数据预览。您可以尝试以下操作:JDBC格式添加的数据源修改utf8mb4:jdbc:mysql://xxx.x.x.x:3306/database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45。
修改数据库相关的编码格式为utf8mb4。例如,在RDS控制台修改RDS的数据库编码格式。说明 设置RDS数据源编码格式命令:set names utf8mb4。查看RDS数据库编码格式命令:
show variables like 'char%'。
https://help.aliyun.com/document_detail/146663.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
细分类型内置参数 定义
$bizdate 业务日期,格式为yyyymmdd。 该参数的应用较为广泛,日常调度中默认运行时间的前一天为业务日期。
$cyctime 任务的定时时间,格式为yyyymmddhh24miss。
$gmtdate 当前日期,格式为yyyymmdd。 该参数默认为当天日期,补数据时传入的是业务日期+1。
$bizmonth 业务月份,格式为yyyymm。
$jobid 任务所属的业务流程ID。
$nodeid 节点ID。
$taskid 任务ID。赋值引用要求(ODPS SQL节点、离线同步节点、PyODPS节点)需要在调度配置 > 基础属性中的参数中赋值,需使用多个调度参数时,各个参数间使用一个空格分隔。赋值的格式为:key1=value1 key2=value2,其中key1、key2是自定义的参数名称,value1、value2是系统内置参数,DataWorks当前可用的系统内置参数列表可参见上述表格表 1。引用格式为:ODPS SQL节点、EMR类型节点和离线数据同步节点 直接引用unknown、unknown,其中key1和key2是自定义的参数名称。例如,dt=unknown。
PyODPS节点 在全局变量中增加一个名为args的字典对象:args=['key1'] args=['key2']。其中key1和key2是自定义的参数名称。赋值引用要求(通用Shell节点)赋值格式为:value1 value2,其中value1、value2是系统内置参数,DataWorks当前可用的系统内置参数列表可参见上述表格表 1。引用格式 在代码中引用变量$1,$2 ...。说明 EMR Shell节点和EMR Spark Shell节点,请参考ODPS SQL节点引用方式。
https://help.aliyun.com/document_detail/137548.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
可以使用 listMessage 接口获取历史消息,具体定义可查看这份文档。interface BasicMap< U > {
}
export interface IMCreateGroupRspModel {
groupId?: string; // 消息组id
}
export interface IMCreateGroupReqModel {
extension?: BasicMap; // 业务扩展字段
}
export interface IMGetGroupRspModel {
groupId?: string; // 话题id, 聊天插件实例id
extension?: BasicMap; // 业务扩展字段
createTime?: number; // 创建时间
status?: number; // 群组状态
creatorId?: string; // 创建者id
isMuteAll?: boolean; // 是否被全体禁言
}
export interface IMGetGroupReqModel {
groupId?: string; // 话题id, // 话题id,// 话题id, 聊天插件实例id
userNick?: string; // 用户昵称
userAvatar?: string; // 用户头像
userExtension?: string; // 用户扩展信息
broadCastType?: number; // 系统消息扩散类型,0: 不扩散;1:扩散到指定人; 2:扩散到群组
broadCastStatistics?: boolean; // 是否扩散统计类消息, 默认为0,false; 取值 0:不扩散统计信息;1:扩散统计信息;统计信息包含PV、UV、onlineCount
}
export interface IMLeaveGroupRspModel {
}
export interface IMLeaveGroupReqModel {
groupId?: string; // 话题id, 聊天插件实例id
broadCastType?: number; // 系统消息扩散类型,0: 不扩散;1:扩散到指定人; 2:扩散到群组
}
export interface IMListGroupUserRspModel {
total?: number; // 总数
userList?: Array; // 返回的消息组的在线成员列表
hasMore?: boolean; // 是否还剩数据
}
export interface IMGroupUserModel {
userId?: string; // 用户的id
joinTime?: number; // 加入时间
}
export interface IMListGroupUserReqModel {
groupId?: string; // 话题id, 聊天插件实例id
sortType?: number; // 排序方式,0-时间递增顺序,1-时间递减顺序
pageNum?: number; // 分页拉取的索引下标,第一次调用传1,后续调用+1
pageSize?: number; // 分页拉取的大小,默认50条,最大200条
}
export interface IMGetGroupStatisticsRspModel {
groupId?: string; // 话题id, 聊天插件实例id
createTime?: number; // 创建时间
status?: number; // 群组状态
likeCount?: number; // 点赞数
pv?: number; // PV
uv?: number; // UV
onlineCount?: number; // 在线人数
isMuteAll?: boolean; // 是否全局被禁言
}
export interface IMGetGroupStatisticsReqModel {
groupId?: string; // 消息组id
}
export interface IMGetGroupUserByIdListRspModel {
userList?: Array; // 消息组id
}
export interface IMGroupUserDetailModel {
userId?: string; // 用户id
userNick?: string; // 用户昵称
userAvatar?: string; // 用户头像
userExtension?: string; // 用户扩展信息
isMute?: boolean; // 用户的加入时间
muteBy?: Array; // 被禁言的原因["group","user"]
}
export interface IMGetGroupUserByIdListReqModel {
groupId?: string; // 消息组id
userIdList?: Array; // 用户昵称
}
export interface IMSendMessageToGroupRspModel {
messageId?: string; // 消息唯一ID标识
}
export interface IMSendMessageToGroupReqModel {
groupId?: string; // 话题id,聊天插件实例id
type?: number; // 消息类型,小于等于10000位系统消息,大于10000位自定义消息
data?: string; // 消息体
skipMuteCheck?: boolean; // 跳过禁言检测,true: 忽略被禁言用户,还可发消息;false: 当被禁言时,消息无法发送,默认为false,即为不跳过禁言检测。
skipAudit?: boolean; // 跳过安全审核,true: 发送的消息不经过阿里云安全审核服务审核;false:发送的消息经过阿里云安全审核服务审核,审核失败则不发送;
level?: number; // 消息分级:0-普通;1-低优先级; 2-高优先级
}
export interface IMSendMessageToGroupUsersRspModel {
messageId?: string; // 消息唯一ID标识
}
export interface IMSendMessageToGroupUsersReqModel {
groupId?: string; // 话题id,聊天插件实例id
type?: number; // 话题id,聊天插件实例id
data?: string; // 消息体
receiverIdList?: Array; // 接收者用户ID列表,最大100人
// 若 skipMuteCheck 为 true,该消息不会保存,无法从 listMessage 接口得到
skipMuteCheck?: boolean; // 跳过禁言检测,true: 忽略被禁言用户,还可发消息;false: 当被禁言时,消息无法发送,默认为false,即为不跳过禁言检测。
skipAudit?: boolean; // 跳过安全审核,true: 发送的消息不经过阿里云安全审核服务审核;false:发送的消息经过阿里云安全审核服务审核,审核失败则不发送;
level?: number; // 消息分级:0-普通;1-低优先级; 2-高优先级
messageId?: string; // 消息Id, 用于重传消息时指定
}
export interface IMListMessageRspModel {
messageList?: Array; // 返回的消息组历史消息列表
hasMore?: boolean; // 是否还剩数据
}
export interface IMMessageModel {
groupId?: string; // 话题id,聊天插件实例id
messageId?: string; // 消息id
type?: number; // 消息类型。系统消息小于10000
senderId?: string; // 发送者id
data?: string; // 消息内容,为xxDataModel转为字符串而来
senderInfo?: string; // 发送者信息 (弃用, 必须为空)
level?: number; // 消息分级:0-普通;1-低优先级; 2-高优先级
userInfo?: IMUserModel; // 发送者信息
}
export interface IMUserModel {
userId?: string; // 用户id
userNick?: string; // 用户昵称
userAvatar?: string; // 用户头像
userExtension?: string; // 用户扩展信息
}
export interface IMListMessageReqModel {
groupId?: string; // 话题id, 聊天插件实例id
sortType?: number; // 排序方式,0-时间递增顺序,1-时间递减顺序
type?: number; // 消息类型,与 sendMessageToGroup 所传的 type 一致
pageNum?: number; // 分页拉取的索引下标,第一次调用传1,后续调用+1
pageSize?: number; // 分页拉取的大小,默认50条,最大200条
}
export interface IMSendLikeRspModel {
intervalSecond?: number; // 服务端限流发送弹幕间隔,单位为秒
likeCount?: number; // 点赞总数
}
export interface IMSendLikeReqModel {
groupId?: string; // 话题id, 聊天插件实例id
count?: number; // 点赞数
broadCastType?: number; // 系统消息扩散类型,0: 不扩散;1:扩散到指定人; 2:扩散到群组
}
export interface IMMuteAllRspModel {
}
export interface IMMuteAllReqModel {
groupId?: string; // 话题id,聊天插件实例id
broadCastType?: number; // 系统消息扩散类型,0: 不扩散;1:扩散到指定人; 2:扩散到群组
}
export interface IMCancelMuteAllRspModel {
}
export interface IMCancelMuteAllReqModel {
groupId?: string; // 话题id,聊天插件实例id
broadCastType?: number; // 系统消息扩散类型,0: 不扩散;1:扩散到指定人; 2:扩散到群组
}
export interface IMMuteUserRspModel {
}
export interface IMMuteUserReqModel {
groupId?: string; // 话题id, 聊天插件实例id
muteUserList?: Array; // 需要禁言的用户列表,最大200个
muteTime?: number; // 禁言的时间,单位为s,如果不传或者传0则采用默认禁言时间
broadCastType?: number; // 系统消息扩散类型,0: 不扩散;1:扩散到指定人; 2:扩散到群组
}
export interface IMCancelMuteUserRspModel {
}
export interface IMCancelMuteUserReqModel {
groupId?: string; // 话题id, 聊天插件实例id
cancelMuteUserList?: Array; // 被取消禁言的用户列表,最大200个
broadCastType?: number; // 系统消息扩散类型,0: 不扩散;1:扩散到指定人; 2:扩散到群组
}
export interface IMListMuteUsersRspModel {
muteUserModelList?: Array; // 禁言用户列表
}
export interface IMMuteUserModel {
userId?: string; // 禁言的用户id
}
export interface IMListMuteUsersReqModel {
groupId?: string; // 话题id, 聊天插件实例id
}
declare class Emitter {
/**
export declare class InteractionEngine extends Emitter {
/**
@return {InteractionEngine}
*/
static create(): InteractionEngine;
/**
@return {string} deviceId
*/
static getDeviceId(): string;
/**
@return {Promise}
*/
auth(base64token: string): Promise;
/**
退出登录
*/
logout(): Promise;
/**
@return {Promise}
*/
createGroup(options?: IMCreateGroupReqModel): Promise;
/**
@return {Promise}
*/
getGroup(options: IMGetGroupReqModel): Promise;
/**
@return {Promise}
*/
closeGroup(options: IMCloseGroupReqModel): Promise;
/**
@return {Promise}
*/
joinGroup(options: IMJoinGroupReqModel): Promise;
/**
@return {Promise}
*/
leaveGroup(options: IMLeaveGroupReqModel): Promise;
/**
@return {Promise}
*/
listGroupUser(options: IMListGroupUserReqModel): Promise;
/**
@return {Promise}
*/
sendMessageToGroup(options: IMSendMessageToGroupReqModel): Promise;
/**
@return {Promise}
*/
sendMessageToGroupUsers(options: IMSendMessageToGroupUsersReqModel): Promise;
/**
@return {Promise}
*/
sendLike(options: IMSendLikeReqModel): Promise;
/**
@return {Promise}
*/
listMessage(options: IMListMessageReqModel): Promise;
/**
@return {Promise}
*/
getGroupStatistics(options: IMGetGroupStatisticsReqModel): Promise;
/**
@return {Promise}
*/
getGroupUserByIdList(options: IMGetGroupUserByIdListReqModel): Promise;
/**
@return {Promise}
*/
muteAll(options: IMMuteAllReqModel): Promise;
/**
@return {Promise}
*/
cancelMuteAll(options: IMCancelMuteAllReqModel): Promise;
/**
@return {Promise}
*/
muteUser(options: IMMuteUserReqModel): Promise;
/**
@return {Promise}
*/
cancelMuteUser(options: IMCancelMuteUserReqModel): Promise;
/**
export enum InteractionEventNames {
Message = 'message',
}
export enum InteractionMessageTypes {
PaaSLikeInfo = 1001, // 点赞数据
PaaSUserJoin = 1002, // 用户进入消息组
PaaSUserLeave = 1003, // 用户离开消息组
PaaSMuteGroup = 1004, // 禁言消息组
PaaSCancelMuteGroup = 1005, // 取消禁言消息组
PaaSMuteUser = 1006, // 禁言消息组某个用户
PaaSCancelMuteUser = 1007, // 取消禁言消息组某个用户
}注意,因为客户传了,
这样的消息不会进行存储,因此查不到。此回答整理自钉群“AUI客户支持群”
查Information Schema.tasks_history
有一个字段settings会传DataWorks调度任务相关的内容。
SKYNET_ID 节点id
SKYNET_NODENAME:节点名称
只能根据Information Schema自定义count了,MaxCompute没有提供调度频次这个数据。此回答整理自钉群“MaxCompute开发者社区2群”