DataWorks产品使用合集之创建的UDF在业务流程中没有生效,但单独执行脚本是成功的,该怎么办

本文涉及的产品
DataWorks Serverless资源组免费试用套餐,300CU*H 3个月
简介: DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

问题一:DataWorks这里关联的派生指标,会在数据地图中展示么?


DataWorks这里关联的派生指标,会在数据地图中展示么?


参考回答:

可以参考看下


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/629698



问题二:DataWorks最新版dqc配置 图片描述的2个地方是不是有问题啊?


DataWorks最新版dqc配置 图片描述的2个地方是不是有问题啊?


参考回答:

问题1是期望可以像以前一样“推荐”表产出节点是么,现在下拉会展示 ;问题2 点击创建规则(之前截图里是筛选项)


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/629697



问题三:DataWorks写udf函数,没起作用,单独执行脚本是成功的,帮忙看看是哪的问题?


DataWorks写udf函数,没起作用,单独执行脚本是成功的,帮忙看看是哪的问题?

-- coding: utf-8 --

from odps.udf import annotate

@annotate('string->string')

class convert_latin_to_english(object):

def init(self):

self.mapping = {

'à': 'a', 'á': 'a',

'â': 'a', 'ã': 'a', 'ä': 'a', 'å': 'a', 'æ': 'ae', 'ç': 'c', 'è': 'e',

'é': 'e', 'ê': 'e', 'ë': 'e', 'ì': 'i', 'í': 'i', 'î': 'i', 'ï': 'i',

'ð': 'd', 'ñ': 'n', 'ò': 'o', 'ó': 'o', 'ô': 'o', 'õ': 'o', 'ö': 'o',

'ø': 'o', 'ù': 'u', 'ú': 'u', 'û': 'u', 'ü': 'u', 'ý': 'y', 'þ': 'th',

'ß': 'ss', 'ā': 'a', 'ă': 'a', 'ą': 'a', 'ć': 'c', 'ĉ': 'c', 'ċ': 'c',

'č': 'c', 'ď': 'd', 'đ': 'd', 'ē': 'e', 'ĕ': 'e', 'ė': 'e', 'ę': 'e',

'ě': 'e', 'ĝ': 'g', 'ğ': 'g', 'ġ': 'g', 'ģ': 'g', 'ĥ': 'h', 'ħ': 'h',

'ĩ': 'i', 'ī': 'i', 'ĭ': 'i', 'į': 'i', 'ı': 'i', 'ij': 'ij', 'ĵ': 'j',

'ķ': 'k', 'ĸ': 'k', 'ĺ': 'l', 'ļ': 'l', 'ľ': 'l', 'ŀ': 'l', 'ł': 'l',

'ń': 'n', 'ņ': 'n', 'ň': 'n', 'ʼn': 'n', 'ŋ': 'n', 'ō': 'o', 'ŏ': 'o',

'ő': 'o', 'œ': 'oe', 'ŕ': 'r', 'ŗ': 'r', 'ř': 'r', 'ś': 's', 'ŝ': 's',

'ş': 's', 'š': 's', 'ţ': 't', 'ť': 't', 'ŧ': 't', 'ũ': 'u', 'ū': 'u',

'ŭ': 'u', 'ů': 'u', 'ű': 'u', 'ų': 'u', 'ŵ': 'w', 'ŷ': 'y', 'ź': 'z',

'ż': 'z', 'ž': 'z', 'ſ': 's', 'ƀ': 'b', 'ƃ': 'b', 'ƅ': 'b', 'ƈ': 'c',

'ƌ': 'd', 'ƍ': 'd', 'ƒ': 'f', 'ƕ': 'hv', 'ƙ': 'k', 'ƚ': 'l', 'ƛ': 'l',

'ƞ': 'n', 'ơ': 'o', 'ƣ': 'oi', 'ƥ': 'p', 'ƨ': 's', 'ƪ': 's', 'ƫ': 't',

'ƭ': 't', 'ư': 'u', 'ƴ': 'y', 'ƶ': 'z', 'ƹ': 'z', 'ƺ': 'z', 'ƽ': 'z',

'ƾ': 'z', 'ƿ': 'w', 'dž': 'dz', 'lj': 'lj', 'nj': 'nj', 'ǎ': 'a', 'ǐ': 'i',

'ǒ': 'o', 'ǔ': 'u', 'ǖ': 'u', 'ǘ': 'u', 'ǚ': 'u', 'ǜ': 'u', 'ǝ': 'e',

'ǟ': 'a', 'ǡ': 'a', 'ǣ': 'ae', 'ǥ': 'g', 'ǧ': 'g', 'ǩ': 'k', 'ǫ': 'o',

'ǭ': 'o', 'ǯ': 'z', 'dz': 'dz', 'ǵ': 'g', 'ǹ': 'n', 'ǻ': 'a', 'ǽ': 'ae',

'ǿ': 'o', 'ȁ': 'a', 'ȃ': 'a', 'ȅ': 'e', 'ȇ': 'e', 'ȉ': 'i', 'ȋ': 'i',

'ȍ': 'o', 'ȏ': 'o', 'ȑ': 'r', 'ȓ': 'r', 'ȕ': 'u', 'ȗ': 'u', 'ș': 's',

'ț': 't', 'ȝ': 'g', 'ȟ': 'h', 'ȣ': 'ou', 'ȥ': 'z', 'ȧ': 'a', 'ȩ': 'e',

'ȫ': 'o', 'ȭ': 'o', 'ȯ': 'o', 'ȱ': 'o', 'ȳ': 'y', 'ȼ': 'c', 'ȿ': 's',

'ɀ': 'z', 'ɂ': 'z', 'ɇ': 'e', 'ɉ': 'j', 'ɋ': 'q', 'ɍ': 'r', 'ɏ': 'y'

# 添加更多的映射关系
    }
def evaluate(self, s):
    # 如果输入的字符串为空,直接返回空字符串
    if not s or s =='' or not isinstance(s, str):
        return None 
    result = ''
    for char in s.lower():
        if char in self.mapping:
            result += self.mapping[char]
        else:
            result += char
    return result

执行结果


参考回答:

UDF包部署问题:

确保你已经将包含UDF的Python包(或者只是UDF的.py文件)正确地上传并部署到了DataWorks的ODPS环境中。在DataWorks中,通常需要将Python文件打包成ZIP文件,并通过“资源管理”->“上传资源”来上传这个ZIP包。

确保ZIP包中的目录结构正确,通常只需要包含.py文件和可能的依赖文件。

UDF注册问题:

在DataWorks中,需要在“数据开发”->“函数管理”中注册你的UDF。确保注册时填写的函数名、类名、资源类型等信息正确无误。

特别注意函数签名(即输入输出类型)是否与你在@annotate中定义的一致。

权限问题:

确保你的DataWorks账号有足够的权限去执行这个UDF,包括读取和写入数据的权限。

环境问题:

DataWorks中的ODPS环境与你的本地环境可能有所不同,特别是在Python版本和已安装的库方面。检查DataWorks的ODPS环境中是否支持你的UDF所需的Python版本和库。

如果UDF依赖于外部库,确保这些库也被正确地上传并部署到了ODPS环境中。

SQL调用问题:

检查在SQL中调用UDF的方式是否正确。确保函数名、参数等都正确无误。

尝试在DataWorks的SQL编辑器中运行一个简单的UDF调用示例,以确认基本的调用逻辑没有问题。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/629696



问题四:DataWorks中pyodps3在生产空间无法访问外网是哪里要设置吗?


DataWorks中pyodps3在生产空间无法访问外网(pyodps3-requests.get(百度)),生产-ads空间的通不了,开发-ads、生产-cdm可以访问,是哪里要设置吗?


参考回答:

实际需要访问什么环境呢 目前有打通的方案 https://help.aliyun.com/zh/dataworks/product-overview/exclusive-resource-groups-for-scheduling?spm=a2c4g.11186623.0.i2#:~:text=%E8%B5%84%E6%BA%90%E7%BB%84%E3%80%82-,%E7%BD%91%E7%BB%9C%E8%BF%9E%E9%80%9A%E6%96%B9%E6%A1%88,-%E7%8B%AC%E4%BA%AB%E8%B0%83%E5%BA%A6

使用独享调度资源组


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/629695



问题五:DataWorks生产spark jar 能不能访问只和主账号有关系,跟谁调度作业无关?


DataWorks生产spark jar 能不能访问只和主账号有关系,跟谁调度作业无关?


参考回答:

和配置的生产访问者身份有关 这个身份目前只能指定一个账号


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/629693

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
19天前
|
DataWorks Kubernetes 大数据
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
|
24天前
|
SQL DataWorks 安全
DataWorks产品使用合集之如何实现分钟级调度
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
24天前
|
运维 DataWorks 监控
DataWorks产品使用合集之如何自定义UDTF
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
24天前
|
分布式计算 DataWorks API
DataWorks产品使用合集之如何设置把结果传入变量
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
24天前
|
DataWorks 安全 定位技术
DataWorks产品使用合集之怎么指定任务的执行时间
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
24天前
|
DataWorks 监控 Java
DataWorks产品使用合集之怎么查看并发数和jvm对应值
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
24天前
|
存储 分布式计算 DataWorks
DataWorks产品使用合集之如何引用第三方库
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
24天前
|
分布式计算 运维 DataWorks
DataWorks产品使用合集之如何实现任务的批量导入和导出
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
24天前
|
SQL DataWorks 安全
DataWorks产品使用合集之怎么跨项目移动sql任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
24天前
|
数据采集 JSON DataWorks
DataWorks产品使用合集之支持哪些数据引擎
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

相关产品

  • 大数据开发治理平台 DataWorks