DataWorks如何创建ODPS Spark节点创建Python资源?

DataWorks如何创建ODPS Spark节点创建Python资源?

展开
收起
真的很搞笑 2023-11-06 13:05:35 127 分享 版权
3 条回答
写回答
取消 提交回答
  • 在数据开发页面,鼠标悬停至image.png
    图标,单击MaxCompute > 资源 > Python。您也可以找到相应的业务流程,右键单击MaxCompute,选择新建 > 资源 > Python。在新建资源对话框中,输入资源名称,并选择目标文件夹。说明如果绑定多个实例,则需要选择MaxCompute引擎实例。资源名称只能包含中文、字母、数字、点、下划线(_)、减号(-),且必须加后缀名.py。创建的Python资源仅支持Python 2.x和Python 3.x版本的Python代码。单击新建。在节点的编辑页面,输入Python代码。代码示例如下,仅进行校检数值判断,非数据业务处理逻辑。# -- coding: utf-8 --import sysfrom pyspark.sql import SparkSessiontry:# for python 2reload(sys)sys.setdefaultencoding('utf8')except:# python 3 not neededpassif name == 'main':spark = SparkSession.builder.appName("spark sql").config("spark.sql.broadcastTimeout", 20 * 60).config("spark.sql.crossJoin.enabled", True).config("odps.exec.dynamic.partition.mode", "nonstrict").config("spark.sql.catalogImplementation", "odps").getOrCreate()def is_number(s):try:float(s)return Trueexcept ValueError:passtry:import unicodedataunicodedata.numeric(s)return Trueexcept (TypeError, ValueError):passreturn Falseprint(is_numb
    https://help.aliyun.com/document_detail/137513.html
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-07 21:01:08
    赞同 展开评论
  • 如果要在 DataWorks 中创建 ODPS Spark 节点并添加 Python 资源,请按照以下步骤操作:

    1. 登录 DataWorks 控制台。
    2. 选择要操作的项目并单击进入。
    3. 单击左侧菜单栏上的“开发”选项卡,然后单击“数据开发”。
    4. 单击左侧菜单栏上的“新建”按钮,然后选择“ODPS Spark 节点”。
    5. 在 ODPS Spark 节点的配置页面中,输入节点的名称和描述信息。
    6. 在语言类型下拉列表中选择 Python,并添加所需的资源。
    7. 单击“保存”按钮。
    2023-11-06 22:29:57
    赞同 展开评论
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在 DataWorks 中创建 ODPS Spark 节点并编写 Python 资源的方法如下:

    1. 登录 DataWorks 控制台。
    2. 进入目标项目:在项目列表中单击进入目标项目的名称。
    3. 进入开发模块:在项目首页中找到 “数据开发”选项卡,然后单击进入。
    4. 创建 ODPS Spark 节点:单击左侧面板中的 “新建”按钮,并选择 “ODPS Spark 节点”。
    5. 配置节点参数:输入节点的名称、描述信息和其他参数,并在 “语言”选项卡中选择 Python 作为节点的语言类型。
    6. 编写 Python 资源:在 “内容”选项卡中,撰写您的 Python 脚本代码。
    7. 执行节点:单击 “提交”按钮,并运行 ODPS Spark 节点以执行 Python 脚本。
    2023-11-06 14:28:35
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理