开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何创建ODPS Spark节点创建Python资源?

DataWorks如何创建ODPS Spark节点创建Python资源?

展开
收起
真的很搞笑 2023-04-29 17:01:11 142 0
1 条回答
写回答
取消 提交回答
  • **在数据开发页面,鼠标悬停至image.png 图标,单击MaxCompute > 资源 > Python。您也可以找到相应的业务流程,右键单击MaxCompute,选择新建 > 资源 > Python。在新建资源对话框中,输入资源名称,并选择目标文件夹。说明如果绑定多个实例,则需要选择MaxCompute引擎实例。资源名称只能包含中文、字母、数字、点、下划线(_)、减号(-),且必须加后缀名.py。创建的Python资源仅支持Python 2.x和Python 3.x版本的Python代码。单击新建。在节点的编辑页面,输入Python代码。代码示例如下,仅进行校检数值判断,非数据业务处理逻辑。# -- coding: utf-8 --import sysfrom pyspark.sql import SparkSessiontry:# for python 2reload(sys)sys.setdefaultencoding('utf8')except:# python 3 not neededpassif name == 'main':spark = SparkSession.builder.appName("spark sql").config("spark.sql.broadcastTimeout", 20 * 60).config("spark.sql.crossJoin.enabled", True).config("odps.exec.dynamic.partition.mode", "nonstrict").config("spark.sql.catalogImplementation", "odps").getOrCreate()def is_number(s):try:float(s)return Trueexcept ValueError:passtry:import unicodedataunicodedata.numeric(s)return Trueexcept (TypeError, ValueError):passreturn Falseprint(is_numb https://help.aliyun.com/document_detail/137513.html ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-01 15:46:13
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Hybrid Cloud and Apache Spark 立即下载
    Scalable Deep Learning on Spark 立即下载
    Comparison of Spark SQL with Hive 立即下载