开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks怎么新增第三方包from Crypto.Cipher import AES?

dataworks怎么新增第三方包from Crypto.Cipher import AES?

展开
收起
真的很搞笑 2023-07-16 14:23:59 141 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在DataWorks中新增第三方包,需要进行以下步骤:

    在DataWorks控制台创建Python资源:在DataWorks控制台中,选择需要使用的ODPS项目,在项目管理页面中选择“资源管理”标签页,然后选择“新建资源”按钮,创建一个Python资源。

    在Python资源中安装第三方包:在创建Python资源后,可以通过DataWorks提供的在线编辑器或者本地编辑器(例如PyCharm)等工具,编辑Python脚本并安装需要的第三方包。以安装Crypto.Cipher模块为例,可以在Python脚本中使用以下命令进行安装:

    python
    Copy
    !pip install pycrypto -t /path/to/python/package
    其中,/path/to/python/package表示Python包的路径,可以根据实际情况进行设置。

    将Python资源引用到ODPS SQL任务中:在Python资源中安装完所需的第三方包后,需要在ODPS SQL任务中引用该Python资源。可以通过在ODPS SQL任务的SQL语句中使用以下语句,引用Python资源:
    sql
    Copy
    ADD FILE py_resource_name.py;
    其中,py_resource_name.py表示Python资源的名称。

    在ODPS SQL任务中使用第三方包:在Python资源引用到ODPS SQL任务中后,就可以在ODPS SQL任务的自定义函数中使用第三方包了,例如:
    sql
    Copy
    CREATE FUNCTION my_encrypt(data STRING, key STRING) AS 'my_module.encrypt' USING 'py_resource_name.py';
    其中,my_module.encrypt表示Python脚本中的自定义函数,py_resource_name.py表示Python资源的名称。

    2023-07-21 20:07:38
    赞同 展开评论 打赏
  • 在DataWorks中新增第三方包(如Crypto.Cipher模块)的步骤如下:

    1. 打开DataWorks控制台,选择对应的项目空间。

    2. 在项目空间中,点击左侧导航栏中的“资源”选项,然后选择“函数资源”。

    3. 在函数资源页面上,点击右上角的“新建资源”按钮。

    4. 在弹出的对话框中,选择“上传jar包”。

    5. 点击“选择文件”按钮,从本地选择并上传包含所需第三方库的.jar文件。例如,你可以将包含Crypto.Cipher模块的PyCryptodome库打包为.jar文件。

    6. 上传完成后,填写资源的名称、描述等相关信息,并选择合适的运行环境(如Python 3.x)。

    7. 点击“确定”按钮,完成资源的创建。

    现在,你已经成功新增了包含Crypto.Cipher模块的第三方包作为函数资源。接下来,在DataWorks的任务中使用这个资源,可以按照以下步骤操作:

    1. 在DataWorks控制台中,找到对应的数据开发任务。

    2. 进入该任务的编辑页面,在需要使用Crypto.Cipher模块的代码中,添加以下语句引入模块:

      from Crypto.Cipher import AES
      
    3. 在任务的配置页面中,找到“资源引用”选项,点击“添加资源”,选择刚才创建的函数资源。

    4. 确认并保存任务配置。

    现在,你可以在DataWorks的任务中使用Crypto.Cipher模块了。当任务运行时,它会自动加载所需的第三方包。

    2023-07-18 14:25:21
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多