开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

sftp上excel文件能同步至odps吗?

已解决

sftp上excel文件能同步至odps吗?

展开
收起
爱喝咖啡嘿 2022-12-09 18:17:45 422 0
2 条回答
写回答
取消 提交回答
  • 推荐回答

    可以查看一下哈 https://help.aliyun.com/document_detail/137670.html?spm=a2c4g.11186623.2.13.5d7f4797AYDGRm#concept-uzy-hgv-42b lQLPJxoF5Yd2S_TNA0TNCViwl9SMm94chdADjIFU3EBaAA_2392_836.png——此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2022-12-12 12:09:26
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    分析: 1.数据同步上传和下载可以使用ftp的方式,当然也有其他方式。 2.数据存到本地后可以使用oracle自带的sqloader来加载文件到数据库中。 具体实现: 1.写一个sqlloader的控制文件,取名为res_count.ctl OPTIONS (skip=1,rows=128) load data infile'/wjjk_oracle/export_files/fm_to_datang_files/res_count.txt' --本来这里是res_count.csv文件,但是不知道是不是对方提供的csv编码有问题,导进去为空,就转成了制表符的txt。 2.写一个shell脚本,取名为:res_count.sh.做数据同步,并执行sqlloder的控制文件。

    #!/bin/shexport ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1/export LANG=en_US.utf8

    HOST=11.11.11.11USER=net

    PASS=OSUsernet_

    cd/wjjk_oracle/export_files/fm_to_datang_filesecho "Starting to sftp..."#nohup sqlplus rmssc/rms4sc @/wjjk_oracle/export_script/fm_to_datang/res_count_delete.sql curdate="date +%Y%m%d"filename="$curdate"".csv"lftp-u ${USER},${PASS} sftp://${HOST} < cd /backup/statistics mget $filename bye EOFmv${filename} res_count.csvecho 'start sqlldr'

    /u01/app/oracle/product/11.2.0/db_1/bin/sqlldr user/password@rms_51 control='/wjjk_oracle/export_script/fm_to_datang/res_count.ctl'mv res_count.csv ${filename} 3.最后创建一个定时任务,crontab这个命令,可以网上自己查用法。 00 22 * * * /wjjk_oracle/export_script/fm_to_datang/res_count.sh >> /wjjk_oracle/export_script/fm_to_datang/res_count.log 2>&1 &

    2022-12-10 15:38:51
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载