t = odps.exist_table('table_test')
print(t)
from odps.tunnel import TableTunnel
tunnel = TableTunnel(odps)
download_session = tunnel.create_download_session('table_test')
with download_session.open_record_reader(0, download_session.count) as reader:
for record in reader:
# f=file('/opt/test,txt', 'a+')
# f.wirtelines(record)
# f.close()
不会python,只使用下载,其他功能很少使用,就是想利用python从特定位置下载数据,使用python可以做到吗?
比如,昨天库中文件有 10000 条,今天又加入了 1000 条,只下载今天的 1000 条。
您需要知道,ODPS 是分布式的数据存储,表里的数据并没有顺序,期望通过 offset 来做增量下载是不可靠的。
一个可以变通的方法是按照日期来做分区。每次下载新增的分区。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。