开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

你好,请问DataWorks中我用Pyodps写excel时报这个错,是由于独享资源组内存或文件大?

你好,请问DataWorks中我用Pyodps写excel时报这个错,是由于独享资源组内存或文件大小限制吗,我该怎么搞?Traceback (most recent call last): File "/home/tops/lib/python3.7/site-packages/xlsxwriter/workbook.py", line 324, in close self._store_workbook() File "/home/tops/lib/python3.7/site-packages/xlsxwriter/workbook.py", line 709, in _store_workbook xml_files = packager._create_package() File "/home/tops/lib/python3.7/site-packages/xlsxwriter/packager.py", line 137, in _create_package self._write_worksheet_files() File "/home/tops/lib/python3.7/site-packages/xlsxwriter/packager.py", line 193, in _write_worksheet_files worksheet._assemble_xml_file() File "/home/tops/lib/python3.7/site-packages/xlsxwriter/worksheet.py", line 4225, in _assemble_xml_file self._write_sheet_data() File "/home/tops/lib/python3.7/site-packages/xlsxwriter/worksheet.py", line 5874, in _write_sheet_data self._write_rows() File "/home/tops/lib/python3.7/site-packages/xlsxwriter/worksheet.py", line 6071, in _write_rows self._write_cell(row_num, col_num, col_ref) File "/home/tops/lib/python3.7/site-packages/xlsxwriter/worksheet.py", line 6260, in _write_cell self._xml_string_element(string, attributes) File "/home/tops/lib/python3.7/site-packages/xlsxwriter/xmlwriter.py", line 108, in _xml_string_element self.fh.write("""<c%s t="s">%d""" % (attr, index)) OSError: [Errno 27] File too large During handling of the above exception, another exception occurred: Traceback (most recent call last): File "<pyodps_user_code>", line 159, in download_to_excel(excel_name,field_map,sql) File "<pyodps_user_code>", line 26, in download_to_excel writer.save() File "/home/tops/lib/python3.7/site-packages/pandas/io/excel/_xlsxwriter.py", line 195, in save return self.book.close() File "/home/tops/lib/python3.7/site-packages/xlsxwriter/workbook.py", line 326, in close raise FileCreateError(e) xlsxwriter.exceptions.FileCreateError: [Errno 27] File too large数据量也就30来W条,100M以内,不是很大的

展开
收起
真的很搞笑 2023-06-10 19:23:01 199 0
2 条回答
写回答
取消 提交回答
  • 这个错误提示是由于XlsxWriter库在写Excel文件时出现了问题,可能是由于文件过大或者内存不足导致的。你可以尝试以下几种方法:

    1、分割数据:如果你的文件过大,可以将数据分割成多个文件,然后将它们合并成一个文件。

    2、增加内存和文件大小限制:你可以尝试在独享资源组中增加内存和文件大小限制的大小,然后再次尝试运行程序。

    3、使用其他库:如果以上方法都不起作用,你可以尝试使用其他的库来生成Excel文件,例如openpyxl、xlwt、pandas等。

    4、优化代码:你也可以检查代码是否存在一些可以优化的部分,例如减小数据量、减少循环次数等,来减少内存使用和文件大小。

    2023-06-11 19:20:49
    赞同 展开评论 打赏
  • 根据您提供的信息,这个错误可能是由于DataWorks的内存或文件大小限制导致的。您可以尝试以下几种方法来解决这个问题:

    增加DataWorks的内存或文件大小限制。您可以联系阿里云的客服或技术支持团队来帮助您完成此操作。 将数据拆分成多个文件进行导出。您可以将数据集拆分成多个子集,然后分别导出到不同的Excel文件中。这样可以避免单个文件过大导致导出失败的问题。 使用其他数据导出工具。如果您需要导出大量数据,您可以考虑使用其他数据导出工具,如Apache Spark、Pandas等。这些工具通常具有更强大的数据处理能力和更大的内存和文件大小限制。 希望这些方法可以帮助您解决问题。

    2023-06-11 17:08:43
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多