在大数据计算MaxCompute中，遇到这种情况怎么做？
在大数据计算MaxCompute中，遇到这种情况怎么做？spark-sql> select count() from external_tabledd ;
10:28:20.184 [main] ERROR org.apache.spark.sql.hive.thriftserver.SparkSQLDriver - Failed in [select count() from external_tabledd ]
java.io.IOException: Create table read session failed.
Table identifier: taikang.default.external_tabledd.
Session status: CRITICAL.
Session id: 20240112102805c4d9c20b05fb23cd.
Error message: std::exception,20240112102805c4d9c20b05fb23c3.
at com.aliyun.odps.table.read.impl.batch.TableBatchReadSessionImpl.planInputSplits(TableBatchReadSessionImpl.java:195) ~[spark-odps-datasource-3.3.1-odps0.43.0.jar:?]
at com.aliyun.odps.table.read.impl.batch.TableBatchReadSessionBase.(TableBatchReadSessionBase.java:89) ~[spark-odps-datasource-3.3.1-odps0.43.0.jar:?]
at com.aliyun.odps.table.read.impl.batch.TableBatchReadSessionImpl.(TableBatchReadSessionImpl.java:92) ~[spark-odps-datasource-3.3.1-odps0.43.0.jar:?]
at com.aliyun.odps.table.read.impl.TableReadSessionProviderImpl.createBatchReadSession(TableReadSessionProviderImpl.java:46) ~[spark-odps-datasource-3.3.1-odps0.43.0.jar:?]
at com.aliyun.odps.table.read.TableReadSessionBuilder.buildBatchReadSession(TableReadSessionBuilder.java:180) ~[spark-odps-datasource-3.3.1-odps0.43.0.jar:?]
at org.apache.spark.sql.execution.datasources.v2.odps.OdpsScan.createPartitions(OdpsScan.scala:168) ~[spark-odps-datasource-3.3.1-odps0.43.0.jar:?]
at org.apache.spark.sql.execution.datasources.v2.odps.OdpsScan.partitions$lzycompute(OdpsScan.scala:74) ~[spark-odps-datasource-3.3.1-odps0.43.0.jar:?]
at org.apache.spark.sql.execution.datasources.v2.odps.OdpsScan.partitions(OdpsScan.scala:74) ~[spark-odps-datasource-3.3.1-odps0.43.0.jar:?]
at org.apache.spark.sql.execution.datasources.v2.odps.OdpsScan.planInputPartitions(OdpsScan.scala:178) ~[spark-odps-datasource-3.3.1-odps0.43.0.jar:?]
at org.apache.spark.sql.execution.datasources.v2.BatchScanExec.partitions$lzycompute(BatchScanExec.scala:52) ~[spark-sql_2.12-3.2.0-kylin-4.6.13.0.jar:3.2.0-kylin-4.6.13.0]
at org.apache.spark.sql.execution.datasources.v2.BatchScanExec.partitions(BatchScanExec.scala:52) ~[spark-sql_2.12-3.2.0-kylin-4.6.13.0.jar:3.2.0-kylin-4.6.13.0]
at org.apache.spark.sql.execution.datasources.v2.DataSourceV2ScanExecBase.supportsColumnar(DataSourceV2ScanExecBase.scala:93) ~[spark-sql_2.12-3.2.0-kylin-4.6.13.0.jar:3.2.0-kylin-4.6.13.0]
at org.apache.spark.sql.execution.datasources.v2.DataSourceV2ScanExecBase.supportsColumnar$(DataSourceV2ScanExecBase.scala:92) ~[spark-sql_2.12-3.2.0-kylin-4.6.13.0.jar:3.2.0-kylin-4.6.13.0]
at org.apache.spark.sql.execution.datasources.v2.BatchScanExec.supportsColumnar(BatchScanExec.scala:35) ~[spark-sql_2.12-3.2.0-kylin-4.6.13.0.jar:3.2.0-kylin-4.6.13.0]
at org.apache.spark.sql.execution.datasources.v2.DataSourceV2Strategy.apply(DataSourceV2Strategy.scala:127) ~[spark-sql_2.12-3.2.0-kylin-4.6.13.0.jar:3.2.0-kylin-4.6.13.0]
at org.apache.spark.sql.catalyst.planning.QueryPlanner.$anonfun$plan$1(QueryPlanner.scala:63) ~[spark
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。在大数据计算MaxCompute中，遇到这种情况可以尝试以下方法：
检查表的分区设置是否正确。如果表没有正确设置分区，可能会导致创建读取会话失败。可以使用
ALTER TABLE语句来修改表的分区设置。检查网络连接是否正常。如果网络连接不稳定，可能会导致创建读取会话失败。可以尝试重新执行查询或者等待一段时间后再次尝试。
检查MaxCompute集群的资源是否足够。如果资源不足，可能会导致创建读取会话失败。可以尝试增加集群的资源或者等待一段时间后再次尝试。
检查表的数据量是否过大。如果表的数据量过大，可能会导致创建读取会话失败。可以尝试对表进行分区或者使用其他方法来处理大量数据。
2024-01-24 13:34:42赞同 展开评论 打赏 -
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
