备案控制台

oizytebewk2va_个人页

个人头像照片 oizytebewk2va
个人头像照片
文章
0
问答
1
视频
0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

阿里云技能认证

详细说明
暂无更多信息

2022年09月

正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2022-10-12

    Logstash JDBC数据mysql同步es的延迟时间大概有多少

    这个跟用户的数据量、集群的状态和规格等很多因素有关的，没办法给出具体延迟时间。如果对数据同步的实时性要求较高，可以选择DTS的方案。

    如果出现同步任务失败（例如管道一直在生效中、前后数据不一致、数据库连接不成功），可以参考通过Logstash将RDS MySQL数据同步至Elasticsearch中的常见问题，排查一下。

    踩0 评论0
  • 回答了问题 2022-10-10

    ES集群负载高导致状态red，如何处理？

    主分片所在的节点异常会导致集群red。您可以通过GET /_cat/indices?v命令查看索引分片的分布情况，定位到red索引，并按照以下常见原因和解决方案排查解决。

    常见原因

    解决方案

    负载不均导致集群资源不足。

    建议您优化分片负载，调整主+副分片为集群数据节点的整数倍，详细信息请参见shard分配不均，如何调整？。

    集群中包含无用的索引数据。

    建议定时清理无用的索引数据，尤其是以.monitor开头的索引监控数据，具体操作请参见配置Monitoring监控日志。

    分片未分配。

    通过GET /_cluster/allocation/explain?pretty命令查看分片未分配的原因，根据具体原因进行处理。处理后，可通过POST /_cluster/reroute?retry_failed=true命令，重新分配分片。

    缓存导致资源占用。

    建议使用POST /<索引名>/_cache/clear?fielddata=true命令清理缓存。

    在进行升配等集群变更操作。

    建议中断当前变更，在升配页面选择强制变更，具体操作请参见升配集群。

    实例规格较低资源不足，例如1核2 GB、2核4 GB等规格。

    建议升配集群，具体操作请参见升配集群。

    您也可以通过Kibana监控或阿里云Elasticsearch的高级监控报警功能排查异常，高级监控报警功能的详细信息请参见高级监控报警概述。

    ES的常见问题可以参考阿里云Elasticsearch实例FAQ。

    踩0 评论0
  • 回答了问题 2022-09-29

    如何查看Elasticsearch集群的shard分配情况，不符合预期时如何调整？

    使用GET _cat/allocation?v命令，查看集群中各节点的shard分配情况；使用GET /_cat/shards?v查看集群中各shard的详细情况。使用GET _cat/shards/索引名称命令，查看单索引的shard分配情况。

    如果索引的shard数不符合预期，可进行调整。增大索引shard数的具体操作，可参考通过_split API快速拆分主分片。减少索引shard数的具体操作，可参考通过_shrink API快速减少主分片数。

    踩0 评论0
  • 回答了问题 2022-09-29

    为什么无法在持久表的WITH参数中调用变量？

    因为仅支持在创建临时表时的WITH参数中调用变量，详情请参见变量配置。

    踩0 评论0
  • 回答了问题 2022-09-29

    如何开通EMR Doctor？

    EMR-3.39.0及更高版本，EMR-5.5.0及更高版本，EMR-4.10及更高版本默认提供健康检查功能，无需手动开通，可以直接在集群管理页面的”健康检查”页面使用该功能。

    EMR-3.39.0之前版本、EMR-5.5.0之前版本，EMR-4.10之前版本需要手动开通健康检查功能，可参考开通E-MapReduce Doctor功能。

    踩0 评论0
  • 回答了问题 2022-09-23

    JAR包怎么上传到控制台？OSS可以吗？

    可以在Flink全托管控制台上单击资源上传，或者在Flink控制台上查看当前集群的OSS Bucket后，去OSS控制台，将JAR包上传到对应的OSS Bucket的/artifacts/namespaces目录下。具体可参考如何在OSS控制台上传JAR包？

    踩0 评论0
  • 回答了问题 2022-09-23

    E-MapReduce新版数据湖场景是做什么的？

    新版数据湖场景（DataLake）集群是一个更灵活、可靠、以及高效的大数据计算集群，可以基于该集群轻松构建一个可扩展的数据管道。该集群详细的特性介绍以及与旧版Hadoop集群的差异，可以参考数据湖集群。

    踩0 评论0
  • 回答了问题 2022-09-22

    elasticsearch索引里的文档过期策略

    可以参考一下通过索引生命周期管理实现冷热数据分离这篇文档，添加生命周期管理策略。

    踩0 评论0
  • 提交了问题 2022-09-16

    冷数据节点无法降配

  • 回答了问题 2022-09-15

    作业已经正常运行了，但是没有读取到数据，请问是什么原因？

    需要检查一下上下游存储中是否已经配置了白名单，另外也需要检查下DDL中定义的字段类型、字段顺序和字段大小是否和物理表一致。 可以参考如何定位Flink无法读取源数据的问题？。

    踩0 评论0
  • 回答了问题 2022-09-15

    E-MapReduce中的Knox组件异常停止

    可以先将之前错误的证书重命名或者移动到其他目录，然后再在E-MapReduce控制台重启Knox。 重命名证书示例如下：

    sudo mv /opt/apps/KNOX/knox-current/data/security/keystores/gateway.jks /opt/apps/KNOX/knox-current/data/security/keystores/bak_gateway.jks

    具体可参考文档Knox。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息