社区答人_个人页

个人头像照片 社区答人
个人头像照片
0
14994
0

个人介绍

开发者社区问答官方账号

擅长的技术

  • 数据库
获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息

2024年07月

2024年06月

正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2024-07-12

    E-MapReduce集群如何打开kafka组件的JMX端口

    为了通过JMX端口监控Kafka Broker信息,可以在bin/kafka-server-start.sh中打开JMX端口变量。

    export JMX_PORT=9999

    踩0 评论0
  • 回答了问题 2024-07-12

    EMR kafka组件调整log4j的日志级别

    如果集群中topic和partition数量较大时,因为log4j的日志级别太低,导致进程持续很长的时间在打印日志。日志量巨大,导致很多额外的性能开销。特别是contoller日志级别为trace级别。可以通过JMX端口设置log4j日志级别,不用重启broker节点。


    设置日志级别:

    java -jar cmdline-jmxclient-0.10.3.jar - localhost:9999 kafka:type=kafka.Log4jController setLogLevel=kafka.controller,INFO

    java -jar cmdline-jmxclient-0.10.3.jar - localhost:9999 kafka:type=kafka.Log4jController setLogLevel=state.change.logger,INFO


    检查日志级别:

    java -jar cmdline-jmxclient-0.10.3.jar - localhost:9999 kafka:type=kafka.Log4jController getLogLevel=kafka.controller

    java -jar cmdline-jmxclient-0.10.3.jar - localhost:9999 kafka:type=kafka.Log4jController getLogLevel=state.change.logger

    踩0 评论0
  • 回答了问题 2024-07-07

    EMR全托管starrocks集群使用spark connector导入任务事务处理慢如何解决

    问题描述:

    EMR全托管starrocks集群使用spark connector导入任务事务处理慢,ErrorMessage打印:

    wait for publishing partition xxx version xxx.self version xxx.table xxx

    解决方案:

    这是因为事务堆积到上限导致的导入变慢,

    可调整参数lake_enable_batch_publish_version为true。如下是参数解析:

    将StarRocks参数lake_enable_batch_publish_version设置为true时,其主要作用是启用湖仓表(Data Lake Analysis,DLA)中数据发布版本的批处理模式。这意味着在处理数据加载或数据更新操作时,系统会积累一定数量的变更,而不是每次变更后立即发布一个新的版本到数据湖中。而是将这些变更批次处理后,作为一个整体的版本统一发布。

    这样的设计带来的好处主要包括:

    1. 提高效率:通过减少与外部数据湖(如HDFS等)的交互频次,减少了I/O操作,可以显著提高数据加载和更新的效率。
    2. 减少资源消耗:批量处理减少了网络传输和存储系统的压力,有助于节省计算和存储资源。
    3. 增强数据一致性:作为一个整体的版本发布,可以更好地保证数据的原子性和一致性,避免了部分数据已更新而其他部分未更新的情况。
    4. 优化性能:特别是在处理大量小批次写入时,通过批处理可以减少元数据的频繁更新,进一步提升系统性能。
    踩0 评论0
  • 回答了问题 2024-07-04

    建立VPC到本地数据中心的连接(BGP动态路由)

    建立VPC到本地数据中心的连接, 有双隧道和单隧道模式,建议使用双隧道模式,可实现可用区级容灾。
    踩0 评论0
  • 回答了问题 2024-07-01

    旧版ECM架构的Hadoop集群绑定的Gateway集群节点组在EMR管控无法升配

    旧版ECM架构的Gateway集群节点组不支持在控制台升配,但新版taihao架构的集群支持。

    踩0 评论0
  • 回答了问题 2024-06-30

    E-MapReduce集群impala开启kerberos后服务报错Couldn't find...

    问题描述:

    impala 开了kerberos 服务异常,看日志报错:E0507 13:28:59.923395 3781888 authentication.cc:239] SASL message (Kerberos (internal)): Couldn't find mech GSSAPI

    解决方案:

    这个报错是kerberos配错了,检查kdc和服务的配置以及keytab文件的有效性

    KDC配置文件一般在/etc/krb5.conf或者find / -name 查找下

    有效性通过:使用kinit命令测试keytab文件:

    • 运行kinit -kt xxxx_keytab.keytab xx_principal@YOUR.REALM 来初始化客户端凭据
    踩0 评论0
  • 回答了问题 2024-06-30

    Paimon Catalo元数据存储类型支持大写吗

    metastore为dlf不允许大写,filesystem支持。

    踩0 评论0
  • 回答了问题 2024-06-30

    Flinkarms使用DingTalk没有告警

    arms只能通过钉钉机器人的方式发送钉钉告警,不能通过DingTalk的形式。

    踩0 评论0
  • 回答了问题 2024-06-30

    paimon 0.7版本执行update报错版本不支持: update table is no...

    0.7版本是支持update语句的,建议在spark上修改以下这两个参数:

    spark.sql.catalog.paimon=org.apache.paimon.spark.SparkCatalog

    spark.sql.extensions=org.apache.paimon.spark.extensions.PaimonSparkSessionExtensions

    踩0 评论0
  • 回答了问题 2024-06-30

    FlinkCDC存储的连接数打满

    请确认CDC消费是否在全量阶段,设置的并发数据是否过大或设置连接池Size过大,占用了大量的连接数。

    建议降低作业并发数,降低连接池Size大小或优化sql逻辑是否可以使用CDAS来复用连接。

    踩0 评论0
  • 回答了问题 2024-06-30

    FlinkSQLTO_TIMESTAMP函数如何转月份简写形式的日期

    可以使用MMM表示月份简写。例如TO_TIMESTAMP('08/Mar/2024 06:43:22', 'dd/MMM/yyyy HH:mm:ss')

    踩0 评论0
  • 回答了问题 2024-06-29

    EMR集群使用starrocks组件执行Stream Load作业报错

    问题描述:

    执行实时flink任务,通过streamload方式写入数据到starrocks表中报错:DorisSinkException: Stream Load Status [Fail], Message [no valid Basic authorization].Detail [No ErrorURL Found]

    其中flink代码中的url地址写的是starrocks集群的fe节点公网ip+端口

    解决方案:

    Stream Load是一种通过HTTP协议进行PUT操作,将数据导入到Doris。数据导入是同步操作,导入完成会返回成功或失败的response。执行流程为:

    1. client向FE请求,FE找出一个BE作为Coordinator(其中每次的Coordinator可能是不同的BE,减少了对be集群压力
    2. client向Coordinator发送数据,Coordinator对数据进行分发,发送到各个BE
    3. Coordinator向client返回发送的结果

    其中,在FE重定向到作为Coordinator的BE过程中,python的requests虽然可以自动实现重定向到Coordinator,但是不能携带账号和密码进行认证,会报异常:no valid Basic authorization。

    因此可以从如下2方面避免该问题:

    1. flink代码中的url地址直接写be节点的ip和端口,避免直连fe,在FE重定向至BE过程中丢失账密信息,从而导致报错。
    2. 可在flink代码中添加:request.AllowAutoRedirect = false; 这样可以避免doris直接重定向。相当于访问两次,第一次访问fe的url,获取分配的be的url;第二次再访问be的url,这样就不会有重定向丢失账密的问题
    踩0 评论0
  • 回答了问题 2024-06-24

    Hologres中可以设置qps的限制吗

    Hologres中不可以设置qps的限制,qps是体现业务的指标,只能业务端控制。

    踩0 评论0
  • 回答了问题 2024-06-24

    无影云电脑使用自定义镜像创建什么会出现俩个用户目录

    创建镜像时勾选了保留用户数据,一个用户目录是当前登录云电脑的用户,另外一个用户目录是创建自定义镜像的云电脑登录的用户目录。

    踩0 评论0
  • 回答了问题 2024-06-24

    datastream作业中mysql cdc是否可以不指定serverId

    可以不指定serverId,会使用debezium的默认值,5400-6400的随机值。

    可参考MySQL WITH 参数文档。

    踩0 评论0
  • 回答了问题 2024-06-24

    Flink写入AnalyticDB速度慢如何优化

    写入AnalyticDB慢一般可能有以下的原因

    1. 存储侧存在性能瓶颈,例如adb实例cpu较高等。

    2. flink写入AnalyticDB是使用的攒批的方式,可通过增加攒批参数,参考文档

    3. 可以通过调整Sink节点并行度来增加写入速度.

    踩0 评论0
  • 回答了问题 2024-06-23

    无影云电脑和云服务器ECS能否挂载NAS的同一个挂载点

    无影云电脑和云服务器ECS挂载同一个NAS的挂载点,挂载点内的数据是共享的。
    踩0 评论0
  • 回答了问题 2024-06-23

    无影云电脑最多可以有几块磁盘

    2块磁盘。如果磁盘容量不够用,请参考官网文档扩大磁盘容量
    踩0 评论0
  • 回答了问题 2024-06-16

    数据传输DTS写入过快影响目标段端数据库

    如果DTS全量迁移或增量同步阶段写入太快,影响了目的库的性能,可以在控制台限制全量和增量写入速度。详细可参考调整迁移速率
    踩0 评论0
  • 回答了问题 2024-06-16

    PTS后端压力不大但压测时报错或超时


    问题现象

    后端压力不大,但是压测时已经大量报错或者超时。



    可能原因

    一般这种情况,是服务的最外层(即网络接入层)存在瓶颈或者触发了某些阈值导致的。



    解决方案

    请务必对已经使用网络接入层(网络入口)的产品进行监控观察。常见的产品类型和响应的注意事项如下:

    • 使用了SLB的业务

      请结合购买的产品计费类型,关注规格限制(最大连接数、CPS每秒新建连接数、QPS)和带宽限制。

      当SLB是服务最外层,且接口是HTTPS或者开启了七层会话保持功能,压测中出现一些503错误,而且后端并没有相关流量和日志,可能出现了SLB单IP地址限流问题

    • 使用了高防IP和WAF的业务

      由于压测的某些特征符合CC和DDoS的行为,很容易触发对应产品防护策略,导致压测数据不准确、压测失败等异常情况。建议您在评估业务影响的前提下,做一些暂时关闭的调整,或者如何放行PTS的压测流量

    • 使用了CDN或者全站加速的业务

      如果接近或者超出已有业务峰值时,请提前提交工单报备给这两个产品。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息