AI 助理
备案控制台

小阿怪_个人页

小阿怪
个人头像照片
文章
0
问答
307
视频
0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 提交了问题 2021-12-07

    Flink操作 kafka ，hive遇到kerberos过期

  • 提交了问题 2021-12-07

    Flink使用Kafka作为source时checkpoint成功提交offset的机制

  • 提交了问题 2021-12-06

    FlinkSQL如何定义JsonObject数据的字段类型

  • 提交了问题 2021-12-06

    flink-1.11.2 job启动不起来怎么办？

  • 提交了问题 2021-12-06

    请教一下目前flink submit能不能指定额外的依赖jar

  • 提交了问题 2021-12-06

    带有状态的算子保存checkpoint失败

  • 提交了问题 2021-12-06

    flink sql es写入时，用户名密码认证不支持怎么办？

  • 提交了问题 2021-12-06

    使用 StreamingFileSink后 checkpoint状态中的数据如何hive读取

  • 提交了问题 2021-12-06

    Flinksql通过phoenix查询维表，报错

  • 提交了问题 2021-12-06

    使用flink-sql解析debezium采集的mysql timestamp字段报错

  • 提交了问题 2021-12-06

    【Flink SQL】无法启动 env.yaml怎么处理？

  • 提交了问题 2021-12-06

    大家有用Flink SQL中的collect函数执行的结果用DataStream后，用什么数据匹配

  • 提交了问题 2021-12-06

    修改topic名称后从Savepoint重启会怎么消费Kafka？

  • 提交了问题 2021-12-06

    Flink SQL使用Tumble窗口函数报错

  • 提交了问题 2021-12-06

    ookeeper更换leader对flink的影响？

  • 提交了问题 2021-12-06

    Flink CEP 动态加载 pattern

  • 提交了问题 2021-12-06

    用代码执行flink sql 报错

  • 提交了问题 2021-12-06

    Flink SQL共享source 问题

  • 提交了问题 2021-12-06

    请问flink sql实时计算分位数如何实现哈？

  • 提交了问题 2021-12-06

    帮忙推荐下flink是用啥可视化的客户端？

  • 提交了问题 2021-12-06

    flinksql1.11长时间没有数据写入mysql，出问题

  • 提交了问题 2021-12-06

    一个关于实时合并数据的问题

  • 提交了问题 2021-12-06

    SQL解析复杂JSON问题

  • 提交了问题 2021-12-06

    动态表 Change Log 格式

  • 提交了问题 2021-12-06

    生产hive sql 迁移flink 11 引擎，碰到的问题

  • 提交了问题 2021-12-06

    使用DataStream → IterativeStream → DataStream 出问题

  • 提交了问题 2021-12-06

    flinksql维表join之后不能做些过滤这样的操作吗？

  • 提交了问题 2021-12-06

    为什么要关闭calcite的隐式转换功能

  • 提交了问题 2021-12-06

    使用RedisSink无法将读取的Kafka数据写入Redis中

  • 提交了问题 2021-12-06

    Flink1.11.2写hive提示UnknownHostException

  • 提交了问题 2021-12-06

    使用stop命令停止yarn队列任务携带Kerberos认证信息

  • 提交了问题 2021-12-06

    Flink-yarn模块加载外部文件的问题

  • 提交了问题 2021-12-06

    flink 1.11.2写hive 2.1.1 orc 遇到的问题

  • 提交了问题 2021-12-06

    flink使用多个keytab的情况怎么处理？

  • 提交了问题 2021-12-06

    flink使用RocksDB增量checkpoints，程序运行一段时间报出：超出物理内存怎么处理？

  • 提交了问题 2021-12-06

    flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次，还是需要实现2p2提交

  • 提交了问题 2021-12-06

    分组查询时，select的字段是否一定要都在group by中吗？

  • 提交了问题 2021-12-06

    ScanTableSource 为什么不支持SupportsFilterPushDown的问题

  • 提交了问题 2021-12-06

    Flink 1.11版本LeaseRenewer为什么线程不释放？

  • 提交了问题 2021-12-06

    在map算子中对redis进行sadd写入之后再sget读取

  • 提交了问题 2021-12-06

    flink sql 如何实时计算百分比

  • 提交了问题 2021-12-06

    Flink HA目录下数据不完整，导致JobManager启动失败如何解决？

  • 提交了问题 2021-12-06

    Flink 1.11.2 on yarn报错如何处理？

  • 提交了问题 2021-12-06

    Flink SQL读取复杂JSON格式

  • 提交了问题 2021-12-06

    Flink 1.11.2 on yarn 提交job失败怎么处理？

  • 提交了问题 2021-12-06

    Re:flink 1.9.2 容器ha部署是jobid 一直是000000000000000000

  • 提交了问题 2021-12-06

    [flink-1.10.2] 异步IO结果DataStream 该如何注册为table？？

  • 提交了问题 2021-12-06

    求助如何用flink1.11.2 on yarn集成CDH的hbase2.0版本

  • 提交了问题 2021-12-06

    flink 1.12如何使用RateLimiter

  • 提交了问题 2021-12-06

    关于flink sql往postgres写数据遇到的timestamp问题

暂无更多信息
正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2022-01-02

    哪些操作会影响OSS文件的LastModified属性？

    踩0 评论0
  • 回答了问题 2022-01-02

    如何获取 Object 的签名 URL？

    可调用 signatureUrl 方法，获取下载地址，可查看 Github 中 signatureUrl部分。
    踩0 评论0
  • 回答了问题 2022-01-02

    如何上传文件到指定目录？

    给要上传的 object 名称前加指定目录前缀即可，可参考OSS 和文件系统对比。 let OSS = require('ali-oss') let client = new OSS({ region: ' ', accessKeyId: ' ', accessKeySecret: ' ', bucket: ' '， }); client.multipartUpload('base-dir/' +'object-name', 'local-file', { progress: async function (p) { console.log('Progress: ' + p); } }); console.log(result); }).then((res) => { console.log(res) }). catch((err) => { console.log(err); });
    踩0 评论0
  • 回答了问题 2022-01-02

    如何上传base64编码的图片？

    将 base64 内容转换成 File 对象，再调用接口上传至 OSS 服务器。 function dataURLtoFile(dataurl, filename) { let arr = dataurl.split(','), mime = arr[0].match(/:(.*?);/)[1], bstr = atob(arr[1]), n = bstr.length, u8arr = new Uint8Array(n); while(n--){ u8arr[n] = bstr.charCodeAt(n); } return new File([u8arr], filename, {type:mime}); } let file = dataURLtoFile(' ', ''); client.multipartUpload(' ', file).then( (res)=> { console.log(res) }).catch((err) => { console.log(err) });
    踩0 评论0
  • 回答了问题 2022-01-02

    如何获取Node.js SDK下载进度？

    Node.js SDK 中可根据下载流的大小来计算进度。
    踩0 评论0
  • 回答了问题 2022-01-02

    如何获取Node.js SDK上传进度？

    使用分片上传时，可通过progress参数获取上传进度。 分片上传：https://help.aliyun.com/document_detail/111268.htm?spm=a2c4g.11186623.0.0.39081a2eCD4zja#concept-hgg-3vb-dhb
    踩0 评论0
  • 回答了问题 2022-01-02

    如何进行 HTTPS 访问？

    初始化 SDK 时，只需要指定 secure 的值为 true，则默认进行 HTTPS 访问。
    踩0 评论0
  • 回答了问题 2022-01-02

    同台机器使用ossutil上传下载很快，而使用Python SDK上传下载很慢？

    错误原因 ossutil工具基于Go SDK进行开发，并发上传的性能较好。如果使用Python SDK上传、下载时性能远不如ossutil，通常是因为没有正确安装crcmod 。 解决方法 关于安装crcmod的更多信息，请参见安装Python SDK。如仍未能解决您的问题，请提交工单。
    踩0 评论0
  • 回答了问题 2022-01-02

    OSS Python SDK分片上传失败，如何解决？

    解决方法如下： 先确认是直接上传到OSS，还是通过其他proxy传输到OSS（类似CDN）。如果经过CDN再上传到OSS，需要在OSS中配置跨域的HTTP Header，例如Access-Control-Allow-Origin、Access-Control-Allow-Mehtods、Access-Control-Allow-Headers等，并暴露ETag。更多信息，请参见PutBucketcors。 如果是网络超时导致上传失败，建议使用断点续传来替代普通上传。断点续传支持并行上传以及自定义分片大小。如果捕获到异常，需要详细查看并分析捕获到的SDK异常信息。 清理上传失败的碎片文件再重新上传。 如果以上方案仍旧没有解决您的问题，需要将以下信息提供给阿里云： SDK返回异常中的requestID。 客户端部署tcpdump，然后重新运行代码上传，并保存抓包。 tcpdump -i -s0 host -w faild.pcap
    踩0 评论0
  • 回答了问题 2022-01-02

    在ECS上挂载OSS，如何避免因后台程序扫描文件而产生费用？

    问题分析：程序扫描ossfs挂载的目录，会转换成向OSS的请求。如果请求次数很多，会产生费用。 解决方案：可以通过auditd工具查看是哪些进程扫描了OSS挂载的目录。具体步骤如下： 安装auditd并启动。 sudo apt-get install auditd sudo service auditd start 将OSS挂载的目录设置为监视目录，例如挂载目录为/mnt/ossfs。 auditctl -w /mnt/ossfs 在auditlog中查看是哪些进程访问了这个目录。 ausearch -i | grep /mnt/ossfs 修改参数，跳过程序扫描。 例如通过auditlog查到是 updatedb 扫描了所挂载的目录，可以通过修改/etc/updatedb.conf让它跳过。具体做法是： 在RUNEFS =后面加上fuse.ossfs。 在PRUNEPATHS =后面加上挂载的目录。
    踩0 评论0
  • 回答了问题 2022-01-02

    为什么用ossfs看到的文件信息（例如大小）与其他工具看到的不一致？

    问题分析：ossfs默认会缓存文件的元信息（包括大小/权限等），这样就不需要每次ls的时候向OSS发送请求，加快速度。 如果用户通过其他程序（例如SDK/官网控制台/ossutil等）对文件进行了修改，由于缓存的关系，ossfs没有及时更新，导致与其他工具看到的文件信息不一致。 解决方案：可以在挂载的时候加上参数-omax_stat_cache_size=0，禁用元数据缓存功能。每次ls时，都会向OSS 发送请求，获取最新的文件信息。
    踩0 评论0
  • 回答了问题 2022-01-02

    目录下有非常多的文件时，为什么ls该目录很慢？

    问题分析：假设一个目录下有N个文件，那么ls该目录至少需要N次OSS http requests。在文件非常多的时候，这可能造成严重的性能问题。 解决方案： 通过-omax_stat_cache_size=xxx参数增大stat cache的size，这样第一次ls会较慢，但是后续的ls就快了，因为文件的元数据都在本地cache中。这个值默认是1000，大约消耗4MB内存，请根据您机器内存大小调整为合适的值。
    踩0 评论0
  • 回答了问题 2022-01-02

    使用ossfs上传到OSS的文件的Content-Type全是application/octet-

    问题分析：上传文件时，ossfs通过查询/etc/mime.types中的内容来设置文件的Content-Type。当该文件不存在时，默认设置为application/octet-stream。 解决方案：请检查这个文件是否存在，如果不存在，则需要添加。 通过命令自动添加mime.types文件 Ubuntu系统 使用sudo apt-get install mime-support命令添加。 CentOS系统 使用sudo yum install mailcap命令添加。 手动添加mime.types文件 创建mime.types文件 vi /etc/mime.types 添加需要的格式，每种格式一行，每行格式为application/javascript js。 添加完成后，需要重新挂载OSS。
    踩0 评论0
  • 回答了问题 2022-01-02

    访问出现“THE bucket you are attempting to access

    问题分析：根据Message判断，错误原因是Endpoint指定错误，有以下两种可能性： Bucket和Endpoint不匹配。 Bucket所属UID和实际的Accesskey对应的UID不一致。 解决方案：确认正确的配置信息并修改。
    踩0 评论0
  • 回答了问题 2022-01-02

    挂载成功后，ls目录时出现“operation not permitted”报错，怎么解决？

    问题分析：请检查您的Bucket中，是否存在名称含有不可见字符的Object。文件系统对文件名和目录名有严格的限制，因此会收到上述错误。 解决方案：用其他工具对这些Object重命名后，ls就能正确显示目录内容了。
    踩0 评论0
  • 回答了问题 2022-01-02

    挂载时出现“ossfs: MOUNTPOINT directory /tmp/ossfs is

    问题分析：当默认情况下，ossfs只能挂载到空目录下。当试图挂载到非空目录下时，会提示上述错误。 解决方案：切换到一个空目录下重新挂载。如果还是需要挂载到该目录下，挂载时增加 -ononempty 参数。
    踩0 评论0
  • 回答了问题 2022-01-02

    挂载时出现“fusermount: failed to open current

    问题分析：这是fuse的一个Bug，它要求当前用户对当前目录（非挂载目录）有读权限。 解决方案：通过cd命令切换到到一个有读权限的目录，再运行ossfs命令
    踩0 评论0
  • 回答了问题 2022-01-02

    挂载时出现“ossfs: unable to access

    问题分析：未创建该目录导致的。 解决方案：先创建对应的目录，之后再进行挂载操作。
    踩0 评论0
  • 回答了问题 2022-01-02

    安装ossfs时出现“fuse: warning: library too old, some

    问题分析：出现错误的原因是ossfs编译时所使用的libfuse版本比运行时链接到的libfuse版本高，这往往是用户自行安装了libfuse导致的。CentOS-5.x和CentOS-6.x系统中，阿里云提供的ossfs安装包里包含了libfuse-2.8.4，如果在运行的时候环境中有libfuse-2.8.3，并且ossfs被链接到了旧版本的fuse上，就会出现上述错误。 您可以通过ldd $(which ossfs) | grep fuse命令确认ossfs运行时链接的fuse版本，如结果是/lib64/libfuse.so.2，那么通过ls -l /lib64/libfuse*命令可以看到fuse的版本。 解决方案：让ossfs链接到正确的版本。 通过rpm -ql ossfs | grep fuse命令找到libfuse的目录。 如果结果是/usr/lib/libfuse.so.2，则通过LD_LIBRARY_PATH=/usr/lib ossfs …命令运行ossfs。
    踩0 评论0
  • 回答了问题 2022-01-02

    使用yum/apt-get安装ossfs时出现“conflicts with file from

    问题分析：这种问题是系统中存在老版本的fuse，与ossfs里的依赖版本冲突了。 解决方案：请先使用相关的包管理器卸载fuse，再重新安装ossfs。
    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息