AI 助理
备案控制台

小阿怪_个人页

个人头像照片 小阿怪
个人头像照片
文章
0
问答
307
视频
0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 提交了问题 2021-12-07

    BucketingSink 内存使用分析

  • 提交了问题 2021-12-07

    jobmanager 日志异常

  • 提交了问题 2021-12-07

    jobmanager 日志异常

  • 提交了问题 2021-12-07

    Flink RocksDBStateBackend 问题

  • 提交了问题 2021-12-07

    Flink RocksDBStateBackend 问题

  • 提交了问题 2021-12-07

    AsyncIO 用Redis做缓存

  • 提交了问题 2021-12-07

    submit jobGraph error on server side

  • 提交了问题 2021-12-07

    Flink官网barrier疑问

  • 提交了问题 2021-12-07

    关于event-time的定义与产生时间戳位置的问题。

  • 提交了问题 2021-12-07

    flink 结合canal统计订单gmv

  • 提交了问题 2021-12-07

    flink-1.8.1 yarn per job模式使用

  • 提交了问题 2021-12-07

    Flink sql join问题

  • 提交了问题 2021-12-07

    CsvTableSink 目录没有写入具体的数据

  • 提交了问题 2021-12-07

    如何获取Flink table api/sql code gen 代码

  • 提交了问题 2021-12-07

    恢复savepoint，除了命令行，能通过代码获取吗?

  • 提交了问题 2021-12-07

    flink源码编译可以不编译scala代码吗

  • 提交了问题 2021-12-07

    flink on yarn，提交方式是per job的话，如何保证高可用？

  • 提交了问题 2021-12-07

    Flink 在什么时候检查算子中对象的序列化？

  • 提交了问题 2021-12-07

    Weekly Community Update 2019/33, Personal Chinese

  • 提交了问题 2021-12-07

    flink频繁报向kafka提交offset失败的错误

  • 提交了问题 2021-12-07

    flink启动等待10分钟问题

  • 提交了问题 2021-12-07

    Springboot整合Flink

  • 提交了问题 2021-12-07

    Flink Kafka Connector相关问题

  • 提交了问题 2021-12-07

    Flink 实时监控目录下的新文件会有文件被遗漏

  • 提交了问题 2021-12-07

    flink1.9 blink planner table ddl 使用问题

  • 提交了问题 2021-12-07

    关于elasticSearch table sink 构造过于复杂

  • 提交了问题 2021-12-07

    flink 1.9 消费kafka报错

  • 提交了问题 2021-12-07

    关于flink状态后端使用Rocksdb序列化问题

  • 提交了问题 2021-12-07

    flink1.9中关于blink的文档在哪看呀

  • 提交了问题 2021-12-07

    关于row number over的用法

  • 提交了问题 2021-12-07

    FLINK TABLE API 自定义聚合函数UDAF从check point恢复任务报状态序列

  • 提交了问题 2021-12-07

    任务内存增长

  • 提交了问题 2021-12-07

    flink基于yarn的方式提交，log在web上看太卡了。能不能直接看log文件？

  • 提交了问题 2021-12-07

    flink异常恢复

  • 提交了问题 2021-12-07

    flink日志级别问题

  • 提交了问题 2021-12-07

    Checkpoint使用

  • 提交了问题 2021-12-07

    在子查询上使用row_number over返回的rn都是1

  • 提交了问题 2021-12-07

    kafka流与hive表join问题

  • 提交了问题 2021-12-07

    flink1.9 Blink planner create view 问题

  • 提交了问题 2021-12-07

    关于flink中端对端的精确一次性理解问题

  • 提交了问题 2021-12-07

    flink不清理state，从checkpoint恢复任务能重置kafka的offset讨论

  • 提交了问题 2021-12-07

    关于flink 写于kafka时的transactionId 生成问题

  • 提交了问题 2021-12-07

    flink-1.11 写 hive 报错

  • 提交了问题 2021-12-07

    flink 1.11.0 chk超时

  • 提交了问题 2021-12-07

    flink 1.11.0 chk超时

  • 提交了问题 2021-12-07

    union all 丢失部分数据

  • 提交了问题 2021-12-07

    keyBy的数据均衡性

  • 提交了问题 2021-12-07

    JobManager responsible for xxx lost the leadersh

  • 提交了问题 2021-12-07

    flink1.11的cdc功能对消息顺序性的处理

  • 提交了问题 2021-12-07

    flink 1.11 cdc: 如何将DataStream<RowData> 要如何转

暂无更多信息
正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2022-01-02

    哪些操作会影响OSS文件的LastModified属性？

    踩0 评论0
  • 回答了问题 2022-01-02

    如何获取 Object 的签名 URL？

    可调用 signatureUrl 方法，获取下载地址，可查看 Github 中 signatureUrl部分。
    踩0 评论0
  • 回答了问题 2022-01-02

    如何上传文件到指定目录？

    给要上传的 object 名称前加指定目录前缀即可，可参考OSS 和文件系统对比。 let OSS = require('ali-oss') let client = new OSS({ region: ' ', accessKeyId: ' ', accessKeySecret: ' ', bucket: ' '， }); client.multipartUpload('base-dir/' +'object-name', 'local-file', { progress: async function (p) { console.log('Progress: ' + p); } }); console.log(result); }).then((res) => { console.log(res) }). catch((err) => { console.log(err); });
    踩0 评论0
  • 回答了问题 2022-01-02

    如何上传base64编码的图片？

    将 base64 内容转换成 File 对象，再调用接口上传至 OSS 服务器。 function dataURLtoFile(dataurl, filename) { let arr = dataurl.split(','), mime = arr[0].match(/:(.*?);/)[1], bstr = atob(arr[1]), n = bstr.length, u8arr = new Uint8Array(n); while(n--){ u8arr[n] = bstr.charCodeAt(n); } return new File([u8arr], filename, {type:mime}); } let file = dataURLtoFile(' ', ''); client.multipartUpload(' ', file).then( (res)=> { console.log(res) }).catch((err) => { console.log(err) });
    踩0 评论0
  • 回答了问题 2022-01-02

    如何获取Node.js SDK下载进度？

    Node.js SDK 中可根据下载流的大小来计算进度。
    踩0 评论0
  • 回答了问题 2022-01-02

    如何获取Node.js SDK上传进度？

    使用分片上传时，可通过progress参数获取上传进度。 分片上传：https://help.aliyun.com/document_detail/111268.htm?spm=a2c4g.11186623.0.0.39081a2eCD4zja#concept-hgg-3vb-dhb
    踩0 评论0
  • 回答了问题 2022-01-02

    如何进行 HTTPS 访问？

    初始化 SDK 时，只需要指定 secure 的值为 true，则默认进行 HTTPS 访问。
    踩0 评论0
  • 回答了问题 2022-01-02

    同台机器使用ossutil上传下载很快，而使用Python SDK上传下载很慢？

    错误原因 ossutil工具基于Go SDK进行开发，并发上传的性能较好。如果使用Python SDK上传、下载时性能远不如ossutil，通常是因为没有正确安装crcmod 。 解决方法 关于安装crcmod的更多信息，请参见安装Python SDK。如仍未能解决您的问题，请提交工单。
    踩0 评论0
  • 回答了问题 2022-01-02

    OSS Python SDK分片上传失败，如何解决？

    解决方法如下： 先确认是直接上传到OSS，还是通过其他proxy传输到OSS（类似CDN）。如果经过CDN再上传到OSS，需要在OSS中配置跨域的HTTP Header，例如Access-Control-Allow-Origin、Access-Control-Allow-Mehtods、Access-Control-Allow-Headers等，并暴露ETag。更多信息，请参见PutBucketcors。 如果是网络超时导致上传失败，建议使用断点续传来替代普通上传。断点续传支持并行上传以及自定义分片大小。如果捕获到异常，需要详细查看并分析捕获到的SDK异常信息。 清理上传失败的碎片文件再重新上传。 如果以上方案仍旧没有解决您的问题，需要将以下信息提供给阿里云： SDK返回异常中的requestID。 客户端部署tcpdump，然后重新运行代码上传，并保存抓包。 tcpdump -i -s0 host -w faild.pcap
    踩0 评论0
  • 回答了问题 2022-01-02

    在ECS上挂载OSS，如何避免因后台程序扫描文件而产生费用？

    问题分析：程序扫描ossfs挂载的目录，会转换成向OSS的请求。如果请求次数很多，会产生费用。 解决方案：可以通过auditd工具查看是哪些进程扫描了OSS挂载的目录。具体步骤如下： 安装auditd并启动。 sudo apt-get install auditd sudo service auditd start 将OSS挂载的目录设置为监视目录，例如挂载目录为/mnt/ossfs。 auditctl -w /mnt/ossfs 在auditlog中查看是哪些进程访问了这个目录。 ausearch -i | grep /mnt/ossfs 修改参数，跳过程序扫描。 例如通过auditlog查到是 updatedb 扫描了所挂载的目录，可以通过修改/etc/updatedb.conf让它跳过。具体做法是： 在RUNEFS =后面加上fuse.ossfs。 在PRUNEPATHS =后面加上挂载的目录。
    踩0 评论0
  • 回答了问题 2022-01-02

    为什么用ossfs看到的文件信息（例如大小）与其他工具看到的不一致？

    问题分析：ossfs默认会缓存文件的元信息（包括大小/权限等），这样就不需要每次ls的时候向OSS发送请求，加快速度。 如果用户通过其他程序（例如SDK/官网控制台/ossutil等）对文件进行了修改，由于缓存的关系，ossfs没有及时更新，导致与其他工具看到的文件信息不一致。 解决方案：可以在挂载的时候加上参数-omax_stat_cache_size=0，禁用元数据缓存功能。每次ls时，都会向OSS 发送请求，获取最新的文件信息。
    踩0 评论0
  • 回答了问题 2022-01-02

    目录下有非常多的文件时，为什么ls该目录很慢？

    问题分析：假设一个目录下有N个文件，那么ls该目录至少需要N次OSS http requests。在文件非常多的时候，这可能造成严重的性能问题。 解决方案： 通过-omax_stat_cache_size=xxx参数增大stat cache的size，这样第一次ls会较慢，但是后续的ls就快了，因为文件的元数据都在本地cache中。这个值默认是1000，大约消耗4MB内存，请根据您机器内存大小调整为合适的值。
    踩0 评论0
  • 回答了问题 2022-01-02

    使用ossfs上传到OSS的文件的Content-Type全是application/octet-

    问题分析：上传文件时，ossfs通过查询/etc/mime.types中的内容来设置文件的Content-Type。当该文件不存在时，默认设置为application/octet-stream。 解决方案：请检查这个文件是否存在，如果不存在，则需要添加。 通过命令自动添加mime.types文件 Ubuntu系统 使用sudo apt-get install mime-support命令添加。 CentOS系统 使用sudo yum install mailcap命令添加。 手动添加mime.types文件 创建mime.types文件 vi /etc/mime.types 添加需要的格式，每种格式一行，每行格式为application/javascript js。 添加完成后，需要重新挂载OSS。
    踩0 评论0
  • 回答了问题 2022-01-02

    访问出现“THE bucket you are attempting to access

    问题分析：根据Message判断，错误原因是Endpoint指定错误，有以下两种可能性： Bucket和Endpoint不匹配。 Bucket所属UID和实际的Accesskey对应的UID不一致。 解决方案：确认正确的配置信息并修改。
    踩0 评论0
  • 回答了问题 2022-01-02

    挂载成功后，ls目录时出现“operation not permitted”报错，怎么解决？

    问题分析：请检查您的Bucket中，是否存在名称含有不可见字符的Object。文件系统对文件名和目录名有严格的限制，因此会收到上述错误。 解决方案：用其他工具对这些Object重命名后，ls就能正确显示目录内容了。
    踩0 评论0
  • 回答了问题 2022-01-02

    挂载时出现“ossfs: MOUNTPOINT directory /tmp/ossfs is

    问题分析：当默认情况下，ossfs只能挂载到空目录下。当试图挂载到非空目录下时，会提示上述错误。 解决方案：切换到一个空目录下重新挂载。如果还是需要挂载到该目录下，挂载时增加 -ononempty 参数。
    踩0 评论0
  • 回答了问题 2022-01-02

    挂载时出现“fusermount: failed to open current

    问题分析：这是fuse的一个Bug，它要求当前用户对当前目录（非挂载目录）有读权限。 解决方案：通过cd命令切换到到一个有读权限的目录，再运行ossfs命令
    踩0 评论0
  • 回答了问题 2022-01-02

    挂载时出现“ossfs: unable to access

    问题分析：未创建该目录导致的。 解决方案：先创建对应的目录，之后再进行挂载操作。
    踩0 评论0
  • 回答了问题 2022-01-02

    安装ossfs时出现“fuse: warning: library too old, some

    问题分析：出现错误的原因是ossfs编译时所使用的libfuse版本比运行时链接到的libfuse版本高，这往往是用户自行安装了libfuse导致的。CentOS-5.x和CentOS-6.x系统中，阿里云提供的ossfs安装包里包含了libfuse-2.8.4，如果在运行的时候环境中有libfuse-2.8.3，并且ossfs被链接到了旧版本的fuse上，就会出现上述错误。 您可以通过ldd $(which ossfs) | grep fuse命令确认ossfs运行时链接的fuse版本，如结果是/lib64/libfuse.so.2，那么通过ls -l /lib64/libfuse*命令可以看到fuse的版本。 解决方案：让ossfs链接到正确的版本。 通过rpm -ql ossfs | grep fuse命令找到libfuse的目录。 如果结果是/usr/lib/libfuse.so.2，则通过LD_LIBRARY_PATH=/usr/lib ossfs …命令运行ossfs。
    踩0 评论0
  • 回答了问题 2022-01-02

    使用yum/apt-get安装ossfs时出现“conflicts with file from

    问题分析：这种问题是系统中存在老版本的fuse，与ossfs里的依赖版本冲突了。 解决方案：请先使用相关的包管理器卸载fuse，再重新安装ossfs。
    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息