![个人头像照片](https://ucc.alicdn.com/avatar/8e6136dceb1b449aa41b4633a553dd46.jpg)
一句话
能力说明:
精通JVM运行机制,包括类生命、内存模型、垃圾回收及JVM常见参数;能够熟练使用Runnable接口创建线程和使用ExecutorService并发执行任务、识别潜在的死锁线程问题;能够使用Synchronized关键字和atomic包控制线程的执行顺序,使用并行Fork/Join框架;能过开发使用原始版本函数式接口的代码。
能力说明:
了解Python语言的基本特性、编程环境的搭建、语法基础、算法基础等,了解Python的基本数据结构,对Python的网络编程与Web开发技术具备初步的知识,了解常用开发框架的基本特性,以及Python爬虫的基础知识。
能力说明:
掌握Linux文件管理方式和技巧,对用户和组管理有基本认知,掌握Linux网络知识,对TCP/IP协议及OSI七层模型有较为清晰的概念,掌握Linux磁盘与文件系统管理技巧,知道如何安装Linux软件包,逐步掌握Shell脚本的编程技巧。
能力说明:
掌握Java开发环境下所需的MySQL高级技巧,包括索引策略、innodb和myisam存储引擎,熟悉MySQL锁机制,能熟练配置MySQL主从复制,熟练掌握日常SQL诊断和性能分析工具和策略。可对云数据库进行备份恢复与监控、安全策略的设置,并可对云数据库进行性能优化。掌握主要NOSQL数据库的应用技术。
阿里云技能认证
详细说明
最近有个需求需要使用py模型输出数据,本地已完成测试,需要完成在实时计算Flink上完成部署及运行
会使用SQL语言的小伙伴在开发或者分析过程都少不了使用函数,企业面试中,更是钟情于分析函数的问题,笔试、面试都基本跑不了。
Flink读取Kafka数据写入Odps中,时而报org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator错误
在大数据量分析任务中,针对全量数据进行分析挖掘会存在困难,抽样就显得格外重要了
最近遇到一个比较有意思的SQL题,看似需要使用递归计算,其实不然,可以使用窗口函数解决
HiveSQL面试题,找出一串数字中1的位置
HiveSQL面试题,根据时间以最新数据补全字段缺失值
HiveSQL面试题,不借助其他表产生连续数值
由于数仓和实时任务繁多,当任务出问题时需要开发人员处理,需要每日定时向群里推送隔日值班人员信息,保障任务正常产出
我们写的数仓任务、Flink任务提交任务缺少对任务运行情况监控报警,这里可以使用钉钉自带的机器人实现钉钉群任务告警功能
数仓产出的报表基本用于大屏展示所用,但也有些数据需要每天按时推送至领导邮箱,这些数据在Dataworks如何每天定时定点推送出去呢
针对OSS存储的视频文件,这里介绍下使用Spark如何获取出来其文件名
实时计算Flink读取消息队列Kafka,flink日志中出现Error sending fetch request (sessionId=1510763375, epoch=12890978) to node 103: {}. org.apache.flink.kafka.shaded.org.apache.kafka.common.errors.DisconnectException: null
模式匹配在Flink中经常听到,即CEP。CEP在DataStream API中应用已经非常成熟了,在近两年FlinkSQl中也逐渐应用起来,离线场景中如何应用模式匹配是本文主要研究的方向
业务需求分析中经常会对时间日期进行处理,MaxComputer中也有很多关于日期的处理函数,文章就是对这些内置函数相互嵌套使用达到分析要求的分析
分桶一词,大家应该不陌生,使用过Hive的同学都知道,hive里有个分通表,即针对某一列进行哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。写sql时将数据划分到对应组中进行分析也正是运用了分桶
同一时刻处于相同状态的有多少,类似于这样的需求在游戏、电商、直播、教育等行业中很常见,本文就该问题分享下个人想法
上一篇分析了常用的行列转换,在这里补充一点使用posexplode函数进行多列转多行
行列转换在业务需求分析经常使用,方法很多,这里介绍下使用Maxcomputer内置函数进行转换
使用内置函数分析分区间段问题
使用内置函数分析连续区间问题
使用Maxcomputer内置SQL函数进行重叠交叉区间需求分析
‘新一代无影,加速企业数智创新’ 无影是一款面向数字经济时代的生产力工具,基于流式传输服务和容器化架构,可实现随时随地云上办公、海量算力触手可得、海量应用一网打尽,依托阿里云打造云管端一体化安全防护体系,全面保障企业业务和数据安全,拥有超越PC的便捷、流畅、安全、高效体验。 1.轻空间将场景所需应用集中编排,支持PC、手机、小程序等丰富应用,带来创新办公体验 2.近乎无限的算力资源,根据应用即时按需调度,轻松满足日常办公或大型软件等不同需求 3.云端保存办公数据,通过搭配使用个人云盘,不仅保证数据安全同时提供足够灵活性 4.超轻量卡片式终端,可以随身携带。通过高速网络接入服务,支持随时随地高效办公
'Computer Drivers Futer'计算-进化-未来 我们生活在数据时代、互联网时代、信息化的数字时代,各行各业都少不了以人工智能、云计算、大数据、区块链为核心的算力,这正潜移默化的改变着我们的生活方式、生活质量。 算力驱动未来,算力就是生产力,谁掌握了这些'流量密码',谁就能引领时代、走向未来;无论怎样,Computer肯定无处不在,算力时代悄然来临,你准备好了嘛。 10年后的云栖大会留下一句寄语:蓦然回首,这盛世盛况如我们大家所愿,接下来的10年我们拭目以待。
说到云计算,已经被提及了多年了,很多人可能一头雾水,什么是云计算,云计算可以用来干嘛。其实云计算已经运用在我们日常生活中了,我们手机用的各种APP早已上云了。就拿现在疫情来说,我们大家都不能或者不想去现场办公,云计算可以来实现,我们买一台云服务器,安装上系统,这就相当于我们的笔记本啦,随时随地即使用我们的手机就能轻轻松松来处理工作; 我们生活中的各种智能家居,也少不了云计算,远程控制空调、热水器、燃气灶、汽车等等,方便了我们的生活,这都是云计算的功劳...
1.技术成长 2.大环境 3.身体 4.年龄
集群网络不稳定,导致和zookeeper失联,暂时断开无法连接leadership。 如果 ZK 在一段时间内没有收到 Flink RM 的心跳 ,它会撤销领导权并通知。 查看TaskManager日志可能会获得这样的警告:WARN org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.ClientCnxn - Client session timed out, have not heard from server in 40020ms for sessionid 0x404f9ca531a5d6f zk在切换leader或者网络抖动、机器繁忙、zk集群短暂无响应,都会导致curator将状态置为suspended.,会触发SUSPENDED状态,这个状态,会导致lost the leadership错误,而遇到这个错误,k8s直接就重启程序。 解决办法参考:flink 关于 zk 引起的重启https://my.oschina.net/u/2274874/blog/4718955
今下午遇到改错误,在taskmanager日志里面报的是这个错java.io.IOException: Cannot register Closeable, registry is already closed. Closing argument. 在jobmanager日志中是解析json字符串数值精度溢出了,源数据有问题。 导致作业重启,while restoring keyed state backend for StreamingJoinOperator_bb1b9374bdafe92c3eebe4487572fc7e_(2/3) from alternative,恢复状态时报的错