一句话
能力说明:
精通JVM运行机制,包括类生命、内存模型、垃圾回收及JVM常见参数;能够熟练使用Runnable接口创建线程和使用ExecutorService并发执行任务、识别潜在的死锁线程问题;能够使用Synchronized关键字和atomic包控制线程的执行顺序,使用并行Fork/Join框架;能过开发使用原始版本函数式接口的代码。
能力说明:
了解Python语言的基本特性、编程环境的搭建、语法基础、算法基础等,了解Python的基本数据结构,对Python的网络编程与Web开发技术具备初步的知识,了解常用开发框架的基本特性,以及Python爬虫的基础知识。
能力说明:
掌握Linux文件管理方式和技巧,对用户和组管理有基本认知,掌握Linux网络知识,对TCP/IP协议及OSI七层模型有较为清晰的概念,掌握Linux磁盘与文件系统管理技巧,知道如何安装Linux软件包,逐步掌握Shell脚本的编程技巧。
能力说明:
掌握Java开发环境下所需的MySQL高级技巧,包括索引策略、innodb和myisam存储引擎,熟悉MySQL锁机制,能熟练配置MySQL主从复制,熟练掌握日常SQL诊断和性能分析工具和策略。可对云数据库进行备份恢复与监控、安全策略的设置,并可对云数据库进行性能优化。掌握主要NOSQL数据库的应用技术。
阿里云技能认证
详细说明
最近有个需求需要使用py模型输出数据,本地已完成测试,需要完成在实时计算Flink上完成部署及运行
会使用SQL语言的小伙伴在开发或者分析过程都少不了使用函数,企业面试中,更是钟情于分析函数的问题,笔试、面试都基本跑不了。
Flink读取Kafka数据写入Odps中,时而报org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator错误
在大数据量分析任务中,针对全量数据进行分析挖掘会存在困难,抽样就显得格外重要了
最近遇到一个比较有意思的SQL题,看似需要使用递归计算,其实不然,可以使用窗口函数解决
HiveSQL面试题,找出一串数字中1的位置
HiveSQL面试题,根据时间以最新数据补全字段缺失值
HiveSQL面试题,不借助其他表产生连续数值
由于数仓和实时任务繁多,当任务出问题时需要开发人员处理,需要每日定时向群里推送隔日值班人员信息,保障任务正常产出
我们写的数仓任务、Flink任务提交任务缺少对任务运行情况监控报警,这里可以使用钉钉自带的机器人实现钉钉群任务告警功能
数仓产出的报表基本用于大屏展示所用,但也有些数据需要每天按时推送至领导邮箱,这些数据在Dataworks如何每天定时定点推送出去呢
针对OSS存储的视频文件,这里介绍下使用Spark如何获取出来其文件名
实时计算Flink读取消息队列Kafka,flink日志中出现Error sending fetch request (sessionId=1510763375, epoch=12890978) to node 103: {}. org.apache.flink.kafka.shaded.org.apache.kafka.common.errors.DisconnectException: null
模式匹配在Flink中经常听到,即CEP。CEP在DataStream API中应用已经非常成熟了,在近两年FlinkSQl中也逐渐应用起来,离线场景中如何应用模式匹配是本文主要研究的方向
业务需求分析中经常会对时间日期进行处理,MaxComputer中也有很多关于日期的处理函数,文章就是对这些内置函数相互嵌套使用达到分析要求的分析
分桶一词,大家应该不陌生,使用过Hive的同学都知道,hive里有个分通表,即针对某一列进行哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。写sql时将数据划分到对应组中进行分析也正是运用了分桶
同一时刻处于相同状态的有多少,类似于这样的需求在游戏、电商、直播、教育等行业中很常见,本文就该问题分享下个人想法
上一篇分析了常用的行列转换,在这里补充一点使用posexplode函数进行多列转多行
行列转换在业务需求分析经常使用,方法很多,这里介绍下使用Maxcomputer内置函数进行转换
使用内置函数分析分区间段问题
使用内置函数分析连续区间问题
使用Maxcomputer内置SQL函数进行重叠交叉区间需求分析