暂无个人介绍
devops-在jenkins-slave(k8s)中集成maven使用
在jenkins-slave(k8s)中集成maven使用
在k8s集群中, allure 在 jenkins-slave 中集成使用
1. K8S部署jenkins 2. 动态创建slave集群节点 3. 使用PodTemplate构建流水线
1. 容器安装jenkins (docker in docker) 2. jenkins 流水线使用 3. jenkins Generic Webhook Trigger 使用 4. jenkins 集成 allure 5. jenkins docker in dcoker 镜像构建
harbor 安装和使用
gitlab-ce安装
Cpolar内网穿墙使用
kube-state-metrics对k8s集群中的资源对象监控,包括 pod 、 deployment, service
部署node-export ,监控节点基础监控,比如内存,IO,磁盘,CPU等
prometheus 部署
jenkins部署 jenkins和k8s集成 jenkins基于k8s,执行pipline
安装mysql 安装wordpress 部署ingress 进行流量负载控制
HPA介绍 部署metrics-server 案例自动缩容
configmap 使用场景 configmap的定义 configmap的使用 secrets的使用场景 secrets的定义 secrets的使用
pv 介绍 pvc 介绍 存储基本组件 PV 类型 PV 卷阶段状态 插件实现方法 NFS 实现存储 NFS 静态存储 NFS-CSI 动态存储
ingress 介绍 ingress 安装 ingress 案例
DNS解析
clusterIP 类型的服务 NodePort 类型的服务 LoadBanlance 类型的服务
deployment 无状态控制器 statefulset有状态副本集 daemonset守护进程集 job/cronJob任务/定时任务
centos7安装k8s集群
pyspark提交job到yarn集群一些问题总结
1. 下载容器配置文件 2. 创建用户和用户组(airflow) 3.设置用户airflow为管理员 4. 在airflow用户下,pip 安装celery 和 apache-airflow (python3.8) 5. 初始化镜像 6. 启动容器
sar 命令 top命令 ps命令 du和df命令 free命令 iostat命令 iotop命令 netstat命令
cdc 使用场景 场景cdc方案对比 flink cdc 的基本使用
FlinkSQL Client 集成Hive flink sql cli 启动模式 重要命令和配置 sql client 集成hive 执行hive 查询
catalog 分类 flink sql 使用hive的catalog 集成hive 读取hive
group windows 实现 window TVF 实现
理解Window TVF Window TVF使用
流处理模式下,双流join
自定义函数分类 函数基本使用 UDF实现要点 UDTF, UDAF, UDATF 实现要点
group windows over windows 滑动窗口 滚动窗口 会话窗口
事件时间 处理时间
查询已注册表 查询未注册表 Flink sql 标准代码结果 Flink sql读写kafka Flink sql去kafka写mysql
table api 基本使用 tableEnvironment 和 streamTableEnvironment 注册表,临时表,持久表 Table api 和 table sql 混用 table api 和 datastream 混用 table api 的输入和输出(kafka) kafka的高级特性option
流体统一架构演进 理解动态表和连续查询 动态表转换为数据流 三种数据流:仅追加流append-only,撤回流Retract,更新插入流 upsert
1. 数仓相关概念 2. 数据处理系统OLTP和OLAP 3. OLAP分类 4. 数仓分层(ODS, DWD,DWM,DWS, ADS) 5. 离线数仓架构 6. 实时数仓架构 Lambda和Kappa架构