勋章
我关注的人
粉丝
技术能力
- LLM
暂时未有相关云产品技术能力~
LLM/LLMOps，公众号：吃果冻不吐果冻皮，LLM教程：https://github.com/liguodongiot/llm-action
-
发表了文章 2022-11-01
纯干货！如何优雅的精简Docker镜像？
近年来，随着容器技术的持续火热，越来越多的企业将Docker运用到自动化运维中，不管是为了保证开发、测试、生产环境的环境一致性，还是和CI/CD工具的集成，比如，Jenkins对Docker的自动构建部署。 随着敏捷开发越来越流行，在现在这种随随便便一天动辄几十次的快速构建迭代中，镜像作为一个贯穿整个自动化过程中的一个关键，怎么保证自动化构建部署的效率呢？ 因此，精简镜像显得非常有重要。
-
发表了文章 2022-10-31
纯干货！构建Dockfile镜像的十三个最佳实践点
编写.dockerignore文件 构建镜像时，Docker需要先准备上下文 ，将所有需要的文件收集到进程中。默认的上下文包含Dockerfile目录中的所有文件，但是，实际上我们并不需要.git目录，.vscode目录、.idea目录等内容。 .dockerignore 的作用和语法类似于 .gitignore，可以忽略一些不需要的文件，这样可以有效加快镜像构建时间，同时减少Docker镜像的大小。
-
发表了文章 2022-10-31
设计模式概述
什么是设计模式 设计模式是人们在面对同类型软件工程设计问题所总结出的一些有用经验。 模式不是代码，而是某类问题的通用设计解决方案。他的本质目的是使软件工程在维护性、 扩展性、 变化性、 复杂度方面成O(N)。OO（面向对象）是原则，设计模式是具体方法和工具。
-
发表了文章 2022-10-31
浅析磁盘常见的性能指标及观测IO性能指标的命令(下）
磁盘性能指标说明 衡量磁盘性能常见的指标有: 使用率、饱和度、IOPS、吞吐量以及响应时间，具体说明如下： 使用率，是指磁盘处理 I/O 的时间百分比。过高的使用率（比如超过 80%），通常意味着磁盘 I/O 存
-
发表了文章 2022-10-31
浅析磁盘常见的性能指标及观测IO性能指标的命令(上）
磁盘性能指标说明 衡量磁盘性能常见的指标有: 使用率、饱和度、IOPS、吞吐量以及响应时间，具体说明如下： 使用率，是指磁盘处理 I/O 的时间百分比。过高的使用率（比如超过 80%），通常意味着磁盘 I/O 存
-
发表了文章 2022-10-31
一文读懂计算机系统中常见的带宽
什么是带宽 带宽应用的领域非常多，可以用来标识信号传输的数据传输能力、标识单位时间内通过链路的数据量、标识显示器的显示能力。
-
发表了文章 2022-10-31
浅析Linux中的五种IO模型（下）
IO是什么 I/O(Input/Output)，中文名为输入/输出，指的是一切操作程序或设备与计算机之间发生的数据传输的过程。它分为IO设备和IO接口两个部分。
-
发表了文章 2022-10-31
浅析Linux中的五种IO模型（上）
IO是什么 I/O(Input/Output)，中文名为输入/输出，指的是一切操作程序或设备与计算机之间发生的数据传输的过程。它分为IO设备和IO接口两个部分。
-
发表了文章 2022-10-31
浅析命名实体识别（NER）的三种序列标注方法
简述序列标注 序列标注（Sequence Tagging）是NLP中最基础的任务，应用十分广泛，如分词、词性标注（POS tagging）、命名实体识别（Named Entity Recognition，NER）、关键词抽取、语义角色标注（Semantic Role Labeling）、槽位抽取（Slot Filling）等实质上都属于序列标注的范畴。
-
发表了文章 2022-10-31
Docker资源（CPU/内存/磁盘IO/GPU）限制与分配指南
什么是cgroup？ cgroups其名称源自控制组群（control groups）的简写，是Linux内核的一个功能，用来限制、控制与分离一个进程组（如CPU、内存、磁盘输入输出等）。 什么是Docker资源限制？
-
发表了文章 2022-10-31
简述智能对话系统
对话系统（Dialogue System，简称DS），是使人与机器可以通过自然语言进行对话交互的系统。DS除了用准确、简洁的自然语言回答用户用自然语言提出的问题外，更注重与人的交互、对人意图的理解、对对话氛围的感知，以及回答的多样性和个性化。
-
发表了文章 2022-10-31
Git高频命令汇总（下）
Git是一个开源的分布式版本控制软件，用以有效、高速的处理从很小到非常大的项目版本管理。可以说，Git在我们的日常软件开发中，无处不在。我对Git中常见的命令进行了梳理，如下所示。
-
发表了文章 2022-10-31
Git高频命令汇总（上）
Git是一个开源的分布式版本控制软件，用以有效、高速的处理从很小到非常大的项目版本管理。可以说，Git在我们的日常软件开发中，无处不在。我对Git中常见的命令进行了梳理，如下所示。
-
发表了文章 2022-10-31
浅析自动机器学习（AutoML）工具NNI（上）
NNI 简介 NNI (Neural Network Intelligence) 是一个轻量级但功能强大的自动机器学习（AutoML）工具包，可帮助用户自动化特征工程、神经架构搜索、超参数调优和模型压缩，并支持单机、本地多机、云等不同的运行环境。
-
发表了文章 2022-10-31
浅析自动机器学习（AutoML）工具NNI（下）
NNI 简介 NNI (Neural Network Intelligence) 是一个轻量级但功能强大的自动机器学习（AutoML）工具包，可帮助用户自动化特征工程、神经架构搜索、超参数调优和模型压缩，并支持单机、本地多机、云等不同的运行环境。
-
发表了文章 2022-10-31
浅析机器学习工作流Kubflow Pipelines
Kubeflow Kubeflow 简述 Kubeflow项目是基于容器和Kubernetes构建，旨在为数据科学家、机器学习工程师、系统运维人员提供面向机器学习业务的敏捷部署、开发、训练、发布和管理平台。它利用了云原生技术的优势，让用户更快速、方便的部署、使用和管理当前最流行的机器学习软件。
-
发表了文章 2022-10-31
浅析sklearn中的数据预处理方法
在日常的机器学习开发过程中，基本的机器学习过程如下图所示。
-
发表了文章 2022-10-31
数据缺失值可视化利器-missingno
景 数据探索和预处理是任何数据科学或机器学习工作流中的重要步骤。在使用教程或训练数据集时，可能会出现这样的情况：这些数据集的设计方式使其易于使用，并使所涉及的算法能够成功运行。然而，在现实世界中，数据是混乱的！它可能有错误的值、不正确的标签，并且可能会丢失部分内容。 丢失数据可能是处理真实数据集时最常见的问题之一。数据丢失的原因很多，包括传感器故障、数据过时、数据管理不当，甚至人为错误。丢失的数据可能以单个值、一个要素中的多个值或整个要素丢失的形式出现。 重要的是，在进行数据分析或机器学习之前，需要我们对缺失的数据进行适当的识别和处理。许多机器学习算法不能处理丢失的数据，需要删除整行数据，其中
-
发表了文章 2022-10-31
机器学习可视化利器-Yellowbrick（下）
Yellowbrick简介 Yellowbrick是一款用于促进机器学习模型选择的可视化分析和诊断工具。它在scikit-learn的api基础上做了扩展，能让我们更容易的驾驭模型优化阶段。简而言之，yellowbrick将scikit-learn和matplotlib有机结合起来，通过可视化方式帮助我们优化模型。
-
发表了文章 2022-10-31
机器学习可视化利器-Yellowbrick（中）
Yellowbrick简介 Yellowbrick是一款用于促进机器学习模型选择的可视化分析和诊断工具。它在scikit-learn的api基础上做了扩展，能让我们更容易的驾驭模型优化阶段。简而言之，yellowbrick将scikit-learn和matplotlib有机结合起来，通过可视化方式帮助我们优化模型。
-
发表了文章 2022-10-31
机器学习可视化利器-Yellowbrick（上）
Yellowbrick简介 Yellowbrick是一款用于促进机器学习模型选择的可视化分析和诊断工具。它在scikit-learn的api基础上做了扩展，能让我们更容易的驾驭模型优化阶段。简而言之，yellowbrick将scikit-learn和matplotlib有机结合起来，通过可视化方式帮助我们优化模型。
-
发表了文章 2022-10-31
大话ElasticSearch（下）
搜索引擎简述 什么是搜索？ 搜索：就是在任何场景下，找寻你想要的信息，这个时候，会输入一段你要搜索的关键字，然后就期望找到这个关键字相关的有些信息。 搜索分类： 普通的网页搜索、垂直搜索引擎等
-
发表了文章 2022-10-31
大话ElasticSearch（上）
搜索引擎简述 什么是搜索？ 搜索：就是在任何场景下，找寻你想要的信息，这个时候，会输入一段你要搜索的关键字，然后就期望找到这个关键字相关的有些信息。 搜索分类： 普通的网页搜索、垂直搜索引擎等
-
发表了文章 2022-10-31
使用sklearn进行特征选择
背景 一个典型的机器学习任务，是通过样本的特征来预测样本所对应的值。如果样本的特征少，我们会考虑增加特征。而现实中的情况往往是特征太多了，需要减少一些特征。
-
发表了文章 2022-10-31
执行jobs命令查看不到任务的原因终于找到了
背景 执行nohup command &后，断开终端，执行jobs命令查看不到任务的原因，终于找到了。 首先执行完如下步骤： 1.nohup scp user@server:path/file localpath 2.输入密码 3.按Ctrl+Z挂起当前进程 4.使用命令bg让挂起的进程继续运行
-
发表了文章 2022-10-31
浅析Kubernetes控制器（下）
什么是控制器？ Kubernetes内拥有许多的控制器类型，用来控制pod的状态、行为、副本数量等等，控制器通过Pod的标签来控制Pod ，从而实现对应用的运维，如伸缩、升级等。
-
发表了文章 2022-10-31
浅析Kubernetes控制器（上）
什么是控制器？ Kubernetes内拥有许多的控制器类型，用来控制pod的状态、行为、副本数量等等，控制器通过Pod的标签来控制Pod ，从而实现对应用的运维，如伸缩、升级等。
-
发表了文章 2022-10-31
Python依赖管理及打包利器-Poetry
简介 Poetry 是一个包管理和打包的工具。 在 Python 中，对于初学者来说，打包系统和依赖管理是非常复杂和难懂的。即使对于经验丰富的开发者，一个项目总是要同时创建多个文件： setup.py ,requirements.txt,setup.cfg , MANIFEST.in ，还有最新的 Pipfile，十分繁琐。因此， poetry 将所有的配置都放置在一个 toml 文件（pyproject.toml）中，这些配置包括：依赖管理、构建、打包、发布。 Poetry 的灵感来自于其他语言的一些工具： composer(PHP) 和 cargo (Rust) 。
-
发表了文章 2022-10-31
浅析数据工作流Prefect
简述 Prefect 是一种新的工作流管理系统，专为现代基础设施而设计，由开源的 Prefect Core 工作流引擎提供支持。 用户只需将任务组织成流程，Prefect 负责其余的工作，可让您非常容易使用数据工作流并添加重试、日志记录、动态映射、缓存、失败通知等语义。
-
发表了文章 2022-10-31
sklearn中的文本特征提取方法
什么是特征提取？ 特征提取就是将一些原始的输入的数据维度减少或者将原始的特征进行重新组合以便于后续的使用。 比如： 我们知道有的时候原始数据的特征很多，而且有的高度相关，有的却又和最终的目的没有关系。我们需要去除没有关系的特征。（减少数据维度） 对于图像来说，每个图像有很多数据，这时候如果直接拿这些原始数据去计算则会非常缓慢，这对我们实时运行没有好处，我们需要提取出新的特征。（减少数据维度） 我们通过原始数据很多维特征，得到一个新的特征，最后通过这个新的特征来指导做决策。（整理已有的数据特征） 作者：吃果冻不吐果冻皮 链接：https://juejin.cn/post/69986867315
-
发表了文章 2022-10-31
五分钟快速了解Airflow工作流
简介 Airflow是一个以编程方式创作、调度和监控工作流的平台。 使用 Airflow 将工作流创作为有向无环图(DAG)任务。 Airflow 调度程序按照你指定的依赖项在一组workers上执行您的任务。同时，Airflow拥有丰富的命令行实用程序使得在DAG上进行复杂的诊断变得轻而易举。并且提供了丰富的用户界面使可视化生产中运行的工作流、监控进度和需要排查问题时变得非常容易。 当工作流被定义为代码时，它们变得更易于维护、可版本化、可测试和协作。
-
发表了文章 2022-10-31
十分钟掌握聚类算法的评估指标
前言 聚类算法属于非监督学习，它并不像分类算法那样可以使用训练集或测试集中的数据来计算准确率、召回率等。 那么如何评估聚类算法得好坏呢？ 好的聚类算法，一般要求类簇具有： 簇内 (intra-cluster) 相似度高 簇间 (inter-cluster) 相似度底 一般来说，评估聚类质量有两个标准，内部评估评价指标和外部评估指标。
-
发表了文章 2022-10-31
十分钟掌握回归算法的评估指标
什么是回归算法？ 回归算法就是对历史数据进行拟合，形成拟合方程。接下来使用该方程对新数据进行预测。如果是一元数据的拟合方程，则拟合一条线，如果数据是二元数据，那么它的拟合方程就是一个拟合平面，对于更高维的数据，它的拟合方程将更加复杂。
-
发表了文章 2022-10-31
十分钟掌握分类算法的评估指标(下）
什么是评估指标？ 评估指标是针对模型性能优劣的一个定量指标。一种评价指标只能反映模型一部分性能，如果选择的评价指标不合理，那么可能会得出错误的结论，故而应该针对具体的数据、模型选取不同的的评价指标。 针对不同类型的学习任务，我们有不同的评估指标，这里我们来介绍最常见的分类算法的一些评估指标。常用的分类任务评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 Score、P-R曲线（Precision-Recall Curve）、ROC、AUC等。
-
发表了文章 2022-10-31
十分钟掌握分类算法的评估指标(上）
什么是评估指标？ 评估指标是针对模型性能优劣的一个定量指标。一种评价指标只能反映模型一部分性能，如果选择的评价指标不合理，那么可能会得出错误的结论，故而应该针对具体的数据、模型选取不同的的评价指标。 针对不同类型的学习任务，我们有不同的评估指标，这里我们来介绍最常见的分类算法的一些评估指标。常用的分类任务评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1 Score、P-R曲线（Precision-Recall Curve）、ROC、AUC等。
-
发表了文章 2022-10-31
日常工作中常用Git命令小结
正确理解Git的四个工作区域 Workspace：工作区，即个人克隆项目到本地后,项目所在的文件夹目录。 Index / Stage：暂存区，用于储存工作区中的变更(增删改等改动)的文件的地方。操
-
发表了文章 2022-10-31
装饰器模式（Java版）
什么是装饰器模式？ 装饰器模式允许你向一个现有的对象添加新的功能，同时又不改变其结构，它是作为现有的类的一个包装。这种模式创建了一个装饰类，用来包装原有的类，并在保持类方法签名完整性的前提下，提供了额外的功能。
-
发表了文章 2022-10-31
浅析JVM中常见的垃圾收集算法
从如何判定对象消亡的角度出发， 垃圾收集算法可以划分为“引用计数式垃圾收集”（Reference Counting GC） 和“追踪式垃圾收集”（Tracing GC） 两大类， 这两类也常被称作“直接垃圾收集”和“间接垃圾收集”。 由于主流Java虚拟机中均未涉及引用计数式垃圾收集算法，因此，本文所有算法均属于追踪式垃圾收集的范畴。 对于JAVA虚拟机来说，不同的垃圾收集器采用了不同的垃圾收集算法。同样，不同的虚拟机，操作内存的方法也各不相同，下面介绍几种常见垃圾收集算法的思想。
-
发表了文章 2022-10-31
开源机器学习工作流Ploomber
简述 Ploomber 是为数据科学和机器学习构建可靠数据工作流的最简单方法。 当你以标准形式提供您的源代码，Ploomber 会自动为您构建工作流。 任务可以是 Python 函数、Jupyter Notebook、Python/R/shell 脚本和 SQL 脚本中的任何内容。当你准备就绪后，无需更改代码即可部署到 Airflow 或 Kubernetes（使用 Argo）。
-
发表了文章 2022-10-31
JDK中四种对象引用类型
概述 JDK1.2之前，一个对象只有“已被引用”和“未被引用”两种状态，这将无法描述某些特殊情况下的对象，比如，当内存充足时需要保留，而内存紧张时才需要被抛弃的一类对象。 JDK1.2之后，Java对引用的概念进行了扩充，将引用分为了：强引用（Strong Reference）、软引用（Soft Reference）、弱引用（Weak Reference）、虚引用（Phantom Reference）4 种，这 4 种引用的强度依次减弱，分别介绍一下这4种引用类型。
-
发表了文章 2022-10-31
命令模式（Java版）
什么是命令模式？ 请求以命令的形式包裹在对象中，并传给调用对象。 调用对象寻找可以处理该命令的合适的对象，并把该命令传给相应的对象，该对象执行命令。 将请求、命令、动作等封装成对象，这样可以让项目使用这些对象来参数化其他对象，使得命令的请求者和执行者解耦。
-
发表了文章 2022-10-31
状态模式（Java版）
什么是状态模式？ 当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类。 他所研究的对象的行为包装在不同的状态对象里，每一个状态对象都属于一个抽象状态类的一个子类。状态模式的意图是让一个对象在其内部状态改变的时候，其行为也随之改变。 他主要解决的问题是对象的行为依赖于它的状态（属性），并且可以根据它的状态改变而改变它
-
发表了文章 2022-10-31
责任链模式（Java版）
项目背景 小明操作公司的采购员，需要去采购一批电脑，通过对市场的调研之后，需要提交申请走审批流程拨款购买。审批的决策因素是采用电脑的总价。小于5000，组长审批就ok了，5000-10000需要部长审批，10000-50000需要副总裁审批，50000以上需要总裁审批。
-
发表了文章 2022-10-31
策略模式（Java版）
项目背景 我们正在开发一个模拟鸭子游戏，具体功能就是模拟鸭子叫和游泳，并且显示是哪一种鸭子。 首先，我们从OO的角度设计这个项目，鸭子超类，扩展超类。
-
发表了文章 2022-10-31
【翻译】正向数据工程和逆向数据工程（Prefect工作流）
你好，我们的团队很非常激动地宣布Prefect的到来，这是一个用于构建健壮的数据应用程序的开源框架。Prefect的灵感来自观察数据工程师和数据科学家之间的矛盾，并通过用定义和执行数据工作流的功能性API解决了这些问题。
-
发表了文章 2022-10-31
模板方法模式（Java版）
什么是模板方法模式？ 一个抽象类公开定义了执行它的方法的模板。它的子类可以按需要重写方法实现，但调用将以抽象类中定义的方式进行。模板方法使得子类可以不改变一个算法的结构，即可重定义该算法的某些特定步骤（通用代码在抽象类实现，其他步骤在子类实现）。接下来，将以我工作中用到的场景举例。
-
发表了文章 2022-10-31
通过Spring AOP来深入理解代理模式
1. 背景描述 通常我们在项目中，都需要打印日志，方便系统的维护和排查错误的需要，如下所示。
-
发表了文章 2022-10-31
作为软件开发工程师，你不得不会的32个Linux命令（下）
做软件开发的朋友，相信大家或多或少都接触过Linux，知道Linux中的命令是非常多的，但是我们也不必因此而烦恼，因为我们只需要掌握常用的命令，就可以满足我们日常工作开发了。下面汇总了果冻做开发以来最常用的32个命令，分享给有需要的朋友。
-
发表了文章 2022-10-31
作为软件开发工程师，你不得不会的32个Linux命令（中）
做软件开发的朋友，相信大家或多或少都接触过Linux，知道Linux中的命令是非常多的，但是我们也不必因此而烦恼，因为我们只需要掌握常用的命令，就可以满足我们日常工作开发了。下面汇总了果冻做开发以来最常用的32个命令，分享给有需要的朋友。
-
发表了文章 2022-10-31
作为软件开发工程师，你不得不会的32个Linux命令（上）
做软件开发的朋友，相信大家或多或少都接触过Linux，知道Linux中的命令是非常多的，但是我们也不必因此而烦恼，因为我们只需要掌握常用的命令，就可以满足我们日常工作开发了。下面汇总了果冻做开发以来最常用的32个命令，分享给有需要的朋友。
-
发表了文章
2022-11-02
一个开源模型服务（model serving）指南
-
发表了文章
2022-11-02
使用 Seldon Alibi 进行模型监控
-
发表了文章
2022-11-02
使用 Seldon Core 服务模型
-
发表了文章
2022-11-02
数据漂移检测（二）：NLP 和 CV 中的非结构化数据（Arthur）
-
发表了文章
2022-11-02
数据漂移检测（一）：使用表格数据的多变量漂移（Arthur）
-
发表了文章
2022-11-02
使用 Arize 监控非结构化数据（Arize）
-
发表了文章
2022-11-02
如何检测文本（NLP）和图像（计算机视觉）数据漂移
-
发表了文章
2022-11-02
在 CIFAR-10 数据集上使用最大均值差异（MMD）漂移检测器（Seldon Alibi Detect）（下）
-
发表了文章
2022-11-02
在 CIFAR-10 数据集上使用最大均值差异（MMD）漂移检测器（Seldon Alibi Detect）（上）
-
发表了文章
2022-11-02
在 IMDB 电影评论数据集上进行文本数据漂移检测（Seldon Alibi Detect）（4）
-
发表了文章
2022-11-02
在 IMDB 电影评论数据集上进行文本数据漂移检测（Seldon Alibi Detect）（3）
-
发表了文章
2022-11-02
在 IMDB 电影评论数据集上进行文本数据漂移检测（Seldon Alibi Detect）（2）
-
发表了文章
2022-11-02
在 IMDB 电影评论数据集上进行文本数据漂移检测（Seldon Alibi Detect）（1）
-
发表了文章
2022-11-02
机器学习模型监控工具：Evidently 与 Seldon Alibi 对比
-
发表了文章
2022-11-02
DLOps：用于深度学习的 MLOps（Valohai）
-
发表了文章
2022-11-02
监控生产中的ML系统，您应该跟踪哪些指标？（下）
-
发表了文章
2022-11-02
监控生产中的ML系统，您应该跟踪哪些指标？（中）
-
发表了文章
2022-11-02
监控生产中的ML系统，您应该跟踪哪些指标？（上）
-
发表了文章
2022-11-02
你的模型隐藏了什么？ 一个评估 ML 模型的教程（Evidently）（下）
-
发表了文章
2022-11-02
你的模型隐藏了什么？ 一个评估 ML 模型的教程（Evidently）（上）
