AIweker_个人页

2024年05月

• 05.20 22:24:48
  发表了文章 2024-05-20 22:24:48

  一文读懂python分布式任务队列-celery

  # 一文读懂Python分布式任务队列-Celery Celery是一个分布式任务执行框架，支持大量并发任务。它采用生产者-消费者模型，由Broker、Worker和Backend组成。生产者提交任务到队列，Worker异步执行，结果存储在Backend。适用于异步任务、大规模实时任务和定时任务。5月更文挑战第17天
• 05.19 16:56:57
  发表了文章 2024-05-19 16:56:57

  python时间序列异常检测ADTK

  `adtk`是Python中用于无监督时间序列异常检测的工具包，包含简单算法、特征加工和流程控制。安装使用`pip install adtk`。数据要求为`DatetimeIndex`格式。异常检测包括滑动窗口统计特征、季节性拆解、降维和重构。提供了ThresholdAD、QuantileAD、InterQuartileRangeAD、GeneralizedESDTestAD等离群点检测算法，以及PersistAD和LevelShiftAD检测突变。此外，SeasonalAD用于季节性异常检测，Pipeline可组合多种算法。5月更文挑战第16天

  
• 05.18 22:10:14
  发表了文章 2024-05-18 22:10:14

  机器学习分布式框架Ray

  Ray是UC Berkeley RISELab推出的一个高性能分布式执行框架，它比Spark更具计算优势，部署简单，支持机器学习和深度学习的分布式训练。Ray包括节点（head和worker）、本地调度器、object store、全局调度器（GCS），用于处理各种分布式计算任务。它支持超参数调优（Ray Tune）、梯度下降（Ray SGD）、推理服务（Ray SERVE）等。安装简单，可通过`pip install ray`。使用时，利用`@ray.remote`装饰器将函数转换为分布式任务，通过`.remote`提交并用`ray.get`获取结果。5月更文挑战第15天
• 05.17 23:36:10
  发表了文章 2024-05-17 23:36:10

  AI大咖说-如何评价论文的创新性

  《AI大咖说》探讨论文创新性，强调新意、有效性和领域研究问题的重要性。创新点在于用新颖方法有效解决研究问题。评价公式：价值=问题大小*有效性*新意度。该观点源于《跟李沐学AI》视频，提供1-100分评分标准，助力评估论文价值。5月更文挑战第14天
• 05.16 21:38:50
  发表了文章 2024-05-16 21:38:50

  AI大咖说-如何有效的读论文

  # AI大咖李沐教你高效读论文 李沐，亚马逊资深首席科学家，MXNet框架作者，推荐其在B站的“跟李沐学AI”。他建议读论文分三步：粗读（标题、摘要、结论）、快速浏览（整体理解）和精读（深入细节）。通过这三遍阅读，判断论文是否相关，理解解决问题的方法和实验。5月更文挑战第13天
• 05.15 22:07:34
  发表了文章 2024-05-15 22:07:34

  AI大咖说-关于深度学习的一点思考

  周志华教授探讨深度学习的成效，指出其关键在于大量数据、强大算力和训练技巧。深度学习依赖于函数可导性、梯度下降及反向传播算法，尽管硬件和数据集有显著进步，但核心原理保持不变。深度意味着增加模型复杂度，相较于拓宽，加深网络更能增强泛函表达能力，促进表示学习，通过逐层加工处理和内置特征变换实现抽象语义理解。周志华教授还提到了非神经网络的深度学习方法——深度森林。5月更文挑战第12天
• 05.14 00:20:33
  发表了文章 2024-05-14 00:20:33

  测试CLIP zero-shot learning

  CLIP是OpenAI的多模态预训练模型，使用对比学习在大量文本-图像对上训练，便于迁移至各种下游任务，如图像分类、OCR等。它通过分别编码文本和图像并计算相似度来评估匹配度。在图像分类测试中，CLIP能有效识别图像类别。此外，CLIP还可用于图像描述生成、文本搜图和文本生成图片（如AIGC）。近期研究致力于优化CLIP的数据、模型和监督方法。5月更文挑战第11天
• 05.13 22:16:03
  发表了文章 2024-05-13 22:16:03

  测试本地部署ChatGLM-6B | ChatGPT

  ChatGLM-6B是款62亿参数的中英对话模型，类似ChatGPT，可在6GB显存（INT4量化）的GPU或CPU上运行。它提供流畅、多样的对话体验。用户可从Hugging Face或清华云下载模型配置。部署涉及创建Python环境，安装依赖，下载模型到`ckpt`文件夹。测试时加载tokenizer和模型，使用示例代码进行交互。应用包括基于MNN和JittorLLMs的推理实现，以及langchain-ChatGLM、闻达、chatgpt_academic和glm-bot等项目。5月更文挑战第10天
• 05.12 15:26:10
  发表了文章 2024-05-12 15:26:10

  AI工具-标注工具labelme

  Labelme是一款Python开源图像标注工具，支持图像分类、目标检测、语义分割和实例分割等任务。它提供了一个GUI界面，用户可绘制圆形、方形和多边形进行标注。安装通过`pip install labelme`和`lxml`，使用时可导入预定义标签列表。标注结果保存为json文件，包含类别、边界框信息和形状类型。Labelme还支持格式转换，如转换为VOC或COCO格式。这款工具对视频标注也兼容。5月更文挑战第9天
• 05.11 22:04:16
  发表了文章 2024-05-11 22:04:16

  Objection Detection 手记

  本文介绍了四个目标检测的经典算法：Faster R-CNN、FPN、SSD和RetinaNet。Faster R-CNN是两阶段算法，包括CNN特征提取、RPN（候选框生成）和RoI Pooling+Classifier。FPN通过高层到低层的信息传递增强特征金字塔，提高小物体检测性能。SSD是一阶段算法，直接在多尺度特征图上预测默认边界框。RetinaNet采用FPN结构和Focal Loss解决类别不平衡问题，优化one-stage检测。5月更文挑战第8天
• 05.10 22:37:24
  发表了文章 2024-05-10 22:37:24

  深度学习之ResNet家族

  ResNet是深度学习中的标志性架构，由何恺明在2016年提出，解决了深度网络训练的难题。ResNet通过残差块使得网络能有效学习，即使层数极深。后续发展包括ResNetV2，优化了信息传递和激活函数顺序；Wide Residual Networks侧重增加网络宽度而非深度；ResNeXt引入基数概念，通过多路径学习增强表示能力；Stochastic Depth通过随机丢弃层加速训练并提升泛化；DenseNet采用密集连接，增加信息交互；DPN结合ResNet和DenseNet优点；ResNeSt则综合了注意力机制、多路学习等。这些演变不断推动深度学习网络性能的提升。5月更文挑战第7天
• 05.09 22:28:23
  发表了文章 2024-05-09 22:28:23

  深度学习之解构基础网络结构

  本文和大家梳理分享一下大师们的探索成果，即经典的基础网络（backbone）以及关键思想，附带实现过程。5月更文挑战第6天
• 05.08 20:39:16
  发表了文章 2024-05-08 20:39:16

  盘点开源大语言模型LLMs

  本文总结了开源大语言模型的发展，从word2vec到Transformer，再到BERT和GPT系列。重点介绍了几个开源GPT项目，如斯坦福的Alpaca、清华的ChatGLM-6B、Vicuna、复旦的MOSS和Lamini，以及mini-GPT4，这些项目致力于以较小参数量接近ChatGPT性能并实现友好部署。各模型特点和相关资源链接亦有提供。5月更文挑战第5天
• 05.07 22:11:47
  发表了文章 2024-05-07 22:11:47

  深度学习之解构卷积

  本文介绍了卷积神经网络（CNN）的基本组成和各种卷积操作。CNN在机器视觉任务中扮演重要角色，其组件包括卷积层、pooling层、激活函数和全连接层。卷积层通过卷积核提取特征，pooling层降低维度，参数共享减少计算量。主要讨论了六种卷积类型：空洞卷积用于增加感受野，1x1卷积用于维度调节和通道融合，反卷积实现上采样，深度可分离卷积减少参数，可变形卷积适应不规则特征，3D卷积处理视频等四维数据。这些卷积操作在现代深度学习模型中广泛应用，提高了效率和性能。5月更文挑战第4天
• 05.06 21:03:36
  发表了文章 2024-05-06 21:03:36

  对大模型和AI的认识与思考

  2023年，笔者也参与了各种学习和实践，从大语言模型、多模态算法，文生图（Stable Diffusion）技术，到prompt工程实践和搭建文生图（Stable Diffusion）webui实操环境。在此对谈谈对大模型和AI的认识与思考，是为总结。5月更文挑战第3天
• 05.05 22:31:24
  发表了文章 2024-05-05 22:31:24

  Transformers从入门到精通：Transformers介绍

  transformer是当前大模型中最流行的架构，而Transformers是实现transformer的最流行的实现的库，由著名的huggingface推出。Transformers提供了丰富的API和工具，可以轻松下载和训练最先进的预训练模型。使用预训练的模型可以降低计算成本，并为从头开始训练模型节省所需的时间和资源。5月更文挑战第2天
• 05.04 17:23:07
  发表了文章 2024-05-04 17:23:07

  推荐几个AI的好工具，大家快收藏

  随着chatgpt出现，各式各样的AI应用不断刷新大家的认知。今天，我就为大家推荐几个实用的AI工具，不管你有没有听说过，走过路过不容错过。5月更文挑战第1天
• 03.16 09:57:40
  发表了文章 2024-03-16 09:57:40

  python中的异步操作

  在Python中，`async`和`await`是用于构建异步程序的关键字。它们是Python 3.5版本引入的，使得异步编程变得更加直观和容易理解。这两个关键字一起使用，可以帮助提高应用程序的性能，特别是在涉及到I/O操作（如网络请求、文件读写等）时，可以显著提升效率。【2月更文挑战第15天】
• 03.05 21:14:13
  发表了文章 2024-03-05 21:14:13

  python机器学习超参数调优

  超参数（hyper parameters）就是机器学习或深度学习算法中需要预先设置的参数，这些参数不是通过训练数据学习到的参数；原始算法一般只给出超参数的取值范围和含义，根据不同的应用场景，同一个算法的同一超参数设置也不同。【2月更文挑战第14天】
• 03.04 12:17:27
  发表了文章 2024-03-04 12:17:27

  用Python做一个翻译器

  之前有分享过gradio制作web App，我们今天就基于此做一个翻译器【2月更文挑战第13天】
• 03.03 00:18:28
  发表了文章 2024-03-03 00:18:28

  人工智能项目的python版本管理工具DVC

  dvc即data version control, 是一种针对人工智能项目（机器学习或者深度学习）的数据版本管理工具。DVC的操作和GIT类似，可以认为为GIT的二次开发封装。结合GIT，DVC可以有效的管理人工智能项目的整个流程，包括代码，数据，训练配置，模型【2月更文挑战第12天】
• 03.02 22:00:35
  发表了文章 2024-03-02 22:00:35

  一文读懂python分布式任务队列-celery

  celery是一个简单，灵活、可靠的分布式任务执行框架，可以支持大量任务的并发执行。celery采用典型生产者和消费者模型。生产者提交任务到任务队列，众多消费者从任务队列中取任务执行【2月更文挑战第11天】
• 03.01 14:10:52
  发表了文章 2024-03-01 14:10:52

  浅谈keras的扩展性：自定义keras

  keras是一种深度学习的API，能够快速实现你的实验。keras也集成了很多预训练的模型，可以实现很多常规的任务，如图像分类。TensorFlow 2.0之后tensorflow本身也变的很keras化。另一方面，keras表现出高度的模块化和封装性，所以有的人会觉得keras不易于扩展， 比如实现一种新的Loss，新的网络层结构； 其实可以通过keras的基础模块进行快速的扩展，实现更新的算法【2月更文挑战第10天】
• 02.29 13:20:47
  发表了文章 2024-02-29 13:20:47

  用纯python写web app：Streamlit

  一句话，Streamlit是一个可以用python编写web app的库，可以方便的动态展示你的机器学习的项目。【2月更文挑战第9天】
• 02.28 09:22:12
  发表了文章 2024-02-28 09:22:12

  python 插值算法

  最近在做时间序列预测时，在突增或者突降的变化剧烈的情况下，拟合参数的效果不好，有用到插值的算法补全一些数据来平滑剧烈变化过程。还有在图像处理中，也经常有用到插值算法来改变图像的大小，在图像超分（Image Super-Resolution）中上采样也有插值的身影【2月更文挑战第8天】
• 02.27 13:44:20
  发表了文章 2024-02-27 13:44:20

  python 图像相似性评估

  相似性经常通过距离的方式来度量，但图像是高纬度的数据，而且图像相似性判断和人类的主观感受存在一定的关系。本文针对图像相似性，梳理了传统的经典算法和基于感知的深度学习方法【2月更文挑战第7天】
• 02.26 16:31:17
  发表了文章 2024-02-26 16:31:17

  python中对象引用

  引用在各种编程语言中都有涉及，如java中值传递和引用传递。python的对象引用也是学习python过程中需要特别关注的一个知识点，特别是对函数参数传递，可能会引起不必要的BUG【2月更文挑战第6天】
• 02.25 00:23:14
  发表了文章 2024-02-25 00:23:14

  python多进程multiprocessing使用

  如果你想在python中使用线程来实现并发以提高效率，大多数情况下你得到的结果是比串行执行的效率还要慢；这主要是python中GIL（全局解释锁）的缘故，通常情况下线程比较适合高IO低CPU的任务，否则创建线程的耗时可能比串行的还要多。GIL是历史问题，和C解释器有关系。 为了解决这个问题，python中提供了多进程的方式来处理需要并发的任务，可以有效的利用多核cpu达到并行的目的。【2月更文挑战第5天】
• 02.24 00:01:54
  发表了文章 2024-02-24 00:01:54

  python协程

  我们知道线程的提出是为了能够在多核cpu的情况下，达到并行的目的。而且线程的执行完全是操作系统控制的。而协程（Coroutine）是线程下的，控制权在于用户，本质是为了能让多组过程能不独自占用完所有资源，在一个线程内交叉执行，达到高并发的目的。【2月更文挑战第4天】
• 02.23 12:35:45
  发表了文章 2024-02-23 12:35:45

  找论文参考：机器视觉会议和期刊

  这里分享下机器学习和人工智能的顶会和期刊，可以在这些会议和期刊上找与你相关的paper。【2月更文挑战第3天】
• 02.22 12:19:03
  发表了文章 2024-02-22 12:19:03

  python内置方法和属性应用：反射和单例

  python除了丰富的第三方库外，本身也提供了一些内在的方法和底层的一些属性，大家比较常用的如dict、list、set、min、max、range、sorted等。笔者最近在做项目框架时涉及到一些不是很常用的方法和属性，在本文中和大家做下分享【2月更文挑战第2天】
• 02.21 23:07:15
  发表了文章 2024-02-21 23:07:15

  python中的hook函数

  经常会听到钩子函数(hook function)这个概念，最近在看目标检测开源框架mmdetection，里面也出现大量Hook的编程方式，那到底什么是hook？hook的作用是什么？【2月更文挑战第1天】
• 01.11 13:49:33
  发表了文章 2024-01-11 13:49:33

  Stable Diffusion 本地安装 | AIGC

  今天要介绍Stable Diffusion webUI则第三方通过Gradio搭建的Stable Diffusion的web前端，功能丰富，而且所有功能都是开源的。 【1月更文挑战第7天】
• 01.10 13:47:33
  发表了文章 2024-01-10 13:47:33

  文生图模型-Stable Diffusion | AIGC

  所谓的生成式模型就是通过文本或者随机采样的方式来得到一张图或者一段话的模型，比如文生图，顾名思义通过文本描述来生成图像的过程。当前流行的文生图模型，如DALE-2, midjourney以及今天要介绍的Stable Diffusion，这3种都是基于Diffusion扩散模型【1月更文挑战第6天】
• 01.09 12:30:26
  发表了文章 2024-01-09 12:30:26

  动态库和静态库 | AI工程化部署

  我们在编写接口或者使用第三方应用时，都会打包或者引入.so或者.a文件。这个so就是动态库，.a文件就是静态库 【1月更文挑战第5天】
• 01.08 12:26:33
  发表了文章 2024-01-08 12:26:33

  C/C++编译工具：cmake | AI工程化部署

  CMake 是一个跨平台的开源构建工具，用于管理软件构建流程。它使用一个名为 CMakeLists.txt 的文本文件来描述构建过程。【1月更文挑战第4天】
• 01.07 22:52:17
  发表了文章 2024-01-07 22:52:17

  C/C++编译工具：makefile | AI工程化部署

  Makefile是一种用于管理和组织源代码的工具，通常用于构建和编译软件项目。它由一系列规则组成，每个规则指定如何生成一个或多个目标文件。Makefile也包括变量和注释，使得用户能够灵活地配置和定制构建过程。【1月更文挑战第3天】
• 01.06 22:58:06
  发表了文章 2024-01-06 22:58:06

  C中回调函数 | AI工程化部署

  回调函数是一种常见的编程概念，在程序设计中经常被使用。回调函数是指在某个特定事件发生时，由某个已注册的函数进行调用。通常情况下，回调函数作为参数传递给另一个函数，当特定事件发生时，这个函数会调用传入的回调函数；【1月更文挑战第2天】
• 01.05 16:35:52
  发表了文章 2024-01-05 16:35:52

  日志 | AI工程化部署

  日志在任何一种语言编程中都会涉及到，python中有logging库，java中有log4j。当然C也有日志功能，一般可以用宏和函数来实现。 需要明确下日志的功能，一般会设置一个日志等级，比如trace < debug < info < warn < error < fatal 等，根据设置的等级高低来判断是否显示日志。 【1月更文挑战第1天】
• 12.25 22:01:39
  发表了文章 2023-12-25 22:01:39

  .h 头文件 | AI工程化部署

  使用头文件时需要注意保持代码的整洁性和可维护性，避免对其他模块产生负面影响。同时，对于大型项目，建议使用合适的工具来管理头文件的依赖关系，以确保代码结构的清晰性和可靠性

2023年12月

• 12.01 12:48:12
  发表了文章 2023-12-01 12:48:12

  宏 | AI工程化部署

  在C语言中，宏是一种预处理器指令，用于在程序中定义具有特定含义的符号常量、函数或代码片段。当程序被编译时，预处理器会将宏的定义替换为其对应的值或代码
• 11.30 22:34:26
  发表了文章 2023-11-30 22:34:26

  .h 头文件 | AI工程化部署

  使用头文件时需要注意保持代码的整洁性和可维护性，避免对其他模块产生负面影响。同时，对于大型项目，建议使用合适的工具来管理头文件的依赖关系，以确保代码结构的清晰性和可靠性
• 11.28 23:32:42
  发表了文章 2023-11-28 23:32:42

  条件编译 | AI工程化部署

  在C语言中，条件编译是一种预处理器功能，它允许根据条件来选择性地包含或排除代码片段
• 11.27 22:27:31
  发表了文章 2023-11-27 22:27:31

  c++类 | AI工程化部署

  在面向对象的编程语言中，类是一种用来描述对象的模板或蓝图。它定义了对象的属性和行为，并可以用来创建对象实例
• 11.25 15:21:27
  发表了文章 2023-11-25 15:21:27

  C/C++内存操作 | AI工程化部署

  在C/C++语言开发中，内存管理是非常重要的，大多Segmentation fault core问题都是因为内存操作不当导致的
• 11.24 18:33:10
  发表了文章 2023-11-24 18:33:10

  C语言自定义类型 | AI工程化部署

  C语言自定义类型：结构体和枚举
• 11.23 20:06:59
  发表了文章 2023-11-23 20:06:59

  如何编译你的C程序 | AI工程化部署

  gcc和g++ 是 GNU 编译器套件中的 C/C++ 编译器。它可以用来编译 C/C++ 源代码并生成可执行文件
• 11.22 22:30:23
  发表了文章 2023-11-22 22:30:23

  c语言基础回顾-指针 | AI工程化部署

  为什么要在这里回顾下C/C++的基础知识，无疑是因为它的高效性。
• 11.22 22:27:57
  发表了文章 2023-11-22 22:27:57

  前言 | AI工程化部署

  要达到AI工程化部署的诸多要求，需要除了AI算法以外的诸多技术，因此结合实际的项目经验，希望总结一些在AI工程化部署的有用技术供大家参考

2023年03月

• 03.21 20:19:26
  发表了文章 2023-03-21 20:19:26

  5分钟构建API接口服务 | python小知识

  Flask是python中轻量的web框架，Flask的两个核心模块除了模板渲染之外就是请求响应处理，其中请求响应处理是由 Werkzeug（WSGI 工具库）完成，而模板渲染是由Jinja（模板渲染库）完成。 Flask因为轻量灵活，用来构建API接口十分合适