引言
手部关键点检测是计算机视觉领域的一项重要技术，主要用于识别与定位手部在图像或视频中的关键位置点，如指关节和手腕等。通过精确识别这些关键点，我们可以获取到手部的精确姿态和手势信息。
手部关键点检测在许多领域都有着广泛的应用可能性。例如，在人机交互中，通过检测用户的手部关键点和手势，计算机可以实现无触摸的交互界面，这对于虚拟现实（VR）和增强现实（AR）应用尤为重要。此外，在健康医疗领域，可以通过对患者手部的关键点检测，来评估和诊断一些由手部动作异常引发的疾病，如帕金森氏症等。再比如，手部关键点检测也可以用于机器人视觉系统，通过对人手的识别和理解，使得机器人能更好地协作和交互。它还在手语识别、动作捕捉、游戏控制等场景找到了广泛应用。
本文介绍了一个基于OpenCV和cvzone库的实时手部跟踪系统，附全部源码，并对源码内容进行了详细讲解。
实现步骤详解
实现效果
摄像头初始化
import cv2 # 初始化摄像头以捕捉视频 # 通常 '0' 指内置摄像头 cap = cv2.VideoCapture(0)
摄像头初始化：通过cv2.VideoCapture(0)初始化摄像头，通常情况下0代表默认摄像头。
手部检测器配置
# 初始化 HandDetector 类并设置参数 detector = HandDetector(staticMode=False, # 非静态模式，持续检测 maxHands=2, # 最多检测两只手 modelComplexity=1, # 手部识别模型复杂度 detectionCon=0.5, # 手部检测的最小置信度 minTrackCon=0.5) # 追踪的最小置信度
创建HandDetector对象，配置参数如最大检测手数、模型复杂度、检测和追踪的最小置信度，这些参数平衡了检测速度和准确性。
实时帧处理循环
实时帧处理循环：程序进入一个无限循环，不断从摄像头读取视频帧。对于每一帧进行：
手部检测：利用findHands方法检测画面中的手部，同时根据配置参数在图像上绘制手部轮廓和关键点。
# 实时从摄像头获取帧 while True: # 读取每一帧图像 # 'success' 表示是否成功捕获，'img' 存储捕获的图像 success, img = cap.read() # 在当前帧中寻找手部 # 'draw' 参数决定是否在图像上绘制手部关键点和边界框 # 'flipType' 翻转图像，便于某些检测操作 hands, img = detector.findHands(img, draw=True, flipType=True)
获取关键点并计算手指间距
手指计数：对每只检测到的手，使用fingersUp方法计算并打印出抬起的手指数。
# 计算第一只手抬起的手指数量 fingers1 = detector.fingersUp(hand1) print(f'H1 = {fingers1.count(1)}', end=" ") # 输出抬起手指的数量
手指间距离计算：计算第一只手的食指和中指指尖之间的距离，并在图像上用特定颜色标出。
# 定位食指和中指指尖 tipOfIndexFinger = lmList1[8][0:2] tipOfMiddleFinger = lmList1[12][0:2] # 计算并绘制食指与中指指尖间的距离 length, info, img = detector.findDistance(tipOfIndexFinger, tipOfMiddleFinger, img, color=(255, 0, 255), scale=5)
双手中指距离计算：如果有两只手被检测到，还计算两只手的食指指尖之间的距离，同样在图像上标出。
# 计算第二只手抬起的手指数量 fingers2 = detector.fingersUp(hand2) print(f'H2 = {fingers2.count(1)}', end=" ") # 定位第二只手的食指指尖 tipOfIndexFinger2 = lmList2[8][0:2] # 计算并绘制两只手食指指尖间的距离 length, info, img = detector.findDistance(tipOfIndexFinger, tipOfIndexFinger2, img, color=(255, 0, 0), scale=10)
图像显示
# 显示处理后的图像 cv2.imshow("图像", img) # 保持窗口打开，等待1毫秒后显示下一帧 cv2.waitKey(1)
使用imshow函数在名为"图像"的窗口中显示处理后的图像。
整个程序的核心在于利用HandDetector类提供的功能来实时检测和分析手部特征。这使得它能够应用于各种应用场景，如手势识别、游戏控制、无障碍交互等。通过实时更新图像并显示手部信息，用户可以直观地看到手部检测和分析的结果。
完成源码
# 导入所需库 from cvzone.HandTrackingModule import HandDetector import cv2 # 初始化摄像头以捕捉视频 # 通常 '0' 指内置摄像头 cap = cv2.VideoCapture(0) # 初始化 HandDetector 类并设置参数 detector = HandDetector(staticMode=False, # 非静态模式，持续检测 maxHands=2, # 最多检测两只手 modelComplexity=1, # 手部识别模型复杂度 detectionCon=0.5, # 手部检测的最小置信度 minTrackCon=0.5) # 追踪的最小置信度 # 实时从摄像头获取帧 while True: # 读取每一帧图像 # 'success' 表示是否成功捕获，'img' 存储捕获的图像 success, img = cap.read() # 在当前帧中寻找手部 # 'draw' 参数决定是否在图像上绘制手部关键点和边界框 # 'flipType' 翻转图像，便于某些检测操作 hands, img = detector.findHands(img, draw=True, flipType=True) # 检查是否检测到手 if hands: # 获取第一只手的信息 hand1 = hands[0] # 第一只手 lmList1 = hand1["lmList"] # 21个关键点坐标列表 bbox1 = hand1["bbox"] # 手部边界框坐标 center1 = hand1['center'] # 手心中心点坐标 handType1 = hand1["type"] # 手型（"Left" 或 "Right"） # 计算第一只手抬起的手指数量 fingers1 = detector.fingersUp(hand1) print(f'H1 = {fingers1.count(1)}', end=" ") # 输出抬起手指的数量 # 定位食指和中指指尖 tipOfIndexFinger = lmList1[8][0:2] tipOfMiddleFinger = lmList1[12][0:2] # 计算并绘制食指与中指指尖间的距离 length, info, img = detector.findDistance(tipOfIndexFinger, tipOfMiddleFinger, img, color=(255, 0, 255), scale=5) # 检查是否有第二只手 if len(hands) == 2: # 获取第二只手的信息 hand2 = hands[1] lmList2 = hand2["lmList"] bbox2 = hand2["bbox"] center2 = hand2['center'] handType2 = hand2["type"] # 计算第二只手抬起的手指数量 fingers2 = detector.fingersUp(hand2) print(f'H2 = {fingers2.count(1)}', end=" ") # 定位第二只手的食指指尖 tipOfIndexFinger2 = lmList2[8][0:2] # 计算并绘制两只手食指指尖间的距离 length, info, img = detector.findDistance(tipOfIndexFinger, tipOfIndexFinger2, img, color=(255, 0, 0), scale=10) print() # 打印换行，提高输出可读性 # 显示处理后的图像 cv2.imshow("图像", img) # 保持窗口打开，等待1毫秒后显示下一帧 cv2.waitKey(1)
