MediaPipe实现手指关键点检测及追踪,人脸识别及追踪

OpenCV 是一个用于计算机视觉应用程序的库。在 OpenCV 的帮助下,我们可以构建大量实时运行更好的应用程序。主要用于图像和视频处理。

可以在此处获取有关 OpenCV 的更多信息 (https://opencv.org/)

除了 OpenCV,我们将使用 MediaPipe 库。

1.MediaPipe简介

MediaPipe是一个主要用于构建音频、视频或任何时间序列数据的框架。在 MediaPipe 框架的帮助下,我们可以为不同的媒体处理功能构建管道。

MediaPipe 的一些主要应用。

  • 多手追踪

  • 人脸检测

  • 对象检测和跟踪

  • Objection:3D 对象检测和跟踪

  • AutoFlip:自动视频裁剪管道等。

  • MediaPipe 使用单次手掌检测模型,一旦完成,它会对检测到的手部区域中的 21 个 3D 手掌坐标执行精确的关键点定位。

    MediaPipe 管道使用多个模型,例如,从完整图像返回定向手边界框的手掌检测模型。裁剪后的图像区域被馈送到由手掌检测器定义的手部标志模型,并返回高保真 3D 手部关键点。

    现在让我们实现手部跟踪模型。

    安装所需的模块

    –> pip install opencv-python

    –> pip install mediapipe

    注意:这里的python版本尽量在3.8以上,不然会报各种错误!!

    首先,让我们检查网络摄像头的工作情况。

    import cv2
    import mediapipe as mp
    import time
    ​
    cap = cv2.VideoCapture(0)
    ​
    mpHands = mp.solutions.hands
    hands = mpHands.Hands(static_image_mode=False,
                          max_num_hands=2,
                          min_detection_confidence=0.5,
                          min_tracking_confidence=0.5)
    mpDraw = mp.solutions.drawing_utils
    ​
    pTime = 0
    cTime = 0
    ​
    while True:
        success, img = cap.read()
        img = cv2.flip(img, 1)
        imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        results = hands.process(imgRGB)
        #print(results.multi_hand_landmarks)
    ​
        if results.multi_hand_landmarks:
            for handLms in results.multi_hand_landmarks:
                for id, lm in enumerate(handLms.landmark):
                    #print(id,lm)
                    h, w, c = img.shape
                    cx, cy = int(lm.x *w), int(lm.y*h)
                    #if id ==0:
                    cv2.circle(img, (cx,cy), 3, (255,0,255), cv2.FILLED)
    ​
                mpDraw.draw_landmarks(img, handLms, mpHands.HAND_CONNECTIONS)
    ​
    ​
        cTime = time.time()
        fps = 1/(cTime-pTime)
        pTime = cTime
    ​
        cv2.putText(img,str(int(fps)), (10,70), cv2.FONT_HERSHEY_PLAIN, 3, (255,0,255), 3)
    ​
        cv2.imshow("Image", img)
        cv2.waitKey(1)

    结果见图示:

    image-20211125121105554

    2.mediapipe实现手掌拖拽屏幕中的方块(转载于恩培大佬)

    效果如示:

    image-20211125122000091

    image-20211125122027286

    image-20211125122052025

    源码如下:

    """
    功能:手势虚拟拖拽
    1、使用OpenCV读取摄像头视频流;
    2、识别手掌关键点像素坐标;
    3、根据食指和中指指尖的坐标,利用勾股定理计算距离,当距离较小且都落在矩形内,则触发拖拽(矩形变色);
    4、矩形跟着手指动;
    5、两指放开,则矩形停止移动
    """
    ​
    ​
    # 导入OpenCV
    import cv2
    # 导入mediapipe
    import mediapipe as mp
    ​
    # 导入其他依赖包
    import time
    import math
    ​
    ​
    ​
    # 方块管理类
    class SquareManager:
        def __init__(self, rect_width):
            
            
            # 方框长度
            self.rect_width = rect_width
            
            # 方块list
            self.square_count = 0
            self.rect_left_x_list = []
            self.rect_left_y_list = []
            self.alpha_list = []
    ​
            # 中指与矩形左上角点的距离
            self.L1 = 0
            self.L2 = 0
    ​
            # 激活移动模式
            self.drag_active = False
    ​
            # 激活的方块ID
            self.active_index = -1
            
        
        # 创建一个方块,但是没有显示
        def create(self,rect_left_x,rect_left_y,alpha=0.4):
            self.rect_left_x_list.append(rect_left_x)
            self.rect_left_y_list.append(rect_left_y)
            self.alpha_list.append(alpha)
            self.square_count+=1
            
    ​
        # 更新位置
        def display(self,class_obj):
            for i in range(0,self.square_count):
                x= self.rect_left_x_list[i]
                y= self.rect_left_y_list[i]
                alpha  = self.alpha_list[i]
    ​
                overlay = class_obj.image.copy()
    ​
                if(i == self.active_index):
                    cv2.rectangle(overlay,(x,y),(x+self.rect_width,y+self.rect_width),(255, 0, 255),-1)
                else:
                    cv2.rectangle(overlay,(x,y),(x+self.rect_width,y+self.rect_width),(255, 0, 0),-1)
                
                # Following line overlays transparent rectangle over the self.image
                class_obj.image = cv2.addWeighted(overlay, alpha, class_obj.image, 1 - alpha, 0)
                
    ​
    ​
        # 判断落在哪个方块上,返回方块的ID
        def checkOverlay(self,check_x,check_y):
            for i in range(0,self.square_count):
                x= self.rect_left_x_list[i]
                y= self.rect_left_y_list[i]
    ​
                if (x <  check_x < (x+self.rect_width) ) and ( y < check_y < (y+self.rect_width)):
                    
                    # 保存被激活的方块ID
                    self.active_index = i
    ​
                    return i
            
            return -1
    ​
        # 计算与指尖的距离
        def setLen(self,check_x,check_y):
            # 计算距离
            self.L1 = check_x - self.rect_left_x_list[self.active_index] 
            self.L2 = check_y - self.rect_left_y_list[self.active_index]
    ​
        # 更新方块    
        def updateSquare(self,new_x,new_y):
            # print(self.rect_left_x_list[self.active_index])
            self.rect_left_x_list[self.active_index] = new_x - self.L1 
            self.rect_left_y_list[self.active_index] = new_y - self.L2
    ​
    ​
    # 识别控制类
    class HandControlVolume:
        def __init__(self):
            # 初始化medialpipe
            self.mp_drawing = mp.solutions.drawing_utils
            self.mp_drawing_styles = mp.solutions.drawing_styles
            self.mp_hands = mp.solutions.hands
    ​
            
            # 中指与矩形左上角点的距离
            self.L1 = 0
            self.L2 = 0
    ​
            # image实例,以便另一个类调用
            self.image=None
    ​
            
    ​
        # 主函数
        def recognize(self):
            # 计算刷新率
            fpsTime = time.time()
    ​
            # OpenCV读取视频流
            cap = cv2.VideoCapture(0)
            # 视频分辨率
            resize_w = 1280
            resize_h = 720
    ​
            # 画面显示初始化参数
            rect_percent_text = 0
    ​
    ​
            # 初始化方块管理器
            squareManager = SquareManager(150)
    ​
            # 创建多个方块
            for i in range(0, 7):
                squareManager.create(180*i+20, 180, 0.3) ##原来是0.6
    ​
    ​
            with self.mp_hands.Hands(min_detection_confidence=0.7,
                                     min_tracking_confidence=0.5,
                                     max_num_hands=2) as hands:
                while cap.isOpened():
    ​
                    # 初始化矩形
                    success, self.image = cap.read()
                    self.image = cv2.resize(self.image, (resize_w, resize_h))
    ​
                    if not success:
                        print("空帧.")
                        continue
    ​
                    # 提高性能
                    self.image.flags.writeable = False
                    # 转为RGB
                    self.image = cv2.cvtColor(self.image, cv2.COLOR_BGR2RGB)
                    # 镜像
                    self.image = cv2.flip(self.image, 1)
                    # mediapipe模型处理
                    results = hands.process(self.image)
    ​
                    self.image.flags.writeable = True
                    self.image = cv2.cvtColor(self.image, cv2.COLOR_RGB2BGR)
                    # 判断是否有手掌
                    if results.multi_hand_landmarks:
                        # 遍历每个手掌
                        for hand_landmarks in results.multi_hand_landmarks:
                            # 在画面标注手指
                            self.mp_drawing.draw_landmarks(
                                self.image,
                                hand_landmarks,
                                self.mp_hands.HAND_CONNECTIONS,
                                self.mp_drawing_styles.get_default_hand_landmarks_style(),
                                self.mp_drawing_styles.get_default_hand_connections_style())
    ​
    ​
                            # 解析手指,存入各个手指坐标
                            landmark_list = []
    ​
                            # 用来存储手掌范围的矩形坐标
                            paw_x_list = []
                            paw_y_list = []
                            for landmark_id, finger_axis in enumerate(
                                    hand_landmarks.landmark):
                                landmark_list.append([
                                    landmark_id, finger_axis.x, finger_axis.y,
                                    finger_axis.z
                                ])
                                paw_x_list.append(finger_axis.x)
                                paw_y_list.append(finger_axis.y)
                            if landmark_list:
                                # 比例缩放到像素
                                ratio_x_to_pixel = lambda x: math.ceil(x * resize_w)
                                ratio_y_to_pixel = lambda y: math.ceil(y * resize_h)
                                
                                # 设计手掌左上角、右下角坐标
                                paw_left_top_x,paw_right_bottom_x = map(ratio_x_to_pixel,[min(paw_x_list),max(paw_x_list)])
                                paw_left_top_y,paw_right_bottom_y = map(ratio_y_to_pixel,[min(paw_y_list),max(paw_y_list)])
    ​
                                # 给手掌画框框
                                cv2.rectangle(self.image,(paw_left_top_x-30,paw_left_top_y-30),(paw_right_bottom_x+30,paw_right_bottom_y+30),(0, 255,0),2)
    ​
                                # 获取中指指尖坐标
                                middle_finger_tip = landmark_list[12]
                                middle_finger_tip_x =ratio_x_to_pixel(middle_finger_tip[1])
                                middle_finger_tip_y =ratio_y_to_pixel(middle_finger_tip[2])
    ​
                                # 获取食指指尖坐标
                                index_finger_tip = landmark_list[8]
                                index_finger_tip_x =ratio_x_to_pixel(index_finger_tip[1])
                                index_finger_tip_y =ratio_y_to_pixel(index_finger_tip[2])
                                # 中间点
                                between_finger_tip = (middle_finger_tip_x+index_finger_tip_x)//2, (middle_finger_tip_y+index_finger_tip_y)//2
                                # print(middle_finger_tip_x)
                                thumb_finger_point = (middle_finger_tip_x,middle_finger_tip_y)
                                index_finger_point = (index_finger_tip_x,index_finger_tip_y)
                                # 画指尖2点
                                circle_func = lambda point: cv2.circle(self.image,point,10,(255,0,255),-1)
                                self.image = circle_func(thumb_finger_point)
                                self.image = circle_func(index_finger_point)
                                self.image = circle_func(between_finger_tip)
                                # 画2点连线
                                self.image = cv2.line(self.image,thumb_finger_point,index_finger_point,(255,0,255),5)
                                # 勾股定理计算长度
                                line_len = math.hypot((index_finger_tip_x-middle_finger_tip_x),(index_finger_tip_y-middle_finger_tip_y))
                                # 将指尖距离映射到文字
                                rect_percent_text = math.ceil(line_len)
    ​
                                # 激活模式,需要让矩形跟随移动
                                if squareManager.drag_active:
                                    # 更新方块
                                    squareManager.updateSquare(between_finger_tip[0],between_finger_tip[1])
                                    if(line_len>100):
                                        # 取消激活
                                        squareManager.drag_active =False
                                        squareManager.active_index = -1
    ​
                                elif (line_len<100) and (squareManager.checkOverlay(between_finger_tip[0],between_finger_tip[1]) != -1 )and( squareManager.drag_active  == False):
                                        # 激活
                                        squareManager.drag_active =True
                                        # 计算距离
                                        squareManager.setLen(between_finger_tip[0],between_finger_tip[1])
    ​
                    # 显示方块,传入本实例,主要为了半透明的处理
                    squareManager.display(self)
                    
                    # 显示距离
                    cv2.putText(self.image, "Distance:"+str(rect_percent_text), (10, 120),cv2.FONT_HERSHEY_PLAIN, 3, (255, 0, 0), 3)
    ​
                    # 显示当前激活
                    cv2.putText(self.image, "Active:"+( "None" if squareManager.active_index == -1 else str(squareManager.active_index)), (10, 170),cv2.FONT_HERSHEY_PLAIN, 3, (255, 0, 0), 3)
    ​
                    # 显示刷新率FPS
                    cTime = time.time()
                    fps_text = 1/(cTime-fpsTime)
                    fpsTime = cTime
                    cv2.putText(self.image, "FPS: " + str(int(fps_text)), (10, 70),
                                cv2.FONT_HERSHEY_PLAIN, 3, (255, 0, 0), 3)
                    # 显示画面
                    # self.image = cv2.resize(self.image, (resize_w//2, resize_h//2))
                    cv2.imshow('virtual drag and drop', self.image)
                    
                    if cv2.waitKey(5) & 0xFF == 27:
                        break
                cap.release()
    ​
    ​
    ​
    # 开始程序
    control = HandControlVolume()
    control.recognize()
    ​
    ​

    3.mediapipe实现手势控制音量大小(转载于恩培大佬)

    效果如示:

    image-20211125122351771

    image-20211125122411531

    源码如下:

    """
    功能:手势操作电脑音量
    1、使用OpenCV读取摄像头视频流;
    2、识别手掌关键点像素坐标;
    3、根据拇指和食指指尖的坐标,利用勾股定理计算距离;
    4、将距离等比例转为音量大小,控制电脑音量
    """
    ​
    ​
    # 导入OpenCV
    import cv2
    # 导入mediapipe
    import mediapipe as mp
    # 导入电脑音量控制模块
    from ctypes import cast, POINTER
    from comtypes import CLSCTX_ALL
    from pycaw.pycaw import AudioUtilities, IAudioEndpointVolume
    ​
    # 导入其他依赖包
    import time
    import math
    import numpy as np
    ​
    class HandControlVolume:
        def __init__(self):
            # 初始化medialpipe
            self.mp_drawing = mp.solutions.drawing_utils
            self.mp_drawing_styles = mp.solutions.drawing_styles
            self.mp_hands = mp.solutions.hands
    ​
            # 获取电脑音量范围
            devices = AudioUtilities.GetSpeakers()
            interface = devices.Activate(
                IAudioEndpointVolume._iid_, CLSCTX_ALL, None)
            self.volume = cast(interface, POINTER(IAudioEndpointVolume))
            self.volume_range = self.volume.GetVolumeRange()
    ​
        # 主函数
        def recognize(self):
            # 计算刷新率
            fpsTime = time.time()
    ​
            # OpenCV读取视频流
            cap = cv2.VideoCapture(0)
            # 视频分辨率
            resize_w = 640
            resize_h = 480
    ​
            # 画面显示初始化参数
            rect_height = 0
            rect_percent_text = 0
    ​
            with self.mp_hands.Hands(min_detection_confidence=0.7,
                                     min_tracking_confidence=0.5,
                                     max_num_hands=2) as hands:
                while cap.isOpened():
                    success, image = cap.read()
                    image = cv2.resize(image, (resize_w, resize_h))
    ​
                    if not success:
                        print("空帧.")
                        continue
    ​
                    # 提高性能
                    image.flags.writeable = False
                    # 转为RGB
                    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
                    # 镜像
                    image = cv2.flip(image, 1)
                    # mediapipe模型处理
                    results = hands.process(image)
    ​
                    image.flags.writeable = True
                    image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
                    # 判断是否有手掌
                    if results.multi_hand_landmarks:
                        # 遍历每个手掌
                        for hand_landmarks in results.multi_hand_landmarks:
                            # 在画面标注手指
                            self.mp_drawing.draw_landmarks(
                                image,
                                hand_landmarks,
                                self.mp_hands.HAND_CONNECTIONS,
                                self.mp_drawing_styles.get_default_hand_landmarks_style(),
                                self.mp_drawing_styles.get_default_hand_connections_style())
    ​
                            # 解析手指,存入各个手指坐标
                            landmark_list = []
                            for landmark_id, finger_axis in enumerate(
                                    hand_landmarks.landmark):
                                landmark_list.append([
                                    landmark_id, finger_axis.x, finger_axis.y,
                                    finger_axis.z
                                ])
                            if landmark_list:
                                # 获取大拇指指尖坐标
                                thumb_finger_tip = landmark_list[4]
                                thumb_finger_tip_x = math.ceil(thumb_finger_tip[1] * resize_w)
                                thumb_finger_tip_y = math.ceil(thumb_finger_tip[2] * resize_h)
                                # 获取食指指尖坐标
                                index_finger_tip = landmark_list[8]
                                index_finger_tip_x = math.ceil(index_finger_tip[1] * resize_w)
                                index_finger_tip_y = math.ceil(index_finger_tip[2] * resize_h)
                                # 中间点
                                finger_middle_point = (thumb_finger_tip_x+index_finger_tip_x)//2, (thumb_finger_tip_y+index_finger_tip_y)//2
                                # print(thumb_finger_tip_x)
                                thumb_finger_point = (thumb_finger_tip_x,thumb_finger_tip_y)
                                index_finger_point = (index_finger_tip_x,index_finger_tip_y)
                                # 画指尖2点
                                image = cv2.circle(image,thumb_finger_point,10,(255,0,255),-1)
                                image = cv2.circle(image,index_finger_point,10,(255,0,255),-1)
                                image = cv2.circle(image,finger_middle_point,10,(255,0,255),-1)
                                # 画2点连线
                                image = cv2.line(image,thumb_finger_point,index_finger_point,(255,0,255),5)
                                # 勾股定理计算长度
                                line_len = math.hypot((index_finger_tip_x-thumb_finger_tip_x),(index_finger_tip_y-thumb_finger_tip_y))
    ​
                                # 获取电脑最大最小音量
                                min_volume = self.volume_range[0]
                                max_volume = self.volume_range[1]
                                # 将指尖长度映射到音量上
                                vol = np.interp(line_len,[50,300],[min_volume,max_volume])
                                # 将指尖长度映射到矩形显示上
                                rect_height = np.interp(line_len,[50,300],[0,200])
                                rect_percent_text = np.interp(line_len,[50,300],[0,100])
    ​
                                # 设置电脑音量
                                self.volume.SetMasterVolumeLevel(vol, None)
    ​
                    # 显示矩形
                    cv2.putText(image, str(math.ceil(rect_percent_text))+"%", (10, 350),
                                cv2.FONT_HERSHEY_PLAIN, 3, (255, 0, 0), 3)
                    image = cv2.rectangle(image,(30,100),(70,300),(255, 0, 0),3)
                    image = cv2.rectangle(image,(30,math.ceil(300-rect_height)),(70,300),(255, 0, 0),-1)
    ​
                    # 显示刷新率FPS
                    cTime = time.time()
                    fps_text = 1/(cTime-fpsTime)
                    fpsTime = cTime
                    cv2.putText(image, "FPS: " + str(int(fps_text)), (10, 70),
                                cv2.FONT_HERSHEY_PLAIN, 3, (255, 0, 0), 3)
                    # 显示画面
                    cv2.imshow('MediaPipe Hands', image)
                    if cv2.waitKey(5) & 0xFF == 27:
                        break
                cap.release()
    ​
    # 开始程序
    control = HandControlVolume()
    control.recognize()
    ​
    ​
    ​
    ​

    reference:

    使用 Python+OpenCV 构建手部跟踪系统 – 知乎 (zhihu.com)

    源码来源:恩培大佬

    enpeizhao/CVprojects: computer vision projects | 计算机视觉等好玩的AI项目 (github.com)

    来源:心之所向521

    物联沃分享整理
    物联沃-IOTWORD物联网 » MediaPipe实现手指关键点检测及追踪,人脸识别及追踪

    发表评论