按我的预想，智能家居的控制有四种方式
- APP/小程序控制
- 智能音箱等设备语音控制
- 预设场景自动控制
- 根据人体姿态和手部动作控制
前三种目前智能家居方案已经很成熟了，主要是要自己实现第四种，以下是一些不成熟的想法，欢迎补充：
- 使用场景
-
- 定义想实现的具体交互方式，例如：举手可以打开灯，挥手可以控制音乐，音量等。
- 考虑到未来可能有不同家庭成员的需求和使用习惯，可能需要个性化的手势或姿态，以及可能需要通过人脸识别确定是谁发出的命令。
- 交互过程
-
- 选择简单直观的手势，以确保操作简单。
- 避免过于复杂或需要高精度的手势，这样可以降低误判率。
- 用户反馈
-
- 当系统识别到用户的手势或姿态后，提供清晰的反馈，如声音、灯光变化等，使用户知道操作已被识别。
- 针对可能的误操作提供撤回命令。
- 安全性
-
- 确保在关键操作前有验证机制，例如开关门，开启私人设备
- 需要加入一种“全局停止”手势或动作，以便用户在需要时紧急停止所有智能家居设备的操作。
- 性价比：
-
- 摄像头可以复用室内监控设备，通过降低码率，分辨率的方式降低性能需求，尽量部署在NAS设备中，不再添加额外设备。
简单验证了一下，思路基本可行。识别可以通过MediaPipe库来实现。
以下代码可以识别左右手以及ok手势，考虑后续应该结合机器学习来进行手势识别，手写效果差强人意，主要是太麻烦了。
以下是代码：
import cv2
import mediapipe as mp
import numpy as np
mp_hands = mp.solutions.hands # 加载手部关键点模型
mp_drawing = mp.solutions.drawing_utils # 加载绘图工具
defis_ok_gesture(landmarks): # 判断是否是 OK 手势
thumb_tip = np.array(
[landmarks.landmark[mp_hands.HandLandmark.THUMB_TIP].x, landmarks.landmark[mp_hands.HandLandmark.THUMB_TIP].y]) # 获取大拇指尖的坐标
index_finger_tip = np.array([landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].x,
landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP].y]) # 获取食指尖的坐标
# 计算大拇指和食指尖的距离
distance = np.linalg.norm(thumb_tip - index_finger_tip)
# 检查其它三个手指是否伸直
middle_finger_tip = landmarks.landmark[mp_hands.HandLandmark.MIDDLE_FINGER_TIP].y
ring_finger_tip = landmarks.landmark[mp_hands.HandLandmark.RING_FINGER_TIP].y
pinky_tip = landmarks.landmark[mp_hands.HandLandmark.PINKY_TIP].y
if distance < 0.05and middle_finger_tip < ring_finger_tip and ring_finger_tip < pinky_tip:
returnTrue
returnFalse
defdetect_hand_actions(image):
with mp_hands.Hands(min_detection_confidence=0.2, min_tracking_confidence=0.5) as hands: # 设置置信度
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
results = hands.process(image_rgb) # 处理图像
if results.multi_hand_landmarks: # 检查是否检测到手部
for landmarks in results.multi_hand_landmarks: # 遍历每一只手
mp_drawing.draw_landmarks(image, landmarks, mp_hands.HAND_CONNECTIONS) # 绘制关键点连线
if is_ok_gesture(landmarks): # 判断是否是 OK 手势
cv2.putText(image, 'OK 手势', (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 2,
cv2.LINE_AA)
# 以下代码是获取手指的关键点
thumb_tip = landmarks.landmark[mp_hands.HandLandmark.THUMB_TIP]
index_finger_tip = landmarks.landmark[mp_hands.HandLandmark.INDEX_FINGER_TIP]
# 这里只是一个简单示例，您可以添加更多的逻辑来识别特定的手部动作
if thumb_tip.x > index_finger_tip.x:
print("右手")
else:
print("左手")
return image
cap = cv2.VideoCapture(0)
while cap.isOpened():
ret, frame = cap.read()
ifnot ret:
continue
image = detect_hand_actions(frame)
cv2.imshow('Hand Action Detection', image)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
