OpenVINO实时人脸表面3D点云提取

干货第一时间送达

NCHW = 1x3x384x384

1x1xNx7

# 加载人脸检测模型
net = ie.read_network(model=model_xml, weights=model_bin)
input_blob = next(iter(net.input_info))
out_blob = next(iter(net.outputs))
# 人脸检测的输入格式
n, c, h, w = net.input_info[input_blob].input_data.shape
print(n, c, h, w)
exec_net = ie.load_network(network=net, device_name="CPU")

# 加载人脸3D点云预测模型
face_mesh_onnx = "facemesh.onnx"
mesh_face_net = ie.read_network(model=face_mesh_onnx)
# 输入格式
em_input_blob = next(iter(mesh_face_net.input_info))
en, ec, eh, ew = mesh_face_net.input_info[em_input_blob].input_data.shape
print(en, ec, eh, ew)
em_exec_net = ie.load_network(network=mesh_face_net, device_name="CPU")

# 设置输入图像与人脸检测模型推理预测
image = cv.resize(frame, (w, h))
image = image.transpose(2, 0, 1)
inf_start = time.time()
res = exec_net.infer(inputs={input_blob: [image]})
ih, iw, ic = frame.shape
res = res[out_blob]
# 解析人脸检测，获取ROI
for obj in res[0][0]:
    if obj[2] > 0.75:
        xmin = int(obj[3] * iw)
        ymin = int(obj[4] * ih)
        xmax = int(obj[5] * iw)
        ymax = int(obj[6] * ih)
        if xmin < 0:
            xmin = 0
        if ymin < 0:
            ymin = 0
        if xmax >= iw:
            xmax = iw - 1
        if ymax >= ih:
            ymax = ih - 1

        # 截取人脸ROI，提取3D表面点云数据
        roi = frame[ymin:ymax, xmin:xmax, :]
        roi_img = cv.resize(roi, (ew, eh))
        roi_img = np.float32(roi_img) / 127.5
        roi_img = roi_img.transpose(2, 0, 1)
        em_res = em_exec_net.infer(inputs={em_input_blob: [roi_img]})

        # 转换为468个3D点云数据， 然后显示
        prob_mesh = em_res["preds"]
        prob_mesh= np.reshape(prob_mesh, (-1, 3))
        cv.rectangle(frame, (xmin, ymin), (xmax, ymax), (0, 255, 255), 2, 8)
        sx, sy= ew / roi.shape[1], eh / roi.shape[0]
        for i in range(prob_mesh.shape[0]):
            x, y = int(prob_mesh[i, 0] / sx), int(prob_mesh[i, 1] / sy)
            cv.circle(frame, (xmin + x, ymin + y), 1, (0, 0, 255), 1)

# 计算帧率与显示点云结果
inf_end = time.time() - inf_start
cv.putText(frame, "infer time(ms): %.3f, FPS: %.2f" % (inf_end * 1000, 1 / inf_end), (10, 50),
           cv.FONT_HERSHEY_SIMPLEX, 1.0, (255, 0, 255), 2, 8)
cv.imshow("Face Detection + 3D mesh", frame)