# DigitizedHuman

**Repository Path**: lrayt-study-space/digitized-human

## Basic Information

- **Project Name**: DigitizedHuman
- **Description**: 数字人实践（建模、动画、语音）
- **Primary Language**: C++
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2023-10-12
- **Last Updated**: 2024-01-14

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# AI 数字人

> 你到这个世界上来，你应该有这样一个觉悟，就是你终究是要死的，这就是一个人他很悲剧的，他无论多厉害，无论多牛，无论多么嚣张，他都要死的，他都有终结那一天。
>
> ——当年明月

## 一、项目介绍

随着人工智能的迅猛发展以及数字媒体技术的蓬勃进步，我深感对数字生命的实现存在着广泛的可能性。即便无法赋予机器真正的生命，我们仍可将记忆巧妙地转化为数字形态，令其似乎化身为一个拥有我们某些特质的数字个体。正是出于这一初衷，我们展开了这个项目，致力于探索如何塑造一个具备我们独特特征的数字化存在。

## 二、人物建模

### 1、球体贴图

- 工具：一张人脸正面图片 ，`UE`，`metahuman creator`

- 流程：

  1.  创建一个球形静态网格体

  2.  把人脸贴到球体上

  3.  静态网格体生成`metahuman`

  4.  `metahuman creator`中调整

- 优点：简单

- 缺点：丢失太多人脸特征，贴图人脸会产生形变

### 2、Blender 插件`FaceBuilder`

- 工具：5 张不同角度的人脸图片、Blender、`FaceBuilder`插件、`UE`、`metahuman creator`

- 流程：

  1.  Blender 上安装`FaceBuilder`插件

  2.  导入人脸图片

  3.  调整关键特征点位置

  4.  生成并导出模型（静态网格体）

  5.  导入 UE，转换并生成`metahuman`

  6.  `metahuman creator`中调整

- 优点：还原度较高

- 缺点：对拍摄的照片有要求、人脸的特征点调整会影响相似度

- 资料：

  1.  <https://www.bilibili.com/video/BV1JX4y147oD/?share_source=copy_web&vd_source=8ebb825e36f57e681bcc29a43af4a5c4>

  2.  Blender_v3.5.1

  3.  FaceBuilder: [blender · master · 软件技术研究所 / 卓越实验室 / UE / 3D_Human_Builder · GitLab (gtmap.cn)](http://git.gtmap.cn/ist/ex-lab/ue/3d_human_builder/tree/master/blender)

### 3、AnatoFace

- 工具: AnatoFace(ios 免费)、Blender（或其他 DCC 软件）、`UE`、`metahuman creator`

- 流程

  1.  AnatoFace ->Scan 按照提示动画生成模型并导出

  2.  导入 Blender 调整

  3.  导入 UE，转换并生成`metahuman`

  4.  `metahuman creator`中调整

- 优点：简单，快捷、免费

- 缺点：只支持 obj 格式，导出的模型需要 DCC 软件修改后才能导入 UE 中使用，模型导出是通过邮件发送的（可能会信息泄露）

- 资料：

  1.  [AnatoFace on the App Store (apple.com)](https://apps.apple.com/us/app/anatoface/id1489697369)

### 4、Qlone

- 工具：Qlone（ios 付费）

- 流程：手机摄像头对着人一直拍摄

- 优点：还原度高，可以以多种格式导出模型，以用于其他 3D 工具-OBJ，STL，FBX，USDZ，GLB（二进制 glTF），其中包括动画，PLY，X3D。

- 缺点：付费应用

- 资料：

  1.  [App Store 上的“Qlone 3D Scanner” (apple.com)](https://apps.apple.com/cn/app/qlone-3d-scanner/id1229460906?platform=iphone)

  2.  IOS 演示：<https://youtu.be/t0dX7CrRU1g>

  3.  安卓破解版：<http://git.gtmap.cn/ist/ex-lab/ue/3d_human_builder/blob/master/qlone/Qlone.apk>

### 5、`Deep3DFaceRecon_pytorch`

- 工具：`conda`、`Deep3DFaceRecon_pytorch`、Bender（其他第三方 DCC 软件）、`UE`、`metahuman creator`

- 流程：

  1.  `Deep3DFaceRecon_pytorch`生成特征点位置

  2.  通过机器学习生成模型

  3.  导入 DCC 软件中调整模型，导出

  4.  导入 UE，转换并生成`metahuman`

  5.  `metahuman creator`中调整

- 优点：

- 缺点：

- 资料：

  1.  演示视频：[Single 2D image to Metahuman character Demo! - YouTube](https://www.youtube.com/watch?v=kz13lcOQcig)

  2.  项目地址：[sicxu/Deep3DFaceRecon_pytorch: Accurate 3D Face Reconstruction with Weakly-Supervised Learning: From Single Image to Image Set (CVPRW 2019). A PyTorch implementation. (github.com)](https://github.com/sicxu/Deep3DFaceRecon_pytorch)

  3.  数据集：<https://drive.google.com/open?id=1u2xu7bSrWxrbUxk-dT-UvEJq8IjdmNTP>

  4.  教程：[Deep3DFaceReconstruction 让一张人脸照片变成三维的真人脸\_epoch_20.pth\_文野历笑生的博客-CSDN 博客](https://blog.csdn.net/flyfish1986/article/details/121861086)

### 6、DECA

- 工具:`conda、DECA`

- 流程:

- 优点:

- 缺点:

- 资料：

  1.  项目仓库：<https://github.com/YadiraF/DECA>

  2.  上手教程 1：[DECA（Detailed Expression Capture and Animation）入门之 3D 人脸重建 Demo_flame model_Yang.O 的博客-CSDN 博客](https://blog.csdn.net/yangowen/article/details/127560680)

  3.  上手教程 2：[DECA：基于单张静态图像，进行 3D 人脸建模 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/408967124)

## 三、动作捕捉

## 四、人物控制

### 1、AI Controller

> NPC 场景

实现流程：

1.  蓝图类——AI Controller

2.  行为树

3.  黑板

4.  任务蓝图

5.  骨骼网格体

### 2、Mass AI

> ECS 架构

关于 ECS:

1.  `ECS`是什么？

    一种架构模式

    实体(Entity)——组件(Component)——系统(System)

2.  用来解决什么问题？

3.  如何解决？

## 五、声音

### 1、口型

### 2、语音

## 六、对话

### 1、`ChatGPT`