FACS 데이터 제작
[ Metaquest용 FACS ]

[ SUMMARY ]

목적: 연구개발용 아바타 제작에 사용될 Metaquest에 사용될 FACS 데이터 제작

방법: 3D스캔된 64개의 얼굴표정을 3D스캔한 후 Metaquest에 사용될 FACS 기반 몰핑 가능한 데이터로 아바타 얼굴 모델링 제작

[ PROCESS ]

1. 3D Scan Data Cleanup – 3D스캔 데이터 클린업
: 3D스캔 데이터는 조건에 따라 확연히 차이가 나지만 메쉬표면에 완전히 매끄럽게 병합될 수는 없습니다. 그렇게 때문에 모든 3D스캔된 Raw데이터는 클린업(메쉬 표면 정리, 메쉬/텍 스처 유실 부분 복원) 작업이 필수적으로 필요합니다. Normal 표정의 데이터만 기본 클린업을 진행하며, 나머지 표정은 메쉬는 레퍼런스용으로 텍스처는 요청에 따라 별도 적용으로 분류하여 클린업 작업을 진행합니다. 3D스캔된 Raw 데이터는 기본 세팅 Export시 약 3~5백만 폴리곤으로 저장되며, 클린업 작업시 디테일 묘사 정도에 따라 폴리곤 수를 조정하여 작업합 니다.

* MIB STUDIO 장비는 디테일 얼굴 촬영이 가능합니다. 동일 장비 전신세팅 촬영 기준보다 탁월한 얼굴 표면 디테일을 제공합니다. 표면 디테일이 좋을수록 정확한 하이폴리곤 데이터를 만들기 용이하며, 이는 양질의 멀티 맵소스 추출에도 큰 영향을 끼치게 됩니다.

<원본 이미지>

<3D병합 화면 / 모델링(좌), 모델링+텍스처(우)>

< 데이터 품질 / MIB STUDIO 얼굴 전용 세팅 기준>

2. Data Optimization – 데이터 최적화
: 앞서 언급드린 부분과 같이 3D스캔된 Raw 데이터는 3~500만에 가까운 폴리곤을 가지고 있으며, 이 폴리곤 수는 3D프로그램이나 특히 게임엔진(언리얼, 유니티 등)에서 사용하기에는 너무 무거워서 사용하기 불가능합니다. 폴리곤 수를 줄이는 방법은 3D데이터 병합 프로그램 이나 범용 3D프로그램에서 약 50만 정도까지는 자동적으로 줄이는 부분이 가능합니다. 그러나 이보다 더 작은 수의 폴리곤으로 자동 줄이게 되면 디테일이 무너지게 됩니다. 디테일 손상 없이 데이터를 적은 폴리곤 숫자로 만들기 위해서는 Retopology 작업을 통한 데이터 최적화 가 필요합니다. 이렇게 줄여진 모델링과 디테일 모델링과의 높낮이를 분석하여 멀티 맵소스를 제작할 수 있습니다.

<Cleanup 및 Retopology 작업>

<애니메이션 데이터 작업>

3. 표정 매칭 작업
: Metaquest FACS 시스템에 적용하기 위해서는 몰핑이 가능한 같은 메쉬 구조를 가진 총 64개의 표정 3D데이터가 필요합니다. 이 데이터셋을 제작하기 위해서 노멀 표정으로 기본 메쉬 구조 및 텍스처를 제작하고 3D스캔된 각 표정에 프로젝션하는 방식으로 메쉬구조 상 포인트의 위치를 조정하여 요청하는 표정의 파일을 제작하게 됩니다. 이렇게 제작된 표정 파일들은 독립적으로 각각의 표정으로 몰핑되어 애니메이션이 가능하며, Metaquest FACS 시스템에 적용이 가능합니다. 이번 작업을 통해 총 65개의 데이터셋이 만들어졌습니다.

<Retopology 표정별 적용>

FACS 데이터

<FACS 데이터 – 64개 FACS 표정>