스마트폰 촬영으로 3D모델 제작 - Luma AI

안녕하세요. 에디터 가을여행입니다.

오늘은 놀라운 AI 기술을 만나보러 가겠습니다. 이미지와 비디오를 현실적인 3D로 만들 수 있는 기술이 있다면 어떨까요? 그것도 스마트폰 카메라로 촬영한 것만으로요. 놀랍게도, Luma AI라는 스타트업은 이런 꿈을 현실로 만들고 있습니다.

Luma AI (lumalabs.ai)

Luma AI

 

 신경망 렌더링 기술

Luma AI는 2021년에 설립된 신생 스타트업으로, 신경망 렌더링(neural rendering)이라는 최첨단 기술을 활용하여 이미지와 비디오를 현실감 넘치는 3D로 변환하는 서비스를 제공합니다. 신경망 렌더링은 딥러닝과 컴퓨터 그래픽스를 결합한 기술로, 사진이나 비디오에 담긴 장면을 3D 공간에 재구성하고, 다양한 각도와 조명에서 새로운 이미지를 생성할 수 있습니다.

Luma AI 활용예

 

 활용예와 사용방법

Luma AI (lumalabs.ai)는 사진을 현실적인 3D 모델로 변환하는 기술을 제공하는 회사입니다. 이 기술은 VFX, 게임 아트, 전자상거래, AR 등 다양한 분야에 활용될 수 있습니다. Luma AI의 사용 방법은 다음과 같습니다.

VFX는 영화나 비디오 제작에서 실제 촬영 장면 외에 만들어지거나 조작되거나 개선된 영상을 말하며 실제 촬영 장면과 이런 조작된 영상을 결합하여 현실적인 환경을 만드는 과정을 포함합니다. VFX는 컴퓨터 생성 이미지(CGI)와 특정 VFX 소프트웨어를 사용하여 만들어집니다. VFX는 촬영 후에 컴퓨터로 추가되기 때문에 특수 효과(SFX)와 다릅니다. SFX는 촬영 중에 현장에서 만들어지는 효과입니다. 

• Luma AI의 웹사이트에서 iOS 앱을 다운로드하거나 Luma API를 사용할 수 있습니다.
• iOS 앱을 사용하면 스마트폰 카메라로 사진을 촬영하고, Luma AI의 서버에 업로드하여 3D 모델을 생성할 수 있습니다. 촬영 시에는 카메라 설정과 캡처 포맷에 주의해야 합니다.
• Luma API를 사용하면 이미 촬영한 사진을 Luma AI의 서버에 전송하여 3D 모델을 생성할 수 있습니다. 
• 생성된 3D 모델은 웹사이트나 앱에서 확인하거나 다운로드할 수 있습니다. 또한, 언리얼 엔진과 같은 게임 엔진에도 내보낼 수 있습니다.

 

동영상 촬영 (3D 모델링 만들기)

• 비디오 캡처 시 HDR 사용 안 함
• Loop로 이동하면서여 동영상 촬영
• 이상적으로는 3개의 높이에서 루프로 촬영합니다. 가슴 높이에서 앞을 보는 각도, 머리 위에서 현장의 중심을 가리키는 각도, 마지막으로 무릎 높이에서 약간 위로 향하게 합니다.

 

로그인 및 동영상 업로드

로그인을 하면 위와 같은 인터페이스가 나타납니다.

 

동영상 업로드

• Create new 버튼을 누르고 촬영한 동영상을 업도르 합니다.
• 비디오의 최대 크기는 5GB이내로 합니다.

 

동영상이 3D 모델링이 되는 과정

라마 인형을 360도 촬영한 동영상 (아래서 중간 위 순서로 촬영)

• 동영상을 위와 같은 방식으로 촬영하고 업로드를 한다.
• 업로드한 동영상 파일을 자체 API를 통해 3D 모델링 과정을 거친다.
• 아래 화면과 같이 사용자가 자유롭게 모델을 살펴보거나 편집할 수 있도록 공유 또는 추출 기능등을 지원한다.

3D 모델링된 화면

 

Fields Editor 앱으로 쉽게 이용

Luma AI의 서비스는 Fields Editor라는 iOS 앱을 통해 이용할 수 있습니다. 이 앱은 스마트폰 카메라로 촬영한 이미지나 비디오를 Luma AI의 클라우드 서버에 업로드하면, 몇 분 안에 현실적인 3D 모델을 다운로드할 수 있게 해줍니다. 이렇게 만들어진 3D 모델은 어떤 게임 엔진이나 VR/AR 플랫폼에서도 사용할 수 있습니다.

Luma AI on the App Store (apple.com)

‎Luma AI

 

 세계적인 연구기관과 경험 있는 창업자들

Luma AI의 창업자들은 UC 버클리, 그라츠 공과대학교, 구엘프 대학교 등 세계적인 연구기관에서 신경망 렌더링 분야의 선도적인 연구를 수행한 인재들입니다. 그들은 Plenoxels, PlenOctrees, pixelNeRF, DONeRF, AdaNeRF, Generative Scene Networks 등 다수의 논문을 발표하고, 애플, 페이스북 AI 리서치 등 유명 기업에서 경험을 쌓았습니다.

 

 결론 : 미래를 바꿀 3D 컨텐츠

오늘도 재미있는 AI 툴을 가지고 왔는데 여러분은 어떠셨나 모르겠네요? 다음에는 얼굴 인식을 이용한 다양한 이미지 생성 AI를 다루어 보도록 하겠습니다. Luma AI는 이미지와 비디오의 미래를 바꿀 수 있는 혁신적인 기술을 개발하고 있습니다. 그들의 비전은 모든 사람이 쉽고 재미있게 3D 컨텐츠를 만들고 공유할 수 있는 세상을 만드는 것입니다.