3D로 장면을 실시간 렌더링 할 수 있는 기술

3D로 장면을 실시간 렌더링 할 수 있는 기술

인간은 하나의 2차원 이미지를 보고 그것이 캡쳐하는 전체적인 3차원 장면을 이해합니다.

인공지능 에이전트는 그렇지 않습니다.

그러나 작물의 수확이나 수술을 지원하는 로봇처럼 전세계의 물체와

상호작용해야 하는 기계는 훈련된 2D 이미지의 관찰로 3D 장면의 특성을

추측할 수 있어야 합니다.

과학자들은 신경망을 이용해 이미지에서 3D 장면의 표현을 추론하는데 성공했지만,

이러한 머신 러닝 방법은 대부분의 실제 응용분야에서 실현 가능할 만큼

빠른 것은 아닙니다.

MIT 등의 연구원들에 의해 실증 된 새로운 기술은 일부 기존 모델보다

약 1만 5천배의 속도로 이미지에서 3D 장면을 나타낼 수 있습니다.

해당 방법은 장면을 360도 라이트 필드로 표현하는데

이는 모든 점과 방향으로 흐르는 3차원 공간 내의 모든 광선을 묘사하는 기능입니다.

라이트 필드는 신경망으로 인코딩 되어 이미지에서 기본적인 3D 장면을

보다 빠르게 렌더링 할 수 있습니다.

연구원들이 개발한 라이트 필드 네트워크(LFN)는 이미지를 한번만 관찰한 뒤

라이트 필드를 재구성할 수 있고, 실시간 프레임 속도로 3D 장면을 렌더링 할 수 있습니다.

해당 논문의 공동 집필자로 컴퓨터 과학 및 인공 지능 연구소(CSAIL)의 

박사후 연구원인 Vincent Sitzmann씨는 

“이런 신경 장면 표현의 가장 큰 가능성은 결국 시각 작업에 그것들을

사용하는 것입니다. 이미지를 제공하고 그 이미지로부터 장면을 표현한 다음

3D  장면의 공간에서 추론하려는 모든것을 수행합니다” 라고 이야기 했습니다.

컴퓨터 비전과 컴퓨터 그래픽에서 이미지의 3D 장면을 렌더링 하려면

수천 또는 수백만개의 카메라 광선을 매핑해야 합니다.

카메라의 렌즈에서 레이저 빔이 발사되어 이미지의 각 픽셀을 1픽셀 당

1광선씩 조사합니다.

이 컴퓨터 모델은 각 카메라 광선이 비추는 픽셀의 색상을 결정해야 합니다.

현재 많은 방법은 카메라 광선이 공간을 이동할 때 각 카메라 광선의 길이에 따라

수백개의 샘플을 채취하는 것으로 이를 실현하고 있습니다.

이것은 계산 비용이 드는 프로세스로 렌더링이 늦어질 수 있습니다.

대신 LFN은 3D 장면의 라이트 필드를 표현하는 방법을 학습하고

라이트 필드의 각 카메라 광선을 통해 관찰 된 색상에 직접 매핑합니다.

LFN은 라이트 필드의 고유 특성을 이용하여 한번의 평가로 광선을 렌더링 할 수 있으므로

계산을 수행하기 위해 광선의 길이에 따라 LFN을 정지할 필요가 없습니다.

Sitzmann은 “다른 방법으로는 해당 렌더링을 실행할 때 지표가 발견될 때까지

광선을 추적해야 합니다. 수천개의 샘플을 만들어야 합니다. 

왜냐하면 그것이 표면을 찾는다는 의미이기 때문입니다.

그리고 투명성이나 반사와 같은 복잡한 것이 있을지도 모르기 때문에 

아직 끝나지 않았습니다. 라이트 필드에서는 라이트 필드를 재구축 하면

복잡한 문제가 되지만 한줄기 광선을 렌더링 하기 위해서는 그 표현의 샘플이

하나 필요합니다.

왜냐하면 해당 표현은 광선을 그 색깔에 직접 매핑하기 때문입니다” 라고 이야기 합니다.

LFN은 방향과 원점에서 얼마나 떨어져 있느냐에 따라 3D공간의 선을 나타내는

Plücker 좌표를 사용하여 각 카메라 광선을 분류합니다.

시스템은 이미지를 렌더링 하는 포인트로 카메라 광선의 Plücker 좌표를 계산합니다.

각 광선을 Plücker 좌표를 사용하여 매핑함으로써 LFN은 시차 효과로 인해

장면의 기하학적 구조를 계산할 수 있습니다.

시차란 2개의 다른 시선에서 보았을 때의 물체의 외관상 위치의 차이입니다.

예를 들어 머리를 움직이면 근처에 있는 것보다 멀리 있는 것이

움직임이 적은 것처럼 보입니다.

LFN은 시차 때문에 장면 내 물체의 깊이를 알 수 있으며, 해당 정보를 사용하여

장면의 형상과 모양을 인코딩 합니다.

그러나 라이트 필드를 재건하기 위해서는 신경망이 먼저 라이트 필드의 구조에 대해

배워야 하기 때문에 연구원들은 자동차와 의자의 단순한 장면을 

많은 이미지로 모델을 훈련했습니다.

Rezchikov는 “우리 모델이 배우려고 하는 라이트 필드의 고유한 기하학이 있습니다.

자동차와 의자의 조명이 너무 달라서 공통점을 알 수 없을까봐 걱정할 수 있습니다.

그러나 어느정도 동질성이 있는 더 많은 종류의 물체를 추가하면, 

일반적인 물체의 라이트 필드가 어떻게 보이는지 보다 잘 알수 있기 때문에

클래스에 대해 일반화 할 수 있습니다” 라고 이야기 했습니다.

일단 모델이 라이트필드의 구조를 학습하게 되면 입력으로 단 하나의 이미지에서

3D 장면을 렌더링 할 수 있습니다.

출처:파워볼사이트

답글 남기기