새로운 방식의 렌더링 기술: 3D Gaussian Splatting (3DGS)

제1장: 서론 및 3D 렌더링 패러다임의 전환

1.1. 3D 재구성 기술의 진화: Implicit Representation의 도전과제

3차원 장면 재구성 기술은 전통적인 포토그램메트리(Photogrammetry)에서 시작되었으나, 느린 처리 속도와 복잡한 메시 구조 생성의 어려움이라는 근본적인 한계를 가지고 있었다. 이러한 배경 속에서 뉴럴 렌더링(Neural Rendering) 기술의 발전은 3D 재구성 분야에 혁명을 가져왔다. 특히, Neural Radiance Fields (NeRF)는 MLP(Multi-Layer Perceptron)를 사용하여 장면을 *암시적 볼류메트릭 표현(Implicit Volumetric Representation)*으로 모델링함으로써 기존 기술로는 달성하기 어려웠던 뛰어난 사실감을 제공하였다.1

 

 

그러나 NeRF의 핵심 단점은 렌더링 과정에 있었다. 장면 내 광선(Ray)이 지나는 경로를 따라 MLP를 반복적으로 추론해야 하는 레이 마칭(Ray Marching) 방식을 채택했기 때문에, 이는 필연적으로 막대한 계산 시간을 요구했다.2 이러한 비효율성으로 인해 NeRF는 고품질의 결과물을 생성했음에도 불구하고 실시간 렌더링이 필수적인 상업적 응용 분야(예: VR/AR)에서는 활용이 제한되었다.

 

1.2. 3D Gaussian Splatting (3DGS)의 등장과 Explicit Revolution

2023년 후반에 발표된 3D Gaussian Splatting (3DGS)은 NeRF의 높은 시각적 품질을 유지하면서도 실시간 렌더링 성능을 획기적으로 개선하며 차세대 3D 기술의 핵심으로 급부상했다. 3DGS의 핵심 철학은 장면 표현 방식을 암시적 모델에서 명시적(Explicit) 데이터 구조로 전환하는 데 있다.2

 

3DGS는 장면을 수백만 개의 독립적인 3D 가우시안 분포 집합으로 표현하며, 기존 볼류메트릭 모델이 필수적으로 요구했던 복잡한 레이 마칭 과정을 완전히 회피한다.1 대신, 이 명시적인 데이터 구조를 GPU에 최적화된 미분 가능한 래스터화(Differentiable Rasterization) 방식으로 빠르게 투영 및 혼합하여 최종 이미지를 생성한다.3 이러한 근본적인 접근 방식의 전환 덕분에 3DGS는 하드웨어 요구 사항을 낮추고 높은 프레임 속도(FPS)를 달성하여 VR 환경에서 몰입형 시청 경험을 처음으로 가능하게 만들었다.4 이 기술은 단순히 더 빠른 NeRF를 구현한 것이 아니라, 하드웨어 아키텍처, 특히 GPU의 병렬 처리 장점을 극대화하여 3D 렌더링 파이프라인의 효율성을 근본적으로 재정의한 혁신으로 평가된다.

 

1.3. 보고서의 목적 및 구조

본 보고서는 3DGS의 구조적 우위성을 심층적으로 분석하고, 기술의 기반이 되는 필수 이론을 학술적으로 제시한다. 또한, 3DGS 기술을 활용할 수 있는 주요 산업 분야를 조명하고, 국내외 기업체의 수요를 분석하며, 궁극적으로 이 분야에 진출하고자 하는 대학생 및 초기 연구자를 위한 체계적인 학습 로드맵을 제공하는 것을 목적으로 한다.

 

제2장: 3D Gaussian Splatting의 핵심 아키텍처 및 작동 원리

2.1. Explicit Scene Representation: 3D 가우시안 프리미티브

3DGS는 장면을 복잡한 뉴럴 네트워크의 가중치로 숨기는 대신, 각 가우시안이 위치, 모양, 색상 및 투명도를 명시적으로 정의하는 수백만 개의 3D 가우시안 프리미티브(N(mu, Sigma)) 집합으로 표현한다.1 이 프리미티브들은 최적화의 대상이 되며, 각 가우시안은 다음의 7가지 핵심 매개변수로 정의된다.5

 

• 위치 ($\mu$): 3차원 공간에서의 가우시안의 중심 좌표를 나타내는 3차원 벡터이다.
• 공분산 행렬 ($\Sigma$): 가우시안의 크기와 방향성, 즉 이방성(Anisotropy)을 정의한다.2 이 행렬은 스케일 $S$ (3 attributes)와 회전 $R$ (4 components의 쿼터니언)로 분해되어 표현되며, 최적화 과정에서 가우시안이 얇거나 길쭉한 물체의 표면을 정확하게 덮도록 모양을 변형시키는 데 핵심적인 역할을 수행한다.5
• 불투명도 ($o$): 가우시안의 투명도를 조절하는 단일 스칼라 값이다.
• 색상 ($c$): 시점 의존적(View-dependent) 색상 정보를 효율적으로 인코딩하기 위해 구면 조화 함수(Spherical Harmonics, SH) 계수로 표현된다.5

 

2.2. Differentiable Rasterization의 원리

3DGS의 성능 혁신은 바로 미분 가능한 래스터화(Differentiable Rasterization) 파이프라인에서 비롯된다. 이는 전통적인 컴퓨터 그래픽스 렌더링 방식인 래스터화의 효율성을 차용하되, 전체 과정을 인공지능 학습에 필요한 미분 가능하도록 설계한 것이다.

 

파이프라인의 핵심 메커니즘은 다음과 같다: (1) 3차원 공간의 가우시안들을 카메라 시점에 따라 2차원 이미지 평면으로 투영한다. (2) 렌더링 품질을 보장하기 위해, 투영 전에 가우시안들을 카메라로부터의 깊이 순서대로 정렬한다 (가시성 정렬). (3) 정렬된 가우시안 블롭(Splats)들은 불투명도에 따라 후방에서 전방으로 혼합(Blending)되어 최종 픽셀 색상을 생성한다.1

 

이 래스터화 과정 전체는 미분 가능하도록 설계되었으며, 이를 통해 렌더링된 최종 이미지와 입력 이미지(Ground Truth) 사이의 오차(Loss)를 계산하고, 역전파를 통해 수백만 개의 가우시안 프리미티브 매개변수($\mu, \Sigma, o, SH$)를 Stochastic Gradient Descent (SGD) 방식으로 동시에 최적화할 수 있다.3

 

2.3. NeRF 대비 기술적 비교 우위 분석

3DGS의 우위성은 그 근본적인 아키텍처에 있다. NeRF가 광선별로 MLP를 반복 추론해야 하는 반면, 3DGS는 래스터화라는 GPU의 고유하고 효율적인 병렬 처리 기능을 사용한다.2 이러한 병렬 컴퓨팅 최적화 덕분에 3DGS는 NeRF에 비해 월등히 빠른 학습 및 렌더링 속도를 자랑하며, 특히 메모리 효율성 측면에서도 볼류메트릭 그리드 모델보다 우위에 있다.1

 

Table 2.3.1: 3D Gaussian Splatting과 경쟁 기술 비교

 

측정 항목	3D Gaussian Splatting (3DGS)	Neural Radiance Fields (NeRF)	Traditional Photogrammetry (Mesh)
장면 표현 방식	명시적(Explicit) 3D 가우시안 집합	암시적(Implicit) 볼류메트릭 함수 (MLP)	명시적(Explicit) 3D 메시 (삼각형/사각 폴리곤)
렌더링 방식	미분 가능한 래스터화	레이 마칭/볼륨 렌더링	GPU 래스터화 / 레이 트레이싱
학습 시간	매우 빠름 (수분 ~ 수 시간) 1	느림 (수 시간 ~ 수일, 대규모 데이터 필요) 1	보통
렌더링 속도	실시간 (높은 FPS, VR 구현 가능) 4	최적화 필요 (느림)	실시간 (GPU 가속 시)
투명/불명료 재질	매우 우수 4	좋음	어려움
메모리 효율성	비교적 효율적 (볼류메트릭 그리드 대비) 1	볼류메트릭 그리드 사용 시 비효율적	매우 효율적

 

3DGS의 또 다른 장점은 학습 속도와 품질을 동시에 확보한다는 점이다. 일반적으로 고품질을 얻기 위해서는 오랜 학습 시간이 필요하지만, 3DGS는 그렇지 않다.1 이는 초기 단계에서 COLMAP과 같은 Structure from Motion (SfM) 도구를 사용하여 카메라 파라미터와 좋은 기하학적 초기값인 희소 점군을 제공받기 때문이다.3 NeRF가 MLP 가중치를 처음부터 학습해야 하는 것과 달리, 3DGS는 이미 구조화된 데이터(가우시안 집합)를 미세 조정하는 최적화에 집중하기 때문에 학습 수렴 속도와 안정성이 혁신적으로 빨라진다.

 

제3장: 3DGS의 이론적 배경 및 필수 수학 지식

3DGS 개발자가 되기 위해서는 단순히 코드를 실행하는 것을 넘어, 3DGS를 구성하는 수학적, 기하학적, 그래픽스 이론에 대한 깊은 이해가 필수적이다.

 

3.1. 통계 및 기하학적 기반: 3D 가우시안 분포와 공분산 행렬

3DGS의 핵심은 각 프리미티브를 3차원 공간상의 다변량 가우시안 분포 ($N(\mu, \Sigma)$)로 정의하는 것이다. 이 분포는 확률 밀도 함수(PDF)처럼 작동하며, 실제 장면의 복잡한 기하학적 형태나 불명료한 표면(예: 안개, 유리, 생물학적 조직)을 통계적으로 부드럽고 효과적으로 표현하는 데 탁월하다.4

 

특히, 공분산 행렬 ($\Sigma$)의 최적화는 3DGS의 성공에 결정적이다. 이 행렬은 가우시안이 이방성(Anisotropic)을 갖도록 하여, 장면의 미세한 곡률이나 얇은 구조(예: 나뭇가지, 전선)를 정확하게 포착하도록 크기와 방향을 조절한다.2 회전 변환을 표현하는 데 사용되는 쿼터니언(Quaternions)은 3D 회전 최적화 시 오일러 각(Euler angles)이 겪는 짐벌 락(Gimbal Lock) 문제를 회피하여 안정적인 파라미터 업데이트를 가능하게 한다.5

 

장면을 연속적인 확률 밀도를 통해 표현하는 이 방식은 기존 메시 기반 방식이 이산적인 표면만을 정의했던 한계를 넘어, 볼류메트릭 모델의 장점을 흡수하여 투명하거나 반투명한 재질을 고효율로 시각화할 수 있는 핵심 비결이다.4

 

3.2. 컴퓨터 그래픽스 기반: EWA Splatting 및 Anti-aliasing

3DGS의 래스터화 이론적 배경은 1990년대부터 텍스처 매핑에 사용되던 Elliptical Weighted Average (EWA) Splatting 이론에 뿌리를 두고 있다.2 EWA는 안티-에일리어싱(Anti-aliasing) 기법으로, 렌더링 시 발생하는 계단 현상을 줄이기 위해 필터링을 적용한다.

 

3DGS 역시 이 원리를 차용하여, 단순히 가우시안을 2D 패치처럼 취급하지 않는다. 대신, 투영된 가우시안이 픽셀 평면에 미치는 영향을 계산할 때 스케일 인지 필터링(scale-aware filtering) 및 바운딩을 적용한다. 이 과정을 통해 3DGS는 고속 렌더링을 달성하면서도 에일리어싱 없는 고품질 결과를 구현할 수 있다.2

 

3.3. 최적화 파이프라인의 이해: 미분 가능한 루프

3DGS의 학습 과정은 Structured Data Initialization, Differentiable Rendering, 그리고 Optimization Loop의 세 단계로 구성된다.3

 

1. 초기화 (Initialization): COLMAP 등의 도구를 사용하여 입력 이미지로부터 카메라 캘리브레이션 및 초기 희소 점군을 추출한다. 이 점군이 초기 가우시안 집합의 위치와 색상을 제공한다.3
2. 미분 가능한 렌더링 (Differentiable Rendering): 3DGS의 핵심으로, Section 2.2에서 설명한 래스터화 과정이 미분 가능하게 수행되어 렌더링된 이미지와 실제 이미지 간의 오차를 계산한다.
3. 최적화 및 밀도 제어 (Optimization & Density Control): 계산된 손실(Loss, 보통 L1 Loss와 SSIM Loss 조합 사용)을 최소화하기 위해 모든 가우시안 파라미터를 SGD로 업데이트한다. 또한, 학습 과정 중 가우시안 집합의 효율성을 높이기 위해 주기적인 밀도 제어(Density Control)가 수행된다. 이는 장면에 충분히 표현되지 않은 영역에는 새로운 가우시안을 추가(Cloning)하고, 불필요하거나 과도하게 커진 가우시안은 제거(Pruning)하여 정확하고 효율적인 장면 표현을 달성한다.7

 

Table 3.3.1: 3DGS 마스터를 위한 필수 이론적 기반

 

필수 도메인	핵심 이론 개념	3DGS 내에서의 관련성 및 활용
수학/통계	다변량 가우시안 분포, 공분산 행렬, 쿼터니언, 선형 대수학	3D 가우시안 프리미티브의 파라미터화, 이방성(Anisotropic) 방향 및 스케일 최적화.2
컴퓨터 그래픽스	래스터화 파이프라인, 미분 가능한 렌더링, EWA Splatting, 안티-에일리어싱	실시간 렌더링 효율성, 가시성 정렬, 에일리어싱 방지 필터링 기법 구현.2
컴퓨터 비전	Structure from Motion (SfM), Multi-view Stereo (MVS), 카메라 캘리브레이션	초기 희소 점군 생성 및 카메라 포즈 추정, 3DGS 최적화의 초기 단계 설정.3
머신러닝	SGD, 역전파, Loss Function 설계 (L1, SSIM), 최적화	Multi-view 이미지 감독 하에 가우시안 파라미터를 학습시키는 과정 설계.3

 

3DGS의 학습이 빠른 결정적인 이유 중 하나는, MLP가 임의의 3D 공간 함수를 학습해야 하는 NeRF와 달리, 3DGS의 최적화가 $\mu$와 $\Sigma$와 같은 실제 물리적 공간의 기하학적 속성을 명시적으로 제약하기 때문이다. 이 구조화된 기하학적 제약 조건은 최적화 수렴을 가속화하고 안정성을 제공한다.

 

제4장: 산업적 응용과 최신 연구 동향: 진출 분야와 기술 한계 극복

4.1. 3DGS의 주요 산업적 응용 분야

3DGS의 실시간 렌더링 능력은 고성능 3D 시각화가 필수적인 여러 산업 분야에서 즉각적인 수요를 창출하고 있다.

 

• Virtual and Augmented Reality (VR/AR): 3DGS는 낮은 연산 부하로 높은 프레임 속도를 유지할 수 있어, VR/AR 경험의 현실감과 몰입도를 극대화하는 핵심 기술로 자리 잡았다.4 이는 특히 제한된 컴퓨팅 파워를 가진 모바일 AR 장치에서의 고화질 환경 구현을 가능하게 한다.10
• Digital Twins 및 시뮬레이션: 물리적 자산이나 도시 환경의 정확하고 동적인 디지털 복제본을 생성하는 데 3DGS가 활용된다.9 이는 건축, 도시 계획(Urban Planning), 그리고 지리 공간 분석(Geospatial Analysis) 분야에서 항공 및 위성 이미지 기반의 상세한 3D 지도 및 모델을 제작하는 데 매우 유용하다.9
• 영화 및 시각 효과 (VFX) / 가상 프로덕션: 상세하고 사실적인 환경 자산(Asset)을 기존 방법론보다 훨씬 신속하게 생성할 수 있어, 필름 및 애니메이션 제작 파이프라인의 효율성을 높인다.11

 

4.2. 최신 연구 동향 1: Dynamic Scenes (동적 장면 처리)

오리지널 3DGS는 정적 장면에서 탁월했지만, 움직이는 물체(Dynamic Motions)가 포함된 장면을 처리하려면 매 프레임 재학습이 필요하거나 학습 시간이 길어지는 문제가 있었다.10

 

최근 연구는 4차원 시공간(Spatio-temporal) 표현에 초점을 맞추고 있다. 예를 들어, Explicit 4D Gaussian Splatting (Ex4DGS)은 이 문제를 해결하기 위해 (1) 장면을 정적 가우시안과 동적 가우시안으로 분리하고, (2) 동적 가우시안의 위치와 회전을 희소한 타임스탬프에서 명시적으로 샘플링한 후 시간적으로 보간하여 연속적인 움직임을 표현한다.10 이 접근 방식은 계산 비용을 크게 줄여 동적 장면에서도 62 fps와 같은 고속 렌더링 성능을 달성할 수 있다.10 또한, Ex4DGS는 점 추적(Point-backtracking) 기법을 사용하여 시간에 따른 누적 오차를 정량화하고 오류가 있는 가우시안을 제거하여 동적 장면 처리의 안정성을 높인다. 이는 3DGS가 단순히 공간 좌표를 학습하는 것을 넘어, 장면 내 객체의 정적/동적 정체성(Semantic Identity)을 인지하고 관리하는 4D 시공간 최적화 문제로 진화하고 있음을 의미한다.

 

4.3. 최신 연구 동향 2: 모바일 및 대규모 장면 최적화

3DGS의 주요 실용적 도전 과제는 모델 크기가 크다는 것이다. 수백만 개의 가우시안을 저장해야 하므로, 제한된 컴퓨팅 파워와 저장 공간을 가진 모바일 장치에서의 활용에 제약이 따른다.10

 

이를 해결하기 위한 연구는 크게 두 가지 방향으로 진행된다 12.

 

1. 모델 크기 축소: 중요하지 않은 가우시안을 제거하는 프루닝(Pruning) 기법을 적용하거나, 저장 공간 요구 사항을 최소화하는 새로운 압축 표현법을 도입한다.
2. 렌더링 효율성 개선: 대규모 장면에서 효율적인 Level-of-Detail (LoD) 검색을 위해 최적화하고, 래스터화 과정의 성능 병목을 해결한다. 예를 들어, 축 정렬 바운딩 박스(AABB)나 지향성 바운딩 박스(OBB) 같은 정교한 필터링 기법을 도입하여 불필요한 가우시안-레이 교차 계산을 줄여 GPU 성능을 향상시킨다.12 이러한 최적화는 오늘날 모바일 GPU의 하드웨어 제약을 극복하는 데 초점을 맞추고 있다.

 

4.4. 최신 연구 동향 3: 기존 CG 파이프라인 통합 및 메시 변환

3DGS의 근본적인 래스터화 특성 때문에, 전통적으로 레이 트레이싱을 통해 구현되는 고급 렌더링 효과(예: 정확한 반사, 복잡한 그림자, 전역 조명)를 구현하는 데 어려움이 있다.13

 

이러한 문제를 해결하고 3DGS를 산업 표준 CG 파이프라인에 통합하기 위해, MeshSplats와 같은 기술 연구가 활발하다.13 MeshSplats는 가우시안 Splatting 결과를 전통적인 메시(Mesh) 형식으로 변환하여, Blender나 Nvdiffrast와 같은 범용 렌더링 도구에서 쉐이딩 효과나 시뮬레이션을 수행할 수 있도록 한다.13 반대로, Mesh2Splats는 기존 3D 모델(메시)을 가우시안 Splatting 형식으로 빠르게 변환하여, LoD 계산의 이점이나 안티-에일리어싱과 같은 3DGS의 장점을 활용할 수 있도록 한다.14

 

이러한 변환 도구의 등장은 3DGS가 더 이상 고립된 연구 도구가 아니라, Unreal Engine 및 Blender와 같은 Digital Content Creation (DCC) 애플리케이션으로 임포트(Import)되어 산업 생산에 통합되는 표준화 단계로 진입했음을 시사한다.14 이 과정은 3DGS가 미래 CG 파이프라인에서 삼각형만큼이나 기본적인 3D 프리미티브로 자리 잡는 데 필수적인 요소이다.

 

제5장: 3DGS 전문가 수요 및 진출 분야 분석

5.1. 3DGS 관련 핵심 직무 및 진출 분야

3DGS 기술의 혁신적인 실시간 성능은 해당 분야의 전문 인력에 대한 높은 수요를 창출하고 있다. 핵심 직무는 컴퓨터 비전, 그래픽스, 그리고 인공지능 최적화 기술이 융합된 형태이다.

 

• Neural Rendering Engineer (뉴럴 렌더링 엔지니어): 3DGS, NeRF, Instant NGP와 같은 뉴럴 렌더링 프레임워크 자체를 개발하고 최적화한다.
• Graphics Programmer (그래픽스 프로그래머): 3DGS 파이프라인의 실시간 렌더링 성능을 극대화하기 위해 GPU 프로그래밍(CUDA, Vulkan) 및 고성능 컴퓨팅(HPC) 프레임워크(예: Taichi Lang 16)를 사용하여 엔진 통합을 담당한다.
• Computer Vision Scientist / Research Engineer: 카메라 캘리브레이션, SfM (COLMAP) 등의 데이터 전처리 단계 및 동적 4DGS 10와 같은 3DGS의 새로운 변형 모델을 연구한다.

 

주요 진출 산업은 VR/AR/XR 플랫폼, 게임 엔진 개발사 (Unreal, Unity), 실시간 3D 환경 인지 기술을 활용하는 자율 주행 및 로봇 공학, 그리고 고정밀 디지털 트윈 솔루션 제공 기업이다.

 

5.2. 기업체 수요 및 한국 노동 시장 분석

한국개발연구원(KDI) 및 산업연구기관의 보고서에 따르면, 인공지능 기술은 한국 노동 시장을 근본적으로 변화시키고 있으며, AI와 상호보완적인 높은 수준의 교육과 기술을 요구하는 직종의 수요가 증가할 것으로 예측된다.17 3DGS 전문가는 최첨단 AI 기반 렌더링 기술을 다루는 고도의 전문 인력에 해당한다.

 

2021년 말 기준으로, 국내 10인 이상 민간 기업 중 AI를 도입한 비율은 2.7%에 불과했으나, 전체 노동력의 약 10%가 AI에 노출되어 있다.18 이러한 수치는 현재 AI 기술 도입이 초기 단계임을 시사하며, AI 기술의 성숙에 따라 향후 3DGS와 같은 혁신적인 기술에 대한 기업체의 수요가 폭발적으로 증가할 잠재력을 가지고 있음을 의미한다. 특히, 정부 차원에서도 AI 전문가와 글로벌 AI 연구자 확보를 위한 전문 비자 제도와 같은 인재 유치 전략이 필요하다는 제언이 나오고 있을 정도로 전문 인력의 희소성은 매우 높다.17

 

이러한 상황은 3DGS 기술을 선도적으로 습득하는 초기 진입자(Early Adopter)에게 유리하게 작용한다. 인력 풀이 아직 작기 때문에, 이 기술에 능숙한 인재는 향후 몇 년간 극심한 인력 부족 현상을 겪게 될 AI/VR/게임 산업에서 고가치 포지션을 선점하게 될 가능성이 높다.

 

5.3. 글로벌 및 국내 인력 가치 벤치마크

첨단 뉴럴 렌더링 기술을 다루는 전문가의 연봉 수준은 매우 높게 형성되어 있다. 미국 주요 기술 허브의 Neural Engineer 직무를 벤치마크한 결과, 평균 연봉은 약 $125,294 USD이며, 상위 25%의 연봉은 $148,700 USD에 달한다.19 이는 3DGS와 같은 기술에 대한 전문 지식이 글로벌 시장에서 최상위 기술 가치를 인정받고 있음을 명확히 보여준다.

 

비록 한국의 일반적인 3D 아티스트 평균 연봉은 약 ₩50,481,320 KRW 수준으로 보고되지만 21, 3DGS 전문가는 단순히 콘텐츠를 생성하는 3D 모델러를 넘어선, 파이프라인 설계 및 GPU 최적화를 수행하는 'Neural Engineer' 또는 'Graphics Programmer' 역할로 정의된다. 따라서 그들의 인력 가치는 일반 3D 직군보다 훨씬 높은 프리미엄을 형성하며, 고성능 시스템 설계자로서 가치를 인정받을 것이다.

 

제6장: 대학생 및 초기 연구자를 위한 3DGS 마스터 로드맵 (4단계)

3DGS는 컴퓨터 비전, 컴퓨터 그래픽스, 머신러닝의 교차점에 위치하므로, 체계적인 학습 경로가 요구된다. 다음 로드맵은 대학생 수준에서 이론적 기반을 다지고 실제 프로젝트를 수행하여 3DGS 전문가로 성장하기 위한 실질적인 단계를 제시한다.

 

6.1. 1단계: 이론적 기반 및 선행 지식 습득 (수학/그래픽스 기초)

가장 먼저 3DGS의 작동 원리를 지탱하는 기초 지식을 확립해야 한다.

 

• 수학 및 통계: 다변량 가우시안 분포의 수학적 원리, 공분산 행렬의 의미와 구성(특히 쿼터니언을 이용한 회전 표현), 그리고 이들을 이해하기 위한 선형 대수학 기초를 다진다.2
• 컴퓨터 그래픽스: 래스터화 파이프라인의 기본 작동 방식, 뷰 변환(View Transformation), 안티-에일리어싱 기법, 그리고 시점 의존적 색상을 위한 Spherical Harmonics의 개념을 학습한다.
• 추천 자원: Inverse Rendering 관련 대학 강의(예: MIT Inverse Rendering Lectures Module 2 22)나 기술 블로그의 수학적 기초 설명 자료를 통해 개념을 습득한다.22

 

6.2. 2단계: 핵심 구현 및 Vanilla 3DGS 재현 (SfM부터 최적화까지)

이 단계는 이론을 실제 코드로 검증하고 3DGS 파이프라인 전체를 경험하는 것이 목표이다. 3DGS 학습의 성공은 ML 단계뿐 아니라 초기 데이터 준비 단계에 크게 의존하므로, 다음 순서를 따른다.

 

1. 데이터 수집 및 SfM 실행: 개인 카메라 또는 스마트폰으로 장면의 멀티뷰 이미지를 수집한다. COLMAP 라이브러리를 설치하고 실행하여 이 이미지 세트에서 카메라 캘리브레이션 정보와 초기 희소 점군(Sparse Point Cloud)을 추출한다.3 이 단계의 정확성이 가우시안 최적화의 안정성에 직접적인 영향을 미친다.
2. 공식 구현체 활용: Inria에서 공개한 3DGS 공식 PyTorch 구현체 7 또는 신뢰할 수 있는 커뮤니티 구현체를 설정한다.
3. 학습 및 분석: SfM 결과물로 가우시안을 초기화하고, 학습 파이프라인을 실행한다. 렌더링된 이미지의 PSNR, SSIM과 같은 벤치마크 지표를 분석하며, 특히 뷰 이동 시 발생하는 아티팩트(예: 블러링, 고스팅 4)의 원인을 파악하고 디버깅하는 연습을 수행한다.

 

6.3. 3단계: 고급 최적화 및 확장 (성능 및 데이터)

핵심 파이프라인 이해를 바탕으로 성능 개선 및 데이터 제작 능력을 확장한다.

 

• 합성 데이터셋 제작: 실제 데이터 수집이 어렵거나 특정 장면 제어가 필요한 경우를 대비하여, Blender Python API와 Golden Spiral 알고리즘을 활용해 3D 모델로부터 제어된 멀티뷰 데이터셋과 정확한 카메라 포즈를 생성하는 능력을 확보한다.23 이는 연구 검증 및 상용 자산 제작 시 필수적인 역량이다.
• GPU 가속화 이해: 3DGS의 속도가 핵심 경쟁력이므로, Taichi Lang 기반의 3DGS 구현체 16를 분석하거나 CUDA/GPGPU 프로그래밍의 기본 원리를 학습하여 렌더링 성능 병목 지점을 찾고 최적화하는 경험을 쌓는다.
• 편집 및 활용 도구 숙달: SuperSplat 22 (브라우저 기반 편집기)나 Houdini 통합 도구 (GSOPs) 22 등 커뮤니티 도구를 사용하여 생성된 3DGS 데이터를 시각화, 편집, 또는 다른 DCC 환경으로 통합하는 방법을 익힌다.

 

6.4. 4단계: 최신 연구 동향 탐구 및 독자 프로젝트 수행

마지막 단계는 미해결 과제에 도전하고, 취업 또는 대학원 진학을 위한 고급 포트폴리오를 구축하는 데 중점을 둔다.

 

• Dynamic 3DGS 구현: 동적 장면 처리에 대한 최신 논문(예: Ex4DGS 10)을 참고하여 시퀀셜 데이터셋에서 움직이는 객체의 시공간 최적화를 시도하는 프로젝트를 수행한다.
• 모바일/LoD 최적화: 가우시안 프루닝 기법 12을 구현하여 모델 크기를 획기적으로 줄이고, 모바일 장치 환경에서의 성능 제약을 해결하는 프로젝트를 수행한다.
• CG 파이프라인 통합: MeshSplats 13 및 관련 연구를 분석하여 3DGS 결과를 메시 형식으로 변환한 후, Blender와 같은 DCC 도구로 임포트하여 고급 쉐이딩, 그림자, 반사 등의 효과를 추가하는 실험을 진행한다.14 이 경험은 3DGS 전문가가 단순히 뷰 합성 기술을 넘어 시스템 설계자로서의 역할을 수행할 수 있도록 한다.

 

제7장: 결론 및 차세대 3D 콘텐츠 제작에 미칠 영향

7.1. 3DGS 기술의 핵심 요약 및 시사점

3D Gaussian Splatting (3DGS)은 3D 렌더링 분야에 새로운 패러다임을 제시하며, 기존 NeRF 기반 기술의 최대 단점이었던 낮은 렌더링 속도를 획기적으로 개선하였다. 이는 명시적 3D 가우시안 프리미티브를 사용하고 GPU 친화적인 미분 가능한 래스터화 방식을 채택함으로써, 포토리얼리즘과 실시간 성능이라는 상반된 목표를 동시에 달성했기 때문이다.

 

3DGS의 구조는 초기 기하학적 정보(SfM)에 크게 의존하며, 이후 이 구조화된 데이터를 기반으로 하는 통계적 최적화(SGD)를 통해 빠르게 수렴한다. 이 기술의 핵심은 속도와 효율성에 있으며, 이는 VR/AR, 디지털 트윈, 그리고 고성능 시뮬레이션 환경에 대한 즉각적인 상업적 수요로 이어지고 있다.4

 

7.2. 3DGS가 가져올 미래 3D 콘텐츠 제작 환경의 변화 예측

3DGS는 두 가지 측면에서 3D 콘텐츠 제작 환경을 근본적으로 변화시킬 것으로 예상된다.

첫째, 3D 제작의 민주화이다. 고가이거나 전문적인 3D 모델링 스킬 혹은 LiDAR 장비 없이도, 일반적인 카메라 이미지 만으로 전문가 수준의 3D 환경을 신속하게 생성할 수 있게 되었다. 이는 3D 콘텐츠 제작의 문턱을 크게 낮추어 광범위한 분야에서 활용도를 높일 것이다.

 

둘째, "Reality Capture"의 상업적 활용 가속화이다. 3DGS는 현실 세계의 환경을 빠르고 완벽하게 디지털 복제본으로 캡처하여 실시간으로 서비스할 수 있는 기반을 마련했다. 이는 공간 웹(Spatial Web) 구축을 가속화하며, 특히 모바일 장치와 통합될 경우 (LoD 및 최적화 연구 12를 통해) AR/VR 기반의 상업 서비스 보급을 촉진할 것이다.

 

7.3. 미래 연구 방향 및 제언

3DGS는 여전히 초기 단계에 있으며, 연구는 동적 장면 처리의 안정화 10, 모델 크기 축소 및 모바일 포팅 12에 집중될 것이다. 궁극적으로 이 기술이 산업 표준으로 자리매김하기 위해서는 기존 DCC 소프트웨어와의 통합, 특히 레이 트레이싱 기반의 고급 조명 및 시뮬레이션 기능과의 상보적 결합이 필수적이다.13

 

따라서, 이 분야에 진출하고자 하는 전문가들은 단순히 ML 최적화에 머무르지 않고, CUDA/Taichi를 활용한 GPU 가속화 기술과 더불어, 3DGS를 DCC 파이프라인의 기본적인 '프리미티브'로 다룰 수 있는 시스템 설계 역량을 확보해야 할 것이다. 이러한 융합적 역량은 높은 가치와 희소성을 가지며, 급변하는 미래 산업 환경에서 핵심적인 역할을 수행할 수 있는 경쟁력을 제공한다.

 

참고 자료

1. The Battle For Realism in 3D Rendering: A Brief Overview of NeRFs vs. Gaussian Splatting | by Aahana | Antaeus AR | Medium, 11월 2, 2025에 액세스, https://medium.com/antaeus-ar/the-battle-for-realism-in-3d-rendering-a-brief-overview-of-nerfs-vs-gaussian-splatting-580cff4d8801
2. The Impact and Outlook of 3D Gaussian Splatting - arXiv, 11월 2, 2025에 액세스, https://arxiv.org/html/2510.26694v1
3. Introduction to 3D Gaussian Splatting - Hugging Face, 11월 2, 2025에 액세스, https://huggingface.co/blog/gaussian-splatting
4. Gaussian splatting vs. photogrammetry vs. NeRFs – pros and cons - Teleport by Varjo, 11월 2, 2025에 액세스, https://teleport.varjo.com/blog/photogrammetry-vs-nerfs-gaussian-splatting-pros-and-cons
5. 3DGS.zip: A survey on 3D Gaussian Splatting Compression Methods - arXiv, 11월 2, 2025에 액세스, https://arxiv.org/html/2407.09510v5
6. A Survey on 3D Gaussian Splatting - arXiv, 11월 2, 2025에 액세스, https://arxiv.org/html/2401.03890v8
7. graphdeco-inria/gaussian-splatting: Original reference ... - GitHub, 11월 2, 2025에 액세스, https://github.com/graphdeco-inria/gaussian-splatting
8. 3D Gaussian Splatting for Real-Time Radiance Field Rendering - Inria, 11월 2, 2025에 액세스, https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
9. New Algorithm Unlocked: 3D Gaussian Splatting (3DGS) - GeoAI, 11월 2, 2025에 액세스, https://geoai.au/new-algorithm-unlocked-3d-gaussian-splatting-3dgs/
10. Fully Explicit Dynamic Gaussian Splatting - NIPS papers, 11월 2, 2025에 액세스, https://proceedings.neurips.cc/paper_files/paper/2024/file/09b47a77997b7dd7d2b26bd8ff769392-Paper-Conference.pdf
11. 3D Gaussian Splatting: A new frontier in rendering - Chaos Blog, 11월 2, 2025에 액세스, https://blog.chaos.com/3d-gaussian-splatting-new-frontier-in-rendering
12. Voyager: Real-Time City-Scale 3D Gaussian Splatting on Resource-Constrained Devices, 11월 2, 2025에 액세스, https://arxiv.org/html/2506.02774v3
13. MeshSplats: Mesh-Based Rendering with Gaussian Splatting Initialization - arXiv, 11월 2, 2025에 액세스, https://arxiv.org/html/2502.07754v1
14. Mesh2Splat: Gaussian Splatting from 3D Geometry and Materials - DiVA portal, 11월 2, 2025에 액세스, http://www.diva-portal.org/smash/get/diva2:1939087/FULLTEXT02.pdf
15. 3D Gaussian Splatting Creator and Editor | 3DGS Scan - KIRI Engine, 11월 2, 2025에 액세스, https://www.kiriengine.app/features/3d-gaussian-splatting
16. wanmeihuali/taichi_3d_gaussian_splatting: An unofficial implementation of paper 3D Gaussian Splatting for Real-Time Radiance Field Rendering by taichi lang. - GitHub, 11월 2, 2025에 액세스, https://github.com/wanmeihuali/taichi_3d_gaussian_splatting
17. AI set to transform South Korea's jobs market, research finds - Staffing Industry Analysts, 11월 2, 2025에 액세스, https://www.staffingindustry.com/news/global-daily-news/ai-set-to-transform-south-koreas-jobs-market-research-finds
18. The Impact of Artificial Intelligence on the Labor Market and Policy Implications - KDI - Korea Development Institute - RESEARCH - Reports, 11월 2, 2025에 액세스, https://www.kdi.re.kr/eng/research/reportView?pub_no=18370
19. Salary: Neural Engineer in Bellevue, WA (Oct, 2025) - ZipRecruiter, 11월 2, 2025에 액세스, https://www.ziprecruiter.com/Salaries/Neural-Engineer-Salary-in-Bellevue,WA
20. Salary: Neural Engineer in Seattle, WA (Oct, 2025) - ZipRecruiter, 11월 2, 2025에 액세스, https://www.ziprecruiter.com/Salaries/Neural-Engineer-Salary-in-Seattle,WA
21. 3D Artist Salary in South Korea (2025) - ERI SalaryExpert, 11월 2, 2025에 액세스, https://www.salaryexpert.com/salary/job/3d-artist/south-korea
22. MrNeRF/awesome-3D-gaussian-splatting - GitHub, 11월 2, 2025에 액세스, https://github.com/MrNeRF/awesome-3D-gaussian-splatting
23. 100% Automated 3D Gaussian Splatting Dataset Creation from 3D Mesh (Blender Python API) - YouTube, 11월 2, 2025에 액세스, https://www.youtube.com/watch?v=c3KZX8BMYBU