Liquid Neural Networks 및 Closed-form Continuous-time Neural Networks

1. 서론: 인공지능의 연속성(Continuity)과 적응성(Adaptability)을 향한 패러다임 전환

지난 10년간 인공지능(AI) 분야는 심층 신경망(Deep Neural Networks, DNN)과 트랜스포머(Transformer) 아키텍처의 비약적인 발전에 힘입어 자연어 처리(NLP), 컴퓨터 비전, 강화 학습 등 다양한 영역에서 인간 수준의 성능을 달성하거나 초월하는 성과를 거두었다. 그러나 이러한 이산적(discrete) 연산 구조에 기반한 기존의 딥러닝 모델들은 시계열 데이터가 내재적으로 가지고 있는 '연속적인(continuous)' 시간의 본질을 완벽하게 포착하는 데 근본적인 한계를 노출하고 있다.1 특히, 모델의 크기가 커짐에 따라 파라미터 수가 기하급수적으로 증가하는 '과다 파라미터화(Overparameterization)' 현상은 연산 비용의 폭증과 에너지 효율성 저하를 야기하며, 이는 제한된 컴퓨팅 자원을 가진 엣지(Edge) 환경이나 실시간성이 중요한 항공우주 시스템에의 적용을 가로막는 주된 요인이 되고 있다.1

 

 

이러한 기술적 난제를 해결하기 위해 등장한 Liquid Neural Networks (LNNs)와 이를 수학적으로 고도화한 Closed-form Continuous-time (CfC) Neural Networks는 기존의 정적인(static) 가중치 중심의 딥러닝 패러다임을 동적(dynamic)인 시스템 해석으로 전환하는 혁신적인 접근법을 제시한다.5 MIT CSAIL의 Ramin Hasani, Daniela Rus 교수팀과 Mathias Lechner 등이 주도하여 개발한 이 아키텍처는 데이터 처리 과정에서 시스템의 시간 상수(Time-constant)가 고정되지 않고 입력 데이터에 따라 유동적으로 변화하는 '액체(liquid)'와 같은 성질을 가진다.1 이는 훈련이 완료된 후에도 환경 변화에 실시간으로 적응할 수 있는 유연성을 제공하며, 복잡한 시계열 데이터의 인과 관계(Causality)를 포착하는 데 탁월한 성능을 발휘한다.8

 

본 연구 보고서는 LNN과 CfC의 이론적 배경이 되는 생물학적 신경계의 동역학 및 수학적 정식화 과정을 심층적으로 분석하고, 수치적 미분방정식 풀이(Numerical ODE Solver)의 병목 현상을 극복한 CfC 알고리즘의 혁신성을 조명한다. 또한, 이 기술이 드론 자율 비행, 인간-AI 협력 제어(Air-Guardian), 그리고 최신 Liquid Foundation Models (LFMs)에 이르기까지 어떻게 응용되고 발전해왔는지를 포괄적으로 다룬다. 나아가 트랜스포머 및 최신 상태 공간 모델(State Space Models, 예: Mamba, S4)과의 비교 분석을 통해 LNN 기술군의 경쟁력을 평가하고, 향후 연구되어야 할 기술적 과제와 전망을 상세히 제언한다.

 

2. 이론적 배경 및 생물학적 영감: 정적 모델에서 동적 시스템으로

2.1 생물학적 기원: C. elegans의 신경망과 아날로그 연산

현대 인공지능이 뇌의 구조를 모방했다고 주장하지만, 실제로는 뉴런 간의 연결 강도(가중치)만을 학습하고 추론 단계에서는 그 구조가 고정되는 정적인 형태를 띤다. 반면, LNN의 창시자들은 불과 302개의 뉴런만으로 복잡한 이동, 먹이 활동, 회피 기동을 수행하는 예쁜꼬마선충(Caenorhabditis elegans)의 신경계에 주목했다.2

C. elegans의 신경망은 디지털 컴퓨터의 0과 1과 같은 이산적인 스파이크(Spiking) 신호보다는, 등급이 있는 아날로그 신호(Graded Potential)를 통해 주로 소통한다.2 이는 정보가 연속적인 파동 형태로 전달되며, 시냅스 연결이 화학적, 전기적 신호에 따라 순간적으로 변화하고 적응하는 비선형 동역학 시스템임을 의미한다.

 

LNN은 이러한 생물학적 특성을 모방하여, 뉴런의 활성 함수가 단순한 비선형 매핑이 아니라, 미분방정식(Differential Equations)에 의해 지배되는 시간 연속적인 동적 시스템으로 모델링된다.2

 

2.2 수학적 정식화: Neural ODE와 Liquid Time-Constant (LTC)

LNN의 수학적 기반을 이해하기 위해서는 먼저 연속 시간 신경망(Continuous-time Neural Networks, CT-RNN)과 Neural ODE의 개념을 살펴볼 필요가 있다. 일반적인 Neural ODE에서 은닉 상태(Hidden State) $x(t)$의 변화율은 다음과 같이 정의된다.

 

$$\frac{dx(t)}{dt} = f(x(t), I(t), t, \theta)$$

 

여기서 $f$는 신경망에 의해 매개변수화된 함수이다. 그러나 생물학적 뉴런의 막전위(Membrane Potential) 모델, 특히 Hodgkin-Huxley 모델에 기반한 Liquid Time-Constant (LTC) 네트워크는 시냅스 전달의 비선형성과 누수(Leak) 특성을 반영하여 다음과 같은 형태를 띤다.1

 

$$\frac{dx(t)}{dt} = -\left[\frac{1}{\tau} + f(x(t), I(t), \theta)\right] \cdot x(t) + A(x(t), I(t), \theta)$$

 

이 수식에서 가장 중요한 혁신은 시간 상수 $\tau$가 고정된 스칼라 값이 아니라, 입력 $I(t)$와 현재 상태 $x(t)$에 따라 변화하는 함수라는 점이다.

 

• 고정된 시간 상수 vs. 유동적(Liquid) 시간 상수: 기존 RNN(예: LSTM, GRU)이나 표준 CT-RNN은 시간 상수가 고정되어 있어 다양한 속도로 변화하는 시계열 데이터를 처리하는 데 한계가 있다. 반면 LTC는 외부 자극의 강도나 패턴에 따라 시스템의 반응 속도가 '액체'처럼 유연하게 변한다.1
• 적응성(Adaptability): 이러한 유동적 시간 상수는 모델이 훈련 데이터에 없던 새로운 환경이나 잡음이 섞인 데이터에 직면했을 때, 시스템의 동역학을 실시간으로 조절하여 강건한(Robust) 예측을 가능하게 한다.12 이는 모델의 파라미터를 다시 학습하지 않고도 추론 단계에서 입력에 따라 동작 특성이 변화함을 의미한다.

 

2.3 표현력(Expressivity)과 파라미터 효율성

LNN 구조는 모델의 표현력을 극대화하면서도 필요한 뉴런의 수를 획기적으로 줄일 수 있게 한다. 실제로 자율주행과 같은 복잡한 작업에서 기존 심층 신경망이 수만 개의 뉴런과 수백만 개의 파라미터를 필요로 할 때, LNN은 불과 19개에서 수십 개의 뉴런만으로도 유사하거나 더 우수한 제어 성능을 낼 수 있음이 입증되었다.4 이는 생물학적 진화가 선택한 효율적인 알고리즘의 구조를 모방함으로써 달성된 결과이며, 희소한(sparse) 연결성과 높은 정보 밀도를 특징으로 한다.2

 

3. 알고리즘의 진화: 수치 해석의 한계 극복과 Closed-form Continuous-time (CfC)

3.1 Neural ODE의 병목 현상: 수치적 솔버(Numerical Solver)의 딜레마

초기 LNN 모델(LTC 기반)은 강력한 표현력과 적응성을 가졌으나, 실제 구현 및 배포(Deployment) 단계에서 치명적인 단점이 존재했다. 미분방정식으로 정의된 시스템의 상태 $x(t)$를 구하기 위해서는 Runge-Kutta (RK4)나 Dopri5와 같은 수치적 미분방정식 풀이(Numerical ODE Solver)를 사용해야 한다.1 이 과정은 다음과 같은 문제를 야기한다:

 

1. 계산 비용(Computational Cost): 정확한 해를 구하기 위해 솔버가 다수의 작은 시간 단계(Step)를 거쳐야 하므로 연산 시간이 오래 걸리며, 이는 실시간 제어 시스템에 부적합하다.5
2. 확장성(Scalability) 저하: 뉴런과 시냅스의 수가 증가하면 연립 미분방정식의 차원과 복잡도가 기하급수적으로 증가하여 대규모 네트워크 구성이 어렵다.12
3. Stiff Equation 문제: 시계열 데이터의 변화 속도가 급격히 다르거나, 시스템의 시간 상수가 매우 작아지는 경우(stiff system), 수치적 불안정성이 발생하거나 오차를 줄이기 위해 계산량이 폭증한다.3

 

3.2 CfC 알고리즘: 폐형해(Closed-form Solution)의 도출과 혁신

MIT 연구진은 2022년 Nature Machine Intelligence에 발표한 연구를 통해 이러한 병목을 해결하는 Closed-form Continuous-time (CfC) 신경망을 제안했다.6 이들은 LTC의 동역학을 정의하는 적분 방정식을 근사하여, 미분방정식 솔버 없이도 임의의 시점 $t$에서의 상태 $x(t)$를 직접 계산할 수 있는 근사 폐형해(Approximate Closed-form Solution)를 유도해냈다.12

 

CfC의 핵심 아이디어는 시냅스 상호작용의 적분 값을 시그모이드(Sigmoid) 비선형성과 지수 감쇠(Exponential Decay) 항의 조합으로 근사하는 것이다. 이를 통해 시간 $t$가 모델의 수식에 명시적으로(explicitly) 포함되며, 다음과 같은 형태의 순전파(Forward Pass) 수식을 갖는다.14

 

$$x(t) \approx \sigma(-f(x, I, \theta) \cdot t) \odot \text{Interaction}(x, I, \theta) + (1 - \sigma(-f(x, I, \theta) \cdot t)) \odot \text{Base}(x, I, \theta)$$

 

이 수식에서 $\sigma$는 시그모이드 함수, $\odot$은 요소별 곱(Hadamard product)을 의미한다. 이러한 근사 해법은 다음과 같은 혁신적인 이점을 제공한다:

 

• 속도 및 효율성: 복잡한 ODE 솔버를 반복적으로 호출할 필요가 없어 훈련 및 추론 속도가 기존 ODE 기반 모델 대비 최소 10배에서 최대 100,000배까지 빨라진다.12
• 확장성 및 호환성: 미분방정식 풀이 과정이 생략되므로 모델을 더 깊고 넓게 확장할 수 있으며, 기존의 Transformer, CNN, 또는 다른 딥러닝 모듈과 쉽게 결합하여 하이브리드 아키텍처를 구성할 수 있다.6
• 기울기 소실/폭발 방지: 수치 해석적 오류 축적이나 발산 문제에서 자유로우며, 명시적인 시간 의존성을 통해 장기 의존성(Long-term dependency)을 학습할 때 발생하는 기울기 소실(Vanishing Gradient) 문제에 대해 강건하다.3

 

3.3 구조적 특징: 인과성(Causality)과 해석 가능성(Interpretability)

CfC 및 LNN 계열 모델은 본질적으로 인과적(Causal)이다. 즉, 현재의 상태는 오직 과거의 입력과 상태에 의해서만 결정되며 미래의 정보에 의존하지 않는다.16 이는 실시간 시계열 처리와 제어 시스템에 필수적인 특성이다. 트랜스포머의 어텐션 메커니즘이 전체 시퀀스를 한 번에 볼 수 있는 것(Non-causal 모드)과 달리, LNN은 시간의 흐름에 따른 순차적 처리를 기본으로 한다.

 

또한, 소수의 뉴런으로 작동하며 각 뉴런의 시간 상수가 입력에 따라 어떻게 변하는지를 추적할 수 있어, 모델의 의사결정 과정을 해석(Interpretability)하기가 용이하다. 예를 들어, 자율주행 드론이 특정 장애물을 회피할 때 어떤 뉴런이 활성화되었고, 그 뉴런의 반응 속도가 어떻게 변화했는지를 분석함으로써 "왜" 그러한 결정을 내렸는지 설명할 수 있다.8 이는 블랙박스(Black-box) 성격이 강한 대형 언어 모델(LLM)과 대비되는 안전 필수 시스템(Safety-critical System)에서의 강력한 이점이다.

 

4. 항공우주 및 안전 필수 시스템(Safety-Critical Systems) 응용

LNN과 CfC가 제공하는 적응성, 강건성, 인과성, 그리고 경량성은 항공우주 분야, 특히 드론(UAV)의 자율 비행과 차세대 항공기 제어 시스템에 이상적인 특성을 제공한다.

 

4.1 미지 환경에서의 드론 자율 비행: 분포 변화(Distribution Shift)의 극복

MIT CSAIL 연구진은 LNN을 탑재한 드론이 숲이나 도심지와 같이 복잡하고 이전에 경험해보지 못한 환경(Unseen Environments)에서도 안정적으로 목표물을 추적하고 비행할 수 있음을 입증했다.18

 

• 도전 과제: 기존 딥러닝 모델(CNN 등)은 훈련 데이터의 분포(Distribution)에 과적합되는 경향이 있다. 예를 들어, 맑은 날씨의 여름 숲에서 훈련된 드론은 비가 오는 겨울 숲이나 복잡한 도심지로 환경이 바뀌면 성능이 급격히 저하되거나 추락할 위험이 있다.19
• LNN의 해결책: LNN은 훈련 후에도 유동적인 시간 상수를 통해 환경 변화에 실시간으로 적응한다. 연구 결과, LNN 기반 드론은 훈련 데이터와 전혀 다른 계절, 조명 조건, 장애물 밀도에서도 높은 비행 성공률을 보였다.19 이는 LNN이 고차원 픽셀 입력에서 비행 제어와 관련된 인과적 구조(Causal Structure)를 학습하기 때문이다. 즉, 배경의 잡음이나 무관한 시각적 특징(예: 나무의 색깔 변화)을 무시하고, 장애물 회피와 목표 추적에 필요한 핵심 정보(장애물과의 거리, 이동 경로)에 집중한다.19

 

4.2 Air-Guardian: 인간-AI 협력 비행 시스템 (Human-AI Teaming)

"Air-Guardian" 프로젝트는 LNN 기술을 활용하여 인간 조종사와 AI가 협력하는 차세대 항공기 제어 시스템을 구현한 대표적인 사례이다.20

 

• 시스템 아키텍처: 이 시스템은 조종사의 시선(Eye-tracking)을 추적하여 주의 집중 상태를 파악하고, 동시에 CfC 기반의 AI 시스템이 생성한 현저성 맵(Saliency Map)과 비교한다.21 AI의 현저성 맵은 현재 비행 상황에서 주의를 기울여야 할 핵심 영역(예: 다가오는 다른 항공기, 지형지물)을 나타낸다.
• 협력 제어 알고리즘 및 최적화: 두 주체의 주의 집중 영역이 일치하지 않거나(예: 조종사가 피로하여 중요한 위험 요소를 놓치고 있을 때), 조종사의 주의력이 저하된 경우, 시스템은 협력 계층(Cooperative Layer)을 통해 능동적으로 개입한다. 이 과정은 2차 계획법(Quadratic Programming, QP)을 사용하여 수학적으로 최적화된다.22

• 목적 함수: $ \min \sum (|u - u_R|^2_{Q_h} + I \cdot |u - u_G|^2_{Q_G}) $

• 여기서 $u$는 최종 제어 입력, $u_R$은 조종사 입력, $u_G$는 AI(Air-Guardian) 입력이다.
• $I$는 개입 변수(Intervention Variable)로, 조종사와 AI의 주의력 맵(Attention Map) 차이(거리 또는 진폭)에 따라 0과 1 사이에서 조절된다.22

• 작동 원리: $I$가 0에 가까우면(주의력 일치) 조종사의 입력을 우선시하고, $I$가 1에 가까우면(주의력 불일치/위험) AI의 입력을 더 많이 반영하여 부드럽게 제어 권한을 조정한다.

• 의의: 이는 단순한 자동조종장치(Autopilot)를 넘어, 인간과 기계가 상황 인식을 공유하고 상호 보완하는 공생적(Symbiotic) 관계를 형성함을 의미하며, 미래 항공 모빌리티(AAM)의 안전성을 획기적으로 높일 수 있는 기술이다.

 

4.3 엣지 컴퓨팅 및 하드웨어 효율성: FPGA 구현

항공우주 시스템은 전력, 무게, 공간(SWaP) 제한이 매우 엄격하다. LNN과 CfC는 매개변수 효율성이 극도로 높아 라즈베리 파이(Raspberry Pi)와 같은 소형 임베디드 장치에서도 자율 주행 알고리즘을 구동할 수 있다.23

더 나아가, FPGA(Field Programmable Gate Array)를 이용한 하드웨어 가속기 구현 연구도 활발하다.24 FPGA 상에서 LNN의 병렬 처리와 파이프라이닝을 최적화함으로써, 수 밀리초(ms) 단위의 초저지연(Ultra-low latency) 추론과 와트(Watt) 당 높은 연산 효율을 달성할 수 있다. 이는 위성이나 소형 드론의 온보드(On-board) 처리에 필수적이며, 클라우드 연결 없이도 독립적인 고성능 AI 수행을 가능하게 한다.25

 

5. 최신 아키텍처의 확장: Liquid Foundation Models (LFMs) 및 SSM과의 비교

2024년, Liquid AI(LNN 창시자들이 설립한 기업)는 LNN의 원리를 대규모 언어 모델(LLM) 및 생성형 AI로 확장한 Liquid Foundation Models (LFMs)을 발표하였다.26 이는 LNN이 단순 제어 시스템을 넘어 범용 AI(AGI)를 향한 확장성을 가짐을 시사한다.

 

5.1 아키텍처의 혁신: Linear Input-Varying (LIV) 연산자와 구조화된 연산자

LFM은 트랜스포머의 어텐션 메커니즘에 전적으로 의존하는 대신, 동역학 시스템 이론과 신호 처리 기술을 접목한 Linear Input-Varying (LIV) 연산자를 핵심 구성 요소로 사용한다.27

 

• LIV 시스템: $x(t)$가 입력일 때, 가중치 행렬 $T(x)$가 입력에 따라 실시간으로 생성되는 선형 연산자이다.
  
  $$h(k+1) = A(x_k)h(k) + B(x_k)x(k)$$
  
  이는 CNN, RNN, 그리고 LNN의 특성을 통합하는 프레임워크로, 긴 문맥(Long Context)을 처리할 때 메모리 사용량이 시퀀스 길이에 따라 선형적으로만 증가하거나 거의 일정하게 유지된다 (트랜스포머의 $O(N^2)$ 복잡도와 대비됨).27
• 하이브리드 아키텍처 (LFM2): 최신 LFM2 모델은 게이트가 있는 짧은 컨볼루션(Gated Short Convolution)과 소수의 그룹화된 쿼리 어텐션(Grouped Query Attention, GQA)을 결합하여, 엣지 디바이스에서의 추론 속도와 성능을 극대화했다. 16개의 블록 중 10개는 LIV 기반 컨볼루션 블록, 6개는 어텐션 블록으로 구성하여 국소적 특징과 장기적 문맥을 효율적으로 학습한다.31

 

5.2 Liquid-S4: Structured State Space Models (SSM)과의 융합

LNN 연구진은 Liquid-S4라는 모델을 통해, 최근 주목받는 S4(Structured State Space Sequence) 모델에 LNN의 적응성을 결합하였다.16

 

• S4의 한계: S4는 장기 의존성 학습에 탁월하지만, 상태 전이 행렬이 고정되어 있어 입력에 따른 동적 적응성이 부족했다.
• Liquid-S4의 개선: S4의 상태 전이 행렬에 LNN의 Liquid Time-Constant 개념을 도입하여 입력 의존적인(Input-dependent) 전이를 가능하게 했다.
• 벤치마크 성과: Liquid-S4는 'Long-Range Arena' 벤치마크에서 평균 87.32%의 정확도를 기록하며 최신 트랜스포머 모델들을 상회하거나 대등한 성능을 보였고, 특히 음성 명령 인식(Speech Command) 데이터셋에서는 96.78%의 정확도를 달성하며 S4 대비 30% 적은 파라미터로 더 높은 성능을 입증했다.16

 

5.3 비교 분석: LNN/LFM vs. Transformer vs. Mamba vs. S4

특징	Transformer	Mamba (SSM)	S4	Liquid Neural Networks (LNN/CfC) & LFM
핵심 연산	Self-Attention ($O(N^2)$)	Selective SSM ($O(N)$)	Structured SSM ($O(N \log N)$)	Closed-form ODE / LIV ($O(N)$)
시간 모델링	이산적 (Positional Encoding)	이산적	연속/이산 변환	본질적 연속 (Continuous-time)
적응성	훈련 후 가중치 고정	입력 의존적 선택 (Selective)	고정된 전이 행렬	높음 (유동적 시간 상수)
추론 메모리	KV Cache 증가 (메모리 큼)	상수 메모리 (효율적)	효율적	상수 메모리 (매우 효율적)
해석 가능성	Attention Map (중간)	낮음	낮음	높음 (인과적, 상태 추적 가능)
주요 강점	범용성, 생태계, 병렬 학습	긴 문맥 처리, 속도	장기 의존성, 신호 처리	시계열, 제어, 엣지 AI, 강건성

 

데이터 분석:

• LFM-1B/3B 성능: LFM-1B는 10억 파라미터 급 모델 중 벤치마크(MMLU 등)에서 최고 수준(State-of-the-art)을 기록하며 트랜스포머 기반 모델을 능가했다. LFM-3B 역시 Microsoft의 Phi-3.5나 Meta의 Llama 모델과 대등하거나 우수한 성능을 보였다.27
• 카오스 시계열 예측: LNN 및 UA-LNN(Uncertainty-aware LNN)은 Lyapunov 지수가 높은 혼돈(Chaotic) 시계열 데이터 예측에서 LSTM 및 MLP 모델 대비 R2, RMSE 지표에서 일관되게 우수한 성능을 보였다.35 이는 LNN이 비선형 동역학 시스템의 복잡한 끌개(Attractor) 구조를 학습하는 데 더 적합함을 시사한다.36

 

6. 연구 기회 및 향후 과제

LNN과 CfC 기술은 분명한 잠재력을 가지고 있지만, 여전히 해결해야 할 과제와 연구할 가치가 있는 영역이 광범위하게 존재한다.

 

6.1 고차원 데이터 처리 및 학습 난이도

LNN은 본질적으로 시계열 처리에 특화되어 있어, 이미지나 비디오와 같은 고차원 공간 데이터(Spatial Data)를 직접 처리하는 데는 한계가 있다. 현재는 CNN이나 Vision Transformer를 인코더로 사용하고 LNN을 잠재 공간(Latent Space)의 동역학 학습에 사용하는 방식이 주를 이룬다.19 또한, 미분방정식 기반 구조는 학습 시 최적화가 까다로울 수 있으며, 이를 위한 전용 학습 알고리즘 연구가 필요하다.37

 

6.2 하드웨어-소프트웨어 공동 설계 (HW-SW Co-design)

LNN의 비선형 게이팅 메커니즘과 LIV 연산자를 가속화하기 위해, 범용 GPU보다는 뉴로모픽 칩(Neuromorphic Chip)이나 FPGA 상에서의 전용 하드웨어 가속기 설계가 유망하다.24 Liquid AI가 AMD와 협력하여 NPU(Neural Processing Unit) 최적화를 진행하는 것은 이러한 방향성의 일환이다.8

 

6.3 안전성 검증 (Safety Verification) 및 적대적 공격 방어

항공우주 분야의 DO-178C와 같은 엄격한 안전 표준을 충족하기 위해서는 확률적 보장(Probabilistic Guarantees)과 형식 검증(Formal Verification)이 필수적이다. LNN의 적응성이 예측 불가능한 행동으로 이어지지 않도록, "Air-Guardian"과 같은 외부 안전 장치 외에도 모델 자체의 동작 범위를 수학적으로 증명(Reachability Analysis)하는 연구가 강화되어야 한다.39 또한, 적대적 공격(Adversarial Attack)에 대한 취약성을 분석하고 방어 기제(예: zLNN)를 구축하는 연구도 초기 단계에 있다.40

 

6.4 거대 모델(LFM)의 킬러 애플리케이션 발굴

LFM이 엣지 디바이스에서의 생성형 AI 구동 가능성을 열었지만, 트랜스포머의 압도적인 생태계를 넘어서기 위해서는 LNN만의 강점(실시간 적응성, 인과적 추론)이 극대화될 수 있는 '킬러 애플리케이션'—예를 들어, 실시간 통번역, 온디바이스 개인 비서, 자율 로봇의 즉각적인 행동 생성 등—에서의 실증 연구가 필요하다.

 

7. 결론

Liquid Neural Networks와 Closed-form Continuous-time Neural Networks는 인공지능이 직면한 효율성, 적응성, 그리고 해석 가능성의 딜레마를 해결할 강력한 대안으로 부상했다. 생물학적 신경계의 유동성을 수학적으로 정교하게 모델링하고, 이를 폐형해 알고리즘을 통해 계산 효율성을 확보한 것은 AI 역사상 중요한 이정표이다.

 

특히 항공우주 분야에서 보여준 미지 환경 적응 능력과 인간-AI 협력 제어의 가능성은 이 기술이 실험실을 넘어 실제 산업 현장, 특히 안전이 중요한 미션 크리티컬 시스템(Mission-Critical Systems)에 적용될 준비가 되었음을 시사한다. 트랜스포머가 지배하는 현재의 AI 지형에서, LNN 계열의 기술은 Mamba, S4와 함께 'Beyond Transformer' 시대를 여는 핵심 기술군으로 자리 잡았으며, 엣지 컴퓨팅, 로보틱스, 그리고 효율적인 거대 모델(LFM)이라는 새로운 축을 형성하며 차세대 AI의 핵심 엔진이 될 것으로 전망된다.

 

참고 자료

1. Liquid Neural Networks : Applying Human Brain Dynamics into Classical Neural Networks | by Abu Huzaifah Bin Haji Bidin | Medium, 12월 14, 2025에 액세스, https://medium.com/@maercaestro/liquid-neural-networks-applying-human-brain-dynamics-into-classical-neural-networks-bf873283c403
2. This tiny worm's brain could transform artificial intelligence. Here's how, 12월 14, 2025에 액세스, https://www.sciencefocus.com/news/worm-brain-liquid-ai
3. Accuracy, Memory Efficiency and Generalization: A Comparative Study on Liquid Neural Networks and Recurrent Neural Networks - arXiv, 12월 14, 2025에 액세스, https://arxiv.org/html/2510.07578v1
4. Overcoming the Efficient Compute Frontier: The Promise of Liquid Neural Networks - SSON, 12월 14, 2025에 액세스, https://www.ssonetwork.com/intelligent-automation/articles/the-promise-of-liquid-neural-networks
5. Solving brain dynamics gives rise to flexible machine-learning models | MIT News, 12월 14, 2025에 액세스, https://news.mit.edu/2022/solving-brain-dynamics-gives-rise-flexible-machine-learning-models-1115
6. Closed-form continuous-time neural networks - Aalborg University's Research Portal, 12월 14, 2025에 액세스, https://vbn.aau.dk/en/publications/closed-form-continuous-time-neural-networks/
7. Liquid Neurons and Neural Worms: A Cognitive Neuroscience Approach for Advanced Deep Learning and AI | AWS Builder Center, 12월 14, 2025에 액세스, https://builder.aws.com/content/2pFGxH4YdQNerVQT2d8lBBOhy6x/liquid-neurons-and-neural-worms-a-cognitive-neuroscience-approach-for-advanced-deep-learning-and-ai
8. Liquid Neural Networks: The Next Leap in Adaptable AI - EM360Tech, 12월 14, 2025에 액세스, https://em360tech.com/tech-articles/liquid-neural-networks-adaptable-ai
9. How Liquid AI Is Challenging Transformer-Based AI Models - The New Stack, 12월 14, 2025에 액세스, https://thenewstack.io/how-liquid-ai-is-challenging-transformer-based-ai-models/
10. Liquid Neural Networks: The Future of Adaptive Artificial Intelligence - deepfa.ir, 12월 14, 2025에 액세스, https://deepfa.ir/en/blog/liquid-neural-networks-adaptive-ai
11. Liquid Neural Nets (LNNs) - Medium, 12월 14, 2025에 액세스, https://medium.com/@hession520/liquid-neural-nets-lnns-32ce1bfb045a
12. [2106.13898] Closed-form Continuous-time Neural Models - arXiv, 12월 14, 2025에 액세스, https://arxiv.org/abs/2106.13898
13. Researchers Discover a More Flexible Approach to Machine Learning - Nautilus Magazine, 12월 14, 2025에 액세스, https://nautil.us/researchers-discover-a-more-flexible-approach-to-machine-learning-261703/
14. Closed-form Continuous-time Neural Networks arXiv:2106.13898v2 [cs.LG] 2 Mar 2022, 12월 14, 2025에 액세스, https://arxiv.org/pdf/2106.13898
15. (PDF) Closed-form continuous-time neural networks - ResearchGate, 12월 14, 2025에 액세스, https://www.researchgate.net/publication/365416767_Closed-form_continuous-time_neural_networks
16. (PDF) Liquid Structural State-Space Models - ResearchGate, 12월 14, 2025에 액세스, https://www.researchgate.net/publication/363888942_Liquid_Structural_State-Space_Models
17. Liquid Time-constant Networks, 12월 14, 2025에 액세스, https://ojs.aaai.org/index.php/AAAI/article/view/16936/16743
18. Drones Navigate Unseen Environments via Liquid Neural Networks - Tech Briefs, 12월 14, 2025에 액세스, https://www.techbriefs.com/component/content/article/48673-drones-navigate-unseen-environments-via-liquid-neural-networks
19. Drones navigate unseen environments with liquid neural networks - MIT CSAIL, 12월 14, 2025에 액세스, https://www.csail.mit.edu/news/drones-navigate-unseen-environments-liquid-neural-networks
20. This your AI copilot speaking ... - eeNews Europe, 12월 14, 2025에 액세스, https://www.eenewseurope.com/en/this-your-ai-copilot-speaking/
21. Air-Guardian blends human intuition with AI precision for safer flying - Aviation360, 12월 14, 2025에 액세스, https://aviation360me.com/air-guardian-blends-human-intuition-with-ai-precision-for-safer-flying/
22. (PDF) Cooperative Flight Control Using Visual-Attention -- Air ..., 12월 14, 2025에 액세스, https://www.researchgate.net/publication/366497191_Cooperative_Flight_Control_Using_Visual-Attention_--_Air-Guardian
23. “Liquid” Neural Network Adapts on the Go - IEEE Spectrum, 12월 14, 2025에 액세스, https://spectrum.ieee.org/liquid-neural-networks
24. FPGA-QNN: Quantized Neural Network Hardware Acceleration on FPGAs - MDPI, 12월 14, 2025에 액세스, https://www.mdpi.com/2076-3417/15/2/688
25. Hardware implementation of FPGA-based spiking attention neural network accelerator - PMC - PubMed Central, 12월 14, 2025에 액세스, https://pmc.ncbi.nlm.nih.gov/articles/PMC12453718/
26. Introducing Liquid Labs: Defining the Frontier of Intelligence through Innovation, 12월 14, 2025에 액세스, https://www.liquid.ai/blog/introducing-liquid-labs-defining-the-frontier-of-intelligence-through-innovation
27. Liquid Foundation Models: Our First Series of Generative AI Models, 12월 14, 2025에 액세스, https://www.liquid.ai/blog/liquid-foundation-models-our-first-series-of-generative-ai-models
28. Introducing LFM2: The Fastest On-Device Foundation Models on the ..., 12월 14, 2025에 액세스, https://www.liquid.ai/blog/liquid-foundation-models-v2-our-second-series-of-generative-ai-models
29. [New Trend: “Liquid Time Constants”] Integrated Understanding of LFM2 Explained, Latest Linear Architectures (e.g., Mamba2), and Key Points for High-Speed Implementation of State Space Models | by Rikka Botan - Medium, 12월 14, 2025에 액세스, https://medium.com/@rikkabotan/new-trend-liquid-time-constants-integrated-understanding-of-lfm2-explained-latest-linear-1e94e84b5403
30. Automated Architecture Synthesis via Targeted Evolution | Liquid AI, 12월 14, 2025에 액세스, https://www.liquid.ai/research/automated-architecture-synthesis-via-targeted-evolution
31. LFM2 Technical Report - arXiv, 12월 14, 2025에 액세스, https://arxiv.org/html/2511.23404v1
32. Topic 38: Can Liquid Models Beat Transformers? Meet Hyena Edge – the Newest Member of the LFM Family - Turing Post, 12월 14, 2025에 액세스, https://www.turingpost.com/p/liquidhyena
33. [2209.12951] Liquid Structural State-Space Models - arXiv, 12월 14, 2025에 액세스, https://arxiv.org/abs/2209.12951
34. LFM2-8B-A1B: An Efficient On-device Mixture-of-Experts | Liquid AI, 12월 14, 2025에 액세스, https://www.liquid.ai/blog/lfm2-8b-a1b-an-efficient-on-device-mixture-of-experts
35. A novel uncertainty-aware liquid neural network for noise-resilient time series forecasting and classification - IDEAS/RePEc, 12월 14, 2025에 액세스, https://ideas.repec.org/a/eee/chsofr/v193y2025ics0960077925001432.html
36. What are Transformers worse at than classical deep learning models - AI Stack Exchange, 12월 14, 2025에 액세스, https://ai.stackexchange.com/questions/48329/what-are-transformers-worse-at-than-classical-deep-learning-models
37. Liquid Neural Networks: The learning technology of the future? | by Michael Alexander Riegler | Medium, 12월 14, 2025에 액세스, https://medium.com/@michael_79773/liquid-neural-networks-the-learning-technology-of-the-future-b860a9cf7757
38. Surfing the AI Wave: Exploring the 'Flowing' Potential of Liquid Neural Networks - Medium, 12월 14, 2025에 액세스, https://medium.com/@DeeveshChowdary/surfing-the-ai-wave-exploring-the-flowing-potential-of-liquid-neural-networks-741854ceeacc
39. Causality-based neural network repair - Institutional Knowledge (InK) @ SMU, 12월 14, 2025에 액세스, https://ink.library.smu.edu.sg/context/sis_research/article/7920/viewcontent/3510003.3510080.pdf
40. AI: The Security Challenges of Liquid Neural Networks | Paolo Fabio Zaino's Blog, 12월 14, 2025에 액세스, https://paolozaino.wordpress.com/2025/02/11/ai-the-security-challenges-of-liquid-neural-networks/