1. On-Device AI 모델 경량화를 위한 Knowledge Distillation 도입 배경NPU(Neural Processing Unit) 및 DSP와 같은 엣지 하드웨어 환경에서는 메모리 용량과 연산 자원이 극도로 제한됩니다. 대규모 파라미터를 가진 거대 AI 모델(Teacher Model)은 추론 정밀도가 높지만, Latency(지연 시간)가 길고 메모리 점유율이 높아 On-Device AI 실시간 추론에 적합하지 않습니다.이러한 문제를 해결하기 위해 거대 모델의 지식을 경량화된 소형 모델(Student Model)로 전수하는 Knowledge Distillation(지식 증류) 기술이 활용됩니다. Knowledge Distillation은 단순한 Hard Label 학습을 넘어, Teac..