NPU 성능 지표 TOPS와 실제 Throughput 간의 성능 괴리가 발생하는 이유최근 모바일 칩셋(AP)과 에지 디바이스 제조사들은 NPU(Neural Processing Unit)의 연산 능력을 강조하기 위해 TOPS(Tera Operations Per Second) 수치를 전면에 내세우고 있습니다. 그러나 많은 시스템 엔지니어와 임베디드 개발자들은 이론적인 TOPS 수치만큼 실제 AI 추론(Inference) 속도, 즉 Throughput이 나오지 않는 현상을 겪습니다. 이러한 프레임 레이트 저하 및 연산 지연 문제는 시스템의 전체 구조를 이해하지 못하면 해결하기 어렵습니다. 본 글에서는 NPU 하드웨어의 최대 연산 성능과 메모리 대역폭(Memory Bandwidth) 간의 상관관계를 다루며, 실..