NPU vs GPU vs DSP: On-Device AI 연산 아키텍처 및 Perf/Watt 성능 비교

Qualcomm Snapdragon 및 ARM Cortex 기반 On-Device AI 딥러닝 추론 하드웨어 타겟 선정 배경

온디바이스 AI(On-Device AI) 시스템 설계 시 개발자는 모델 추론(Inference) 연산을 수행할 하드웨어 프로세서를 올바르게 선택해야 합니다. 동일한 신경망 모델을 실행하더라도 NPU(Neural Processing Unit), GPU(Graphics Processing Unit), DSP(Digital Signal Processor) 프로세서의 연산 방식에 따라 메모리 대역폭 점유율과 전력 소비량(Perf/Watt)이 크게 달라집니다. 본 문서에서는 NPU, GPU, DSP의 코어 구조, 병렬 연산 방식, 메모리 계층 구조를 상세히 분석하여 시스템 요구사항에 최적화된 하드웨어 선택 가이드를 제공합니다.

On-Device AI 하드웨어 선택 핵심 요약 (NPU MAC Array vs GPU SIMD vs DSP VIW)

• NPU (Neural Processing Unit): INT8/INT4 고정소수점 연산과 Systolic Array 구조에 최적화되어 최고 수준의 전력 대 성능비(Perf/Watt)와 TOPS/W 효율을 제공합니다.
• GPU (Graphics Processing Unit): FP32/FP16 연산 기반의 대규모 SIMD execution pipeline을 탑재하여 정밀도가 중요한 딥러닝 파이프라인이나 가변 레이어 구조 처리에 적합합니다.
• DSP (Digital Signal Processor): Hexagon HVX와 같은 Vector Extension 특화 아키텍처로 Ultra-low power 및 Always-on 센서 데이터 처리 및 초저지연 연산에 특화되어 있습니다.

On-Device AI 프로세서 아키텍처 및 연산 코어 하드웨어 특성 분석

NPU, GPU, DSP 프로세서 연산 구조 및 특성 비교

구분	NPU (Neural Processing Unit)	GPU (Graphics Processing Unit)	DSP (Digital Signal Processor)
주요 연산 아키텍처	Systolic Array / Dataflow Engine	SIMD (Single Instruction Multiple Data)	VLIW (Very Long Instruction Word) / SIMD
주요 정밀도 (Precision)	INT8, INT4, FP16 (Quantized)	FP32, FP16, BF16	INT8, INT16, Fixed-point
전력 대 성능비 (Perf/Watt)	매우 높음 (> 10 TOPS/W)	중간 (~ 1-3 TFLOPS/W)	높음 (Ultra-low Power Always-on)
소프트웨어 런타임 API	NNAPI, QNN, TFLite Delegate	OpenCL, Vulkan Compute, RenderScript	Hexagon SDK, FastRPC

Systolic Array, SIMD, VLIW 코어 동작 원리 분석

NPU는 2D MAC(Multiply-Accumulate) 연산기가 행렬 형태로 배열된 Systolic Array 아키텍처를 활용합니다. 가중치(Weight) 데이터를 내부 SRAM 레지스터 버퍼에 상주시킨 후 입력 액티베이션 데이터를 흐르게 하여 DRAM 액세스 빈도를 줄입니다. 이를 통해 Von Neumann bottleneck을 극복하고 전력 효율을 높입니다.

GPU는 다수의 ALU가 단일 명령어를 동시 실행하는 SIMD 방식을 채택합니다. 그래픽 렌더링용 연산 파이프라인을 다단계로 탑재하여 대용량 FP16/FP32 텐서 연산에서 높은 융통성(Flexibility)을 발휘합니다. 그러나 데이터 로딩 시 Register File 및 L1/L2 Cache 전력 소비가 NPU 대비 높습니다.

DSP는 단일 클럭 사이클에 복수의 명령어를 병렬 실행하는 VLIW 방식을 사용합니다. Qualcomm Hexagon HVX(Hexagon Vector eXtensions) 구조는 1024-bit 넓이의 벡터 레지스터를 통해 오디오, 이미지 신호 처리 및 초저전력 연산을 실행합니다.

C++ OpenCL 및 Android NNAPI 연산 런타임 구현 예제

다음 코드는 OpenCL GPGPU 런타임 및 Qualcomm QNN API를 사용하여 하드웨어 타겟 가속기를 초기화하는 소스코드입니다.

#include <iostream>
#include <vector>
#include <CL/cl.h>

// Initialize OpenCL GPU Context for Tensor Matrix Multiplication
bool init_gpu_accelerator(cl_context* context, cl_command_queue* queue) {
    cl_platform_id platform_id = NULL;
    cl_device_id device_id = NULL;
    cl_uint ret_num_devices;
    cl_uint ret_num_platforms;

    // Fetch GPU Platform
    cl_int status = clGetPlatformIDs(1, &platform_id, &ret_num_platforms);
    if (status != CL_SUCCESS) {
        std::cerr << "Error: clGetPlatformIDs failed with code " << status << std::endl;
        return false;
    }

    // Fetch GPU Device
    status = clGetDeviceIDs(platform_id, CL_DEVICE_TYPE_GPU, 1, &device_id, &ret_num_devices);
    if (status != CL_SUCCESS) {
        std::cerr << "Error: clGetDeviceIDs failed with code " << status << std::endl;
        return false;
    }

    // Create OpenCL Context
    *context = clCreateContext(NULL, 1, &device_id, NULL, NULL, &status);
    *queue = clCreateCommandQueue(*context, device_id, 0, &status);

    return true;
}

On-Device AI 프로파일링을 위한 Perf/Watt 측정 및 Sysfs 디버깅 팁

실무 환경에서 NPU, GPU, DSP의 실시간 전력 소비량과 Latency를 디버깅하려면 리눅스 Kernel Sysfs 인터페이스 및 Android simpleperf 연동 도구를 활용해야 합니다.

1. Adreno GPU Frequency / Bus Scale Lock 명령어:

# Lock Adreno GPU frequency to maximum performance
echo "performance" > /sys/class/kgsl/kgsl-3d0/devfreq/governor
cat /sys/class/kgsl/kgsl-3d0/gpuclk

 

 

2. Qualcomm Hexagon DSP/NPU FastRPC Profiling:

# Set FastRPC log mask for DSP RPC call monitoring
setprop vendor.fastrpc.log.level 3
adb logcat -s "adsprpc"

 

 

3. Android NDK perfetto 트레이스 수집:
perfetto 도구를 활용하여 NPU HW Execution Interrupt 패킷과 GPU Compute Queue 제출 간격을 분석합니다. 이를 통해 HW Offload Overhead를 탐지할 수 있습니다.

On-Device AI 포팅 과정에서 엔지니어가 흔히 하는 실수

1. NPU 컴파일러 변환 시 INT8 Quantization Mismatch 및 ERROR_UNSUPPORTED_DATATYPE 예외 발생

FP32 모델을 NPU 툴킷(예: SNPE, TVM, QNN Compiler)으로 컴파일할 때 정밀도 보정(Calibration)을 생략하면 ERROR_UNSUPPORTED_DATATYPE 또는 CL_INVALID_ARG_VALUE 예외가 발생합니다. NPU는 Floating Point HW 연산기가 최소화되어 있으므로, 반드시 Post-Training Quantization(PTQ)을 거쳐 가중치와 액티베이션 텐서를 INT8 형식으로 정렬해야 합니다.

2. DSP/NPU 간 메모리 복사로 인한 Zero-Copy ION/DMABUF 미적용 병목

GPU나 DSP로 데이터 이전 시 memcpy 기반의 Host-to-Device 메모리 복사를 수행하면 CPU 대역폭 손실과 지연 시간이 증가합니다. 이를 방지하기 위해 Android AHardwareBuffer 또는 ion_alloc 기반의 ION/DMABUF를 사용하여 하드웨어 가속기 간 Zero-Copy 공유 메모리를 할당해야 합니다.

On-Device AI 프로세서 아키텍처 선택 결론

• NPU: 정형화된 CNN, Transformer 계열 딥러닝 추론 연산 시 최적의 Perf/Watt 및 저전력 처리 성능을 보장합니다.
• GPU: FP16/FP32 고정밀 연산이 필수적이거나 다변형 커스텀 레이어 연산 처리가 필요한 연산 환경에 적합합니다.
• DSP: 초저전력 Always-on 센서 데이터 처리, 오디오 DSP 전처리 및 리얼타임 신호 처리가 결합된 파이프라인에 가장 적합합니다.