Qualcomm Snapdragon 및 ARM Cortex 기반 On-Device AI 딥러닝 추론 하드웨어 타겟 선정 배경온디바이스 AI(On-Device AI) 시스템 설계 시 개발자는 모델 추론(Inference) 연산을 수행할 하드웨어 프로세서를 올바르게 선택해야 합니다. 동일한 신경망 모델을 실행하더라도 NPU(Neural Processing Unit), GPU(Graphics Processing Unit), DSP(Digital Signal Processor) 프로세서의 연산 방식에 따라 메모리 대역폭 점유율과 전력 소비량(Perf/Watt)이 크게 달라집니다. 본 문서에서는 NPU, GPU, DSP의 코어 구조, 병렬 연산 방식, 메모리 계층 구조를 상세히 분석하여 시스템 요구사항에 최적화된..
