소프트웨어 공장

NPU TOPS vs Throughput: 메모리 대역폭(Memory Bandwidth) 병목 현상과 실질 성능의 상관관계

NPU 성능 지표 TOPS와 실제 Throughput 간의 성능 괴리가 발생하는 이유최근 모바일 칩셋(AP)과 에지 디바이스 제조사들은 NPU(Neural Processing Unit)의 연산 능력을 강조하기 위해 TOPS(Tera Operations Per Second) 수치를 전면에 내세우고 있습니다. 그러나 많은 시스템 엔지니어와 임베디드 개발자들은 이론적인 TOPS 수치만큼 실제 AI 추론(Inference) 속도, 즉 Throughput이 나오지 않는 현상을 겪습니다. 이러한 프레임 레이트 저하 및 연산 지연 문제는 시스템의 전체 구조를 이해하지 못하면 해결하기 어렵습니다. 본 글에서는 NPU 하드웨어의 최대 연산 성능과 메모리 대역폭(Memory Bandwidth) 간의 상관관계를 다루며, 실..

핵심 요약 3줄병렬 연산의 최적화: CPU의 소수 정예 코어 대신 GPU의 수천 개 코어를 활용해 대규모 행렬 연산 속도를 혁신적으로 높입니다.통합 디바이스 설정: torch.device를 활용해 CPU와 GPU 환경 어디서든 유동적으로 동작하는 코드 작성이 가능합니다.데이터 일치 필수: 모델과 텐서가 동일한 장치(Device)에 위치해야 런타임 에러를 방지하고 정상적인 연산을 수행할 수 있습니다.1. CUDA 개요: 왜 GPU를 사용해야 할까?CUDA(Compute Unified Device Architecture)는 NVIDIA가 개발한 병렬 컴퓨팅 플랫폼입니다. 딥러닝 모델 학습에는 수많은 행렬 곱셈이 포함되는데, 이는 병렬 처리에 특화된 GPU에서 실행할 때 CPU 대비 압도적인 성능을 발휘합니다..

최근 인공지능 시장의 무게중심이 거대한 클라우드 서버에서 우리 손안의 기기, 즉 '엣지(Edge)'로 이동하고 있습니다. 대한민국 역시 이 분야에서 글로벌 수준의 경쟁력을 갖춘 기업들이 두각을 나타내고 있는데요.오늘은 엣지 AI 하드웨어의 혁신을 이끄는 '딥엑스(DeepX)'와 AI 인프라 소프트웨어의 강자 '래블업(Lablup)'을 비교 분석해 보겠습니다. 이 두 기업이 어떻게 대한민국 엣지 AI 생태계를 구축하고 있는지, 임베디드 개발자의 시각에서 살펴보겠습니다.1. 하드웨어의 혁신: 딥엑스(DeepX)와 고성능 NPU딥엑스는 자체 설계한 NPU(Neural Processing Unit)를 통해 온디바이스 AI의 한계를 돌파하고 있습니다.핵심 강점: 극강의 전력 효율(Efficiency)딥엑스의 칩셋..

최근 애플, 퀄컴, 삼성 등 빅테크 기업들이 새로운 프로세서를 발표할 때마다 가장 앞세우는 수치가 있습니다. 바로 "45 TOPS 달성!", "역대급 AI 연산 속도!" 같은 마케팅 용어들입니다.하지만 우리 같은 임베디드 소프트웨어 엔지니어들은 알고 있습니다. 데이터시트에 적힌 TOPS 수치가 높다고 해서 내가 짠 모델이 무조건 빠르게 돌아가는 것은 아니라는 사실을요. 오늘은 마케팅 수치 뒤에 숨겨진 NPU 성능의 진실과, 실무에서 반드시 체크해야 할 3가지 지표를 심층 분석해 보겠습니다.1. TOPS 수치의 함정: INT8인가, FP16인가?TOPS(Tera Operations Per Second)는 초당 1조 번의 연산을 수행한다는 뜻입니다. 하지만 여기서 중요한 것은 '어떤 데이터 타입으로 연산했는..

안녕하세요! 소프트웨어 공장입니다.지난 CES 2026의 핵심 키워드는 단연 '피지컬 AI(Physical AI)'였습니다. 이제 AI는 화면 속에서 텍스트를 생성하는 수준을 넘어, 로봇의 관절을 움직이고 자율주행차의 조향을 직접 결정하는 '물리적 실체'가 되었습니다.오늘은 이번 CES에서 화제가 된 딥엑스(DeepX)와 현대차 아틀라스의 사례를 통해, 왜 온디바이스 AI 시대에 임베디드 개발자가 핵심 주인공이 될 수밖에 없는지 분석해 보겠습니다.1. CES 2026을 뒤흔든 '피지컬 AI'의 실체과거의 AI가 클라우드 서버에 의존했다면, 2026년의 AI는 기기 내부에서 스스로 사고합니다.현대차 아틀라스(Atlas): 단순한 동작 반복이 아닌, 주변 환경을 실시간으로 인지하고 판단하여 움직이는 '지능형..