소프트웨어 공장

인공지능 모델을 학습시킨 후 가장 처음 마주치는 어려움은 '배포'입니다. 연구실이나 로컬 PC 환경에서는 잘 동작하던 PyTorch 코드가 실제 환경이나 리소스가 제한된 엣지 디바이스에서는 먹통이 되거나 느려지는 일이 발생합니다.이러한 문제를 해결하기 위해 다양한 플랫폼 간의 호환성을 보장하는 ONNX(Open Neural Network Exchange) 포맷이 많이 쓰입니다. 이번 포스팅에서는 PyTorch로 개발한 모델을 ONNX로 변환하고, 클라우드(AWS, FastAPI)와 엣지(TensorRT, 라즈베리파이) 환경에 맞춰 최적화하고 배포하는 방법을 살펴보겠습니다.핵심 요약ONNX 변환의 필요성: PyTorch 모델을 ONNX 표준 포맷으로 변환하면 다양한 프레임워크와 하드웨어 가속 엔진(Tens..

딥러닝 모델을 연구하고 개발할 때 PyTorch는 강력하고 유연한 환경을 제공합니다. 하지만 실제 서비스 환경에 모델을 배포하거나, 모바일 및 임베디드 기기처럼 자원이 제한된 환경에서 모델을 구동할 때는 프레임워크의 무거운 무게가 걸림돌이 되기도 합니다. 이러한 이종 환경 간의 장벽을 허물고 배포 효율성을 극대화하기 위해 개발된 표준이 바로 ONNX입니다. 이번 글에서는 PyTorch 모델을 ONNX 포맷으로 변환하고, ONNX Runtime을 통해 고성능 인퍼런스를 구현하는 방법을 구체적으로 알아보겠습니다.핵심 요약 3줄ONNX는 서로 다른 딥러닝 프레임워크 간에 모델을 공유하고 실행할 수 있도록 지원하는 개방형 표준 포맷입니다.PyTorch의 torch.onnx.export 함수를 사용하면 몇 줄의 ..