반응형

sigmoid 2

PyTorch 활성화 함수와 손실 함수 완벽 가이드: Sigmoid부터 Cross-Entropy까지

핵심 요약 3줄비선형성 부여: 활성화 함수는 단순 선형 결합에 비선형성을 추가하여 모델이 복잡한 데이터 패턴을 학습하게 합니다.학습 방향 제시: 손실 함수는 예측과 실제의 오차를 수치화하여 모델이 최적의 가중치를 찾아가는 나침반 역할을 합니다.하드웨어 최적화: 리소스가 제한된 환경에서는 연산 복잡도가 낮은 ReLU 계열과 모델 목적에 맞는 손실 함수 조합이 필수적입니다.1. 활성화 함수(Activation Function): 비선형성의 마법활성화 함수는 입력 신호의 총합을 출력 신호로 변환하는 함수로, 모델에 비선형성(Non-linearity)을 부여합니다.1.1 주요 활성화 함수 특성 비교함수명수식주요 특징추천 환경Sigmoid$1 / (1 + e^{-x})$0~1 사이 출력, 확률 표현에 적합이진 분..

활성화 함수란? (ReLU, Sigmoid, Tanh 등)

활성화 함수란? (ReLU, Sigmoid, Tanh 등)1. 활성화 함수의 개념활성화 함수(Activation Function)는 인공신경망에서 뉴런의 출력값을 결정하는 중요한 요소입니다. 신경망에서 입력을 받은 뉴런은 가중치와 편향을 적용한 후, 활성화 함수를 거쳐 최종 출력을 내보냅니다. 이 함수는 비선형성을 추가하여 신경망이 복잡한 패턴을 학습할 수 있도록 돕습니다.활성화 함수가 없다면 신경망의 각 층은 단순한 선형 변환만 수행하게 되고, 깊이가 아무리 깊어도 하나의 선형 모델과 동일한 표현력을 가지게 됩니다. 따라서 활성화 함수는 신경망이 비선형 문제를 해결할 수 있도록 하는 핵심적인 역할을 합니다.2. 대표적인 활성화 함수2.1. 시그모이드(Sigmoid) 함수시그모이드 함수는 입력값을 0과 ..

반응형