Deep Learning (DL)
-
활성화 함수 - 소프트맥스 함수 (Softmax function) 란?Deep Learning (DL) 2022. 10. 29. 02:50
활성화 함수(Activation function) 활성화 함수는 가중 합의 출력 값이 입력되었을 때, 그대로 출력 하지 않고 값을 증폭 시키거나, 감소 시키는 등 얼마 만큼의 신호로 출력 할 지 정해주는 함수이다. 4. 소프트맥스 함수 (Softmax function) 시그모이드 함수와 유사한 함수이다. 단, 시그모이드 함수는 2진 분류 문제에 적합하였다면, 소프트맥스 함수는 다중 분류 문제에 적용할 수 있도록 시그모이드 함수를 일반화 한 함수이다. 가중 합 값을 소프트맥스 함수에 통과 시키면, 모든 클래스 값의 합이 1이 되는 확률 값 으로 변환된다.
-
활성화 함수 - ReLU 함수 (ReLU function) 란?Deep Learning (DL) 2022. 10. 29. 02:29
활성화 함수(Activation function) 활성화 함수는 가중 합의 출력 값이 입력되었을 때, 그대로 출력 하지 않고 값을 증폭 시키거나, 감소 시키는 등 얼마 만큼의 신호로 출력 할 지 정해주는 함수이다. 3. ReLU 함수 (ReLU function) ReLU 함수는 Rectified Linear Unit 의 약자이며, 시그모이드 함수를 중복 해 사용하면 기울기 소실 ( Vanishing Gradient ) 문제가 발생하는데, 기울기 소실 문제를 해결하기 위해 등장한 것이 ReLU 함수이며, 실제로도 많이 사용되는 활성화 함수이다. 주로 0 으로 유지되다가 직선으로 올라가는 형태의 그래프를 띄고 있다. ReLU 함수는 양의 값이 입력되면 그 값을 그대로 출력하고, 음의 값이 입력되면 0 을 반..
-
활성화 함수 - 시그모이드 함수(Sigmoid function) 란?Deep Learning (DL) 2022. 10. 29. 02:19
활성화 함수(Activation function) 활성화 함수는 가중 합의 출력 값이 입력되었을 때, 그대로 출력 하지 않고 값을 증폭 시키거나, 감소 시키는 등 얼마 만큼의 신호로 출력 할 지 정해주는 함수이다. 2. 시그모이드 함수 계단 함수의 신호를 컴퓨터가 받기에는 제한되는 부분이 있어 (임계 값 지점에서 미분이 불가능하고, 나머지 지점에서는 미분 값이 0 이 나옴) 이를 개선하기 위하여 시그모이드 함수가 고안되었다. (계단 함수를 활성화 함수로 채택하면 학습이 제대로 이루어 지지 않음) 시그모이드 함수는 1 과 0 두 가지 분류인 2진 분류 문제 적합한 함수이다. 계단 함수의 그래프와 유사하지만 부드러움이 추가된 곡선의 형태를 띄고 있다. 계단 함수처럼 임계 값 ( 0 ) 보다 작은 부분은 0 ..
-
활성화 함수 - 계단 함수 (Step function) 란?Deep Learning (DL) 2022. 10. 29. 01:57
활성화 함수(Activation function) 활성화 함수는 가중 합의 출력 값이 입력되었을 때, 그대로 출력 하지 않고 값을 증폭 시키거나, 감소 시키는 등 얼마 만큼의 신호로 출력 할 지 정해주는 함수이다. 활성화 함수는 크게 4가지 종류가 있다. 1. 계단 함수 ( Step function ) 입력 값이 임계값을 넘기면 1, 그렇지 않으면 0 을 출력하는 함수이다. 주로, 생물체의 전기적인 신호를 보낸다=1, 보내지 않는다=0 의 형태로 대화하기 때문에 이를 모사하기 위하여 계단 함수가 고안되었다. 임계값이란? 귀무가설 하 검정 통계량의 분포에서 귀무가설을 기각해야 하는 값의 집합을 정의하는 점 이다. 이 집합은 임계 또는 기각 영역이라고 한다. (예시 이미지의 그래프 에서는 임계값이 0 으로 ..
-
퍼셉트론의 도식화 (Feat. 가중치, 가중합)Deep Learning (DL) 2022. 10. 28. 03:41
이전 포스트에서 예고했듯, 이번 글에서는 퍼셉트론의 도식화에 대해 자세히 알아보려한다. Constant 편향 (Bias) 라는 의미로, 고유한 값을 의미한다. (Section2 의 Trade-Off 관계에서 등장한 편향과 딥러닝에서의 편향은 별개임을 명시한다.) 도식화 에서 볼 수 있듯, 크게 두 가지 부분으로 나눌 수 있다. 1. 가중치(Weight)-편향(bias) 연산 퍼셉트론은 여러 개의 신호를 입력 받는다. 입력된 신호는 각각의 가중치와 곱해지고 그 결과를 더해주는데, 이것을 가중 합 (Weighted Sum) (=가중치) 이라고 하며, 퍼셉트론의 첫 번째 단계이기도 하다. import numpyas np input= np.array([1, 2, 3]) weight= np.array([0.2, ..
-
퍼셉트론 (Perceptron) 이란?Deep Learning (DL) 2022. 10. 27. 19:00
퍼셉트론을 레고에 비유하여 설명 해 보면.. 레고는 유사하게 생긴 기본 블록을 계속 쌓아가면서 전체적인 형태를 만들어 나가게 된다. 앞으로 배울 신경 망 역시 기본이 되는 구조를 겹겹이 쌓아 만들어진다. 퍼셉트론(Perceptron) 은, 신경망을 이루는 가장 기본 단위를 말한다. 퍼셉트론(Perceptron)이란? 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력 하는 구조를 말한다. 노드 = 퍼셉트론 = 유닛 퍼셉트론의 도식화는 다음 포스트에서 자세히 알아보도록 하자