인공 지능 개론 - 시험

 

 

- 5장 지도학습: 회귀 (5.2 2차원 입력면 모델 ~)
- 6장 지도학습: 분류
- 7장 신경망 딥러닝
- 8장 신경망 딥러닝의 응용 (~8.6 풀링)
- 기타 : 주교재외 별도 강의 내용

1. 평균(MEAN) : 데이터 분포의 위치

합계 / n = 평균!

 

2. 분산(Variance)
:데이터가 평균으로부터 얼마나 퍼져 있는지를 나타내는 측도로, 각 데이터와 평균의 차이를 제곱하여 평균을 구한 값

 

 

 

3. 평균의 함정? : 평균만으로 데이터의 분포를 충분히 설명하지 못할 때 발생하는 상황

 

4. 가중 평균? : 각 데이터에 가중치를 곱한 후 이를 전체 가중치의 합으로 나눈 값

 

5. 기저(basis) : 특정 차원(길이)의 벡터를 선형결합을 통해 생성해 낼 수 있는 ★ 최소한의 벡터들의 모임 ★

 

 

6. 분류 : 입력 데이터를 미리 정의된 여러 범주 중 하나로 할당, 새로운 데이터가 어떤 카테고리에 속하는지 예측
   ㄴ 주어진 데이터를 미리 정의된 클래스 또는 범주로 분류하는 작업

 

 

 

 

7. 다중 분류 : 주어진 데이터를 두 개 이상의 클래스 또는 범주로 분류하는 작업

 

소프트맥스 함수 결합

결합(이진분류) : 시그모이드 함수.

 

8. 수학적 확률 : 어떤 사건이 발생할 가능성을 수학적으로 나타낸 것으로, 0부터 1까지의 값 (질량 x에 대한 ~일 확률)

:: 수학적으로는 1을 넘을 수 없고 마이너스가 될 수도 없다.
확률 1은 항상 일어남을 의미하고, 확률 0 은 절대로 일어나지 않음을 의미.

확률 : 일정한 조건 아래에서 어떤 사건이나 사상이 일어날 가능성의 정도 또는 그런 수치.

 

 

9. 최대우도법(최대가능도법) :
어떤 확률변수에서 표집한 값들을 토대로 그 확률변수의 모수를 구하는 방법.
원하는 값들이  최대로 만드는 모수를 선택하는 법

 

 

 

 

 

10. 교차 엔트로피 오차? (OEE)

: T(정답)과 Y(예측)의 거리(오차)를 말한다. -> 손실함수사용가능

:: 확률이 특정값에 몰려있으면 엔트로피가 작고, 예거값에 골고루 퍼져있으면 엔트로피가 크다.

-정답을 예측할 수 있는데, 
정답과 예측을 표시해서 둘 사이의 거리(오차)를 계산할 수 있다.
오차가 낮게 나오는 가중치를 구하는데 사용된다.


우리가 사는 세상은 안정된 상태에서 불안정된 상태로 움직이려고한다. 이게 자연이 주는 원칙이다. 그런것을 설명하려다 보니까 용어가 필요하다. 그게 "엔트로피"이다.

 

 

두 확률 분포 사이의 차이를 측정하는 지표 중 하나

 

 

즉, ! 교차 엔트로피 오차(OEE)는? T(정답)과 Y(예측)을 표시해서 거리(오차)를 계산할 수 있다.

 

 

 

11. 퍼셉트론 :

- 최초의 신경망 모델

- 가장 성공한 인공 신경망 모델

머신러닝 -> 신경모델 -> 퍼셉트론 -> 딥러닝

::: 퍼셉트론의한계를 해결한 것. = 멀티 레이어

 

다른 얘기) 입력에 대한 가중치를 곱한 값들을 합한 후, 이를 활성화 함수에 입력하여 출력을 계산하는 모델이기도 함

 

 

 

 

12. 가중치 : W, 편향 B의 역할

가중치 (Weight) :

- 노드에 대한 중요도를 표현하는 것 

- 입력 데이터에 노드마다 비중을 크거나 작게 둠으로써 곱해지는 값을 달리하다.
- 인공 신경망에서 입력과 연결된 각각의 연결에 부여된 중요도를 나타내는 매개변수

가중치 구하기
우리나라 성인 남자의 평균 몸무게? 이런거

 

 

 

13. 활성함수 :  인공 신경망에서 입력 신호의 총합을 출력 신호로 변환하는 함수

 

=> 입력 신호 총합        ---(변환)->      출력신호

 

14. 신경망 모델 : 뉴런의 집합체 모델을 신경망 모델(신경망)이라고 함.
=> 한 방향으로만 흐르는 피드 포워드 신경망

 

 

::입력층, 은닉층, 출력층으로 구성된 모델로, 인공 신경망의 구조를 가지며 데이터를 학습하여 예측이나 분류를 수행

 

 

 

15. 텐서플로우 :  구글에서 개발한 오픈소스 머신러닝 라이브러리로, 신경망 모델을 구축하고 학습(예측이나 분류를 수행)시키는 데 사용



16. ReLU 활성화 함수 : 

- 구현이 간단하고 계산적으로 효율적이며 0에서 간단한 임계값 연산으로 정의

- 지수나 로그와 같은 복잡한 수학 연산이 없음

 

 

ReLU 함수의 그래디언트는 0 또는 1이므로 그래디언트 소실 문제를 피할 수 있습니다. 이 기능은  또한 훈련 프로세스를 가속화함

전통적으로 시그모이드 함수가 사용, 최근에는 ReLu 사용
ㄴ입력이 0보다 작을 때는 0을 출력하고, 0보다 큰 경우는 입력을 그대로 출력하는 비선형 활성화 함수

 

 

 

17. CNN : 합성곱 계층과 풀링 계층을 이용하여 이미지 인식 등의 작업을 수행하는 인공 신경망의 한 종류

합성곤 연산은 커널과 이미지의 각 픽셀별로 곱하여 합산하는 과정을 말 합니다.

4개의 레이어

Polling Layer, convolutional layer, Fully-connected layer, Flatten layer



18. MobileNet: Library
ㄴ경량화된 딥러닝 아키텍처 중 하나로, 모바일 기기에서의 실시간 이미지 분석 등에 적합한 모델

 

 

 

 

--------------------------------------------------------------------------------------------------------------------------------------------------------------

 

다른 나올거 같은 문제.

 

로지스틱 회귀 모델 : 가장 많이 사용하는 통계 기법
데이터가 범주에 속할 확률을 0에서 1사이의 값으로 예측하고, 가능성이 더 높은 범주에 속한 것으로 분류 해주는 알고리즘

 

 

 

 

지도학습 : 입력 데이터와 정답(Label)을 모델에 제공 , 모델이 이러한 관계를 학습하도록 하는 방법.

(학습된 모델은 새로운 입력 데이터에 대해 예측을 수행)

 

 

 

 

 

 

회귀 : 입력 데이터에 대한 연속적인 값을 예측

 

 

 

 

 

 

 

★★★ 퍼셉트론의 한계 (기말고사에 냄) ★★★ 최초의 신경망 모델이면서 XOR만 안됨.


머신 러닝 -> 분류 -> Binary Classification

Binary 연산을 보면 OR AND XOR 연산이 있는데.

(퍼셉트론) - > 한계


OR - X Y 입력 2개를 받아서  Z 결과를 확인. <혹은>

0 0 = 0
0 1 = 1
1 0 = 1
1 1 = 1

AND
0 0 0
0 1 0
1 0 0 
1 1 1

XOR
0 0 0
0 1 1
1 0 1
1 1 0


퍼셉트론이 OR AND XOR 를 못하는 이유는 단순한 계산이 아니라 인공지능에 사용하는 모델이라서. 계산이 아니라 분류를 할 줄 알아야한다.



XOR의 클래스는 2개이다.

0 0 -> 0
0 1 -> 1
1 0 -> 1
1 1 -> 0
-------------------. 0과 1 2개여서
근데 퍼셉트론은 이걸 못해!



즉, 퍼셉트론의 한계로는 AND, OR, NAND와는 다르게 XOR을 표현할 수 없다.

퍼셉트론은 직선 하나로 나눈 영역만 표현할 수 있다는 한계가 있다.
XOR과 같은 곡선의 영역을 비선형 영역, OR과 같은 영역을 선형 영역이이라고 한다.

 

 

 

 

 

경사 하강법 : 적용하기위해 오차 함수를 매개변수로 편미분하 식이 필요.

 

 

 

★스트라이드★
    ㄴ 보폭

지금까지의 필터는 한 칸씩 이동했지만, 2칸이나 3칸 등 어떤 간격이든 이동할 수 있다.
이 간격을 스트라이드 stride라고함.
스트라이드를 크게 하면 출력 이미지가 작아짐.
패딩과 스트라이드 값은 라이브러리로 합성 곱 네트워크를 사용할 때 인수로 전달하게 됨.

 

 

 

 

 

---------------------------------------문제로 풀기--------------------------------------

 

 

데이터 분포의 위치는?

평균(MEAN)

 

데이터가 평균으로부터 얼마나 퍼져 있는지를 나타내는 측도로, 각 데이터와 평균의 차이를 제곱하여 평균을 구한 값

분산(Variance)

 

평균만으로 데이터의 분포를 충분히 설명하지 못할 때 발생하는 상황

평균의 함정

 

각 데이터에 가중치를 곱한 후 이를 전체 가중치의 합으로 나눈 값

가중 평균

특정 차원(길이)의 벡터를 선형결합을 통해 생성해 낼 수 있는 ★ 최소한의 벡터들의 모임 ★

기저(basis)

 

입력 데이터를 미리 정의된 여러 범주 중 하나로 할당, 새로운 데이터가 어떤 카테고리에 속하는지 예측

분류

 

 

 

주어진 데이터를 두 개 이상의 클래스 또는 범주로 분류하는 작업

다중 분류

 

어떤 사건이 발생할 가능성을 수학적으로 나타낸 것으로, 0부터 1까지의 값을 나타내는 것은?

수학적 확률

어떤 확률변수에서 표집한 값들을 토대로 그 확률변수의 모수를 구하는 방법 또는 원하는 값들이  최대로 만드는 모수를 선택하는 법

최대우도법(최대가능도법)

 

 

: T(정답)과 Y(예측)의 거리(오차)를 말한다. -> 손실함수사용가능

T(정답)과 Y(예측)을 표시해서 거리(오차)를 계산할 수 있다.

교차 엔트로피 오차 (OEE)

 

 

최초의 신경망 모델이자, 가장 성공한 인공 신경망 모델은?

퍼셉트론

 

 

노드에 대한 중요도를 표현하는 것,

입력 데이터에 노드마다 비중을 크거나 작게 둠으로써 곱해지는 값을 달리하다.
인공 신경망에서 입력과 연결된 각각의 연결에 부여된 중요도를 나타내는 매개변수

가중치 (Weight)

 

 

인공 신경망에서 입력 신호의 총합을 출력 신호로 변환하는 함수

 

활성함수

 

한 방향으로만 흐르는 피드 포워드 신경망이자,

입력층, 은닉층, 출력층으로 구성된 모델로, 인공 신경망의 구조를 가지며 데이터를 학습하여 예측이나 분류를 수행

신경망 모델 : 뉴런의 집합체 모델

 

 

구글에서 개발한 오픈소스 머신러닝 라이브러리로, 신경망 모델을 구축하고 학습(예측이나 분류를 수행)시키는 데 사용

텐서플로우(Tensor Flow)

 

 

- 구현이 간단하고 계산적으로 효율적이며 0에서 간단한 임계값 연산으로 정의

- 지수나 로그와 같은 복잡한 수학 연산이 없음

ReLU 활성화 함수

 

 

 

합성곱 계층과 풀링 계층을 이용하여 이미지 인식 등의 작업을 수행하는 인공 신경망의 한 종류,

4개의 레이어
Polling Layer, convolutional layer, Fully-connected layer, Flatten layer

CNN

 

경량화된 딥러닝 아키텍처 중 하나로, 모바일 기기에서의 실시간 이미지 분석 등에 적합한 모델

MobileNet: Library