[인공지능][DL] Deep Learning - 신경망계층 추가방법 및 성능향상방법

신경망계층 추가방법

 

라이브러리

import tensorflow as tf
from tensorflow import keras

import matplotlib.pyplot as plt
import numpy as np

from sklearn.model_selection import train_test_split

 

데이터 수집 및 정규화

📍 fashion_mnist 데이터를 이용해서 훈련 및 테스트에 대한 독립변수와 종속변수 읽어 들이기
       → 변수는 항상 사용하는 변수명으로 설정
📍 정규화하기
📍 훈련의 독립 및 종속변수를 이용해서 훈련 : 검증 = 8 : 2로 분류하기

• 데이터수집

(train_input, train_target), (test_input, test_target) = keras.datasets.fashion_mnist.load_data()
print(train_input.shape, train_target.shape)
print(test_input.shape, test_target.shape)

 

• 데이터 스케일링

'''
255로 나누는 이유는 이미지 데이터가 보통 0에서 255 사이의 픽셀 값으로 구성되어 있기 때문이다.
각 픽셀의 값이 0일 때는 최소값, 255일 때는 최대값이므로,
이 값을 0에서 1 사이의 범위로 매핑하기 위해 255로 나누어준다.
이렇게 하면 모든 픽셀 값이 0에서 1 사이의 실수 값으로 정규화된다.
'''
train_scaled_255 = train_input / 255.0
train_scaled_255[0]

test_scaled_255 = test_input / 255.0
test_scaled_255[0]

train_scaled_255.shape, test_scaled_255.shape

 

• 모델 훈련에 사용하기 위해 2차원으로 변환

train_scaled_2d = train_scaled_255.reshape(-1, 28*28)
test_scaled_2d = test_scaled_255.reshape(-1, 28*28)

 

• 훈련 : 검증 데이터로 분류하기(8:2)

train_scaled, val_scaled, train_target, val_target = train_test_split(train_scaled_2d,
                                                                      train_target,
                                                                      test_size=0.2,
                                                                      random_state=42)
print(train_scaled.shape, train_target.shape)
print(val_scaled.shape, val_target.shape)
print(test_scaled_2d.shape, test_target.shape)

 

신경망 모델에 계층(layer) 추가하는 방법 3가지

1. 층을 먼저 만들고, 신경망 모델 생성 시 추가하기

''' 입력계층(Input layer) 생성하기 '''
dense1 = keras.layers.Dense(100, activation="sigmoid", input_shape=(784,))

''' 출력계층(Output layer) 생성하기 '''
dense2 = keras.layers.Dense(10, activation="softmax")

''' 신경망 모델 생성하기 '''
### 여러개를 넣어야 할 때 리스트[] 사용
model = keras.Sequential([dense1, dense2])
model​

''' 입력계층(Input layer) 생성하기 '''
dense1 = keras.layers.Dense(100, activation="sigmoid", input_shape=(784,))

''' 출력계층(Output layer) 생성하기 '''
dense2 = keras.layers.Dense(10, activation="softmax")

''' 신경망 모델 생성하기 '''
### 여러개를 넣어야 할 때 리스트[] 사용
model = keras.Sequential([dense1, dense2])
model

''' 모델 계층 확인하기 '''
model.summary()

 

- Output Shape로 100개를 출력해냄
- 다음 계층(dense_1)이 100개를 입력 계층으로 받음
- 그리고 다시 시그모이드 함수를 이용해 10개로 출력해냄
- dense_1에서 훈련에 관여하고 있는 계층 78500개
- param이 0 이면 훈련에 영향을 미치고 있는 계층이 없다.

 

2. 신경망모델 생성 시 계층(layer)을 함께 추가

''' 모델 생성 및 계층 추가하기 '''
model = keras.Sequential([
    keras.layers.Dense(100, activation="sigmoid",
                       input_shape=(784,), name = "Input-layer"),
                      keras.layers.Dense(10, activation="softmax", name = "Output-layer")],
                         name = "Model-2"
)

model.summary()

 

3. 신경망 모델을 먼저 생성 후, 계층 추가하기

''' 신경망 모델 생성하기
    - 일반적으로 사용되는 방식
    - 위의 1, 2 방법으로 수행 후, 계층을 추가할 필요성이 있을 경우에도 사용됨'''
model = keras.Sequential()

''' 계층 생성 및 모델에 추가하기 '''
model.add(
    keras.layers.Dense(100, activation="sigmoid", input_shape(784,), name="Input-Layer")
)
model.add(
    keras.layers.Dense(10, activation="softmax", name="Output-Layer")
)

model.summary()

모델 설정하기(compile)

''' 손실함수는 다중분류 사용 '''
model.compile(
    ### 손실함수 : 종속변수의 형태에 따라 결정 됨
    loss="sparse_categorical_crossentropy",
    ### 훈련 시 출력할 값 : 정확도 출력
    metrics="accuracy"
)

 

모델 훈련하기(fit)

''' 반복횟수 10번 '''
model.fit(train_scaled, train_target, epochs=10)

 

- 마지막에 가장 높은 값이 나오면 epochs를 증가시켜야 한다. 더 높은 정확도가 나올 수 있기 때문이다.

- 기본적으로 100번 정도 실행한다.
- 실행 중간에 가장 높은 값이 나오면 epochs는 그 시점의 횟수가 한계이므로 해당 횟수까지만 돌리면 된다.

 

 

 

 

 

모델 성능 평가하기(evaluate)

''' 성능평가하기(검증) '''
score = model.evaluate(val_scaled, val_target)

''' 손실율과 정확도 출력하기 '''
print(f"손실율 : {score[0]} / 정확도 : {score[1]}")

 훈련 모델과 검증 모델을 비교해 봤을 때 정확도가 높은 편은 아니지만, 

과소/과대에 해당하지 않고 일반화된 모델이라고 볼 수 있다.

---

신경망계층 성능향상방법

<성능 개선 방법>
 1. 데이터 증가 시키기
 2. 하이퍼파라미터 튜닝
    → 성능이 현저히 낮은 경우에는 튜닝 필요, 일반적으로 딥러닝에서는 디폴트 값을 사용해도 된다.
    → 반복 횟수 증가
    → 계층 추가 또는 제거(일반적으로 추가)
    → 이외 하이퍼파라미터들

 

1. 성능향상 - 은닉 계층(Hidden Layer) 추가

• 모델 생성하기

model = keras.Sequential()​

• 입력 계층 추가하기
  - 전처리 계층으로 추가
  - Flatten()
       → 차원축소 전처리 계층(1차원으로 축소)
       → 훈련에 영향을 미치지는 않음
       → 일반적으로 입력계층 다음에 추가하거나 입력계층으로 사용되기도 함
       → 이미지 데이터 처리 시에 주로 사용됨

model.add(
    keras.layers.Flatten(input_shape=(28, 28))
)

• 중간계층 = 은닉계층(hidden layer) 생성하기
  - Dense() 계층은 모델 성능에 영향을 미침
  - relu : 0보다 크면 1, 0보다 작으면 0

model.add(
    keras.layers.Dense(100, activation="relu")
)

• 출력 계층(Output Layer) 생성하기

model.add(
    keras.layers.Dense(10, activation="softmax")
)

• 모델에 추가된 계층 모두 확인하기

model.summary()

• 모델 설정하기(compile)

''' 손실함수는 다중분류 사용 '''
model.compile(
    ### 손실함수 : 종속변수의 형태에 따라 결정 됨
    loss="sparse_categorical_crossentropy",
    ### 훈련 시 출력할 값 : 정확도 출력
    metrics="accuracy"
)

 

 

차원축소하지 않은 정규화된 데이터로 다시 생성 

• 데이터 불러오기

(train_input, train_target), (test_input, test_target) = keras.datasets.fashion_mnist.load_data()
print(train_input.shape, train_target.shape)
print(test_input.shape, test_target.shape)

• 데이터 정규화

train_scaled_255 = train_input / 255.0
train_scaled_255[0]

test_scaled_255 = test_input / 255.0
test_scaled_255[0]

train_scaled_255.shape, test_scaled_255.shape

• 훈련 : 검증 데이터로 분류

train_scaled, val_scaled, train_target, val_target = train_test_split(train_scaled_255,
                                                                      train_target,
                                                                      test_size=0.2,
                                                                      random_state=42)
print(train_scaled.shape, train_target.shape)
print(val_scaled.shape, val_target.shape)
print(test_scaled_255.shape, test_target.shape)

• 모델 훈련하기(fit)

model.fit(train_scaled, train_target, epochs=100)

• 모델 성능 평가하기(evaluate)   

''' 성능평가하기(검증) '''
score = model.evaluate(val_scaled, val_target)

''' 손실율과 정확도 출력하기 '''
print(f"손실율 : {score[0]} / 정확도 : {score[1]}")

 

2. 성능향상 - 옵티마이저(Optimizer)

• 모델 설정하기(compile)
• 옵티마이저(Optimizer)
  → 옵티마이저 설정 위치 : compile() 시에 설정함
  → 손실을 줄여나가기 위한 방법을 설정함
  → 손실을 줄여나가는 방법을 보통 "경사하강법"이라고 칭한다.
  → "경사하강법"을 이용한 여러 가지 방법들 중 하나를 선택하는 것이 옵티마이저 선택이다.
  → 옵티마이저 종류 : SGD(확률적 경사하강법), Adagrad, RMSProp, Adam이 있음

📍 SDG(확률적 경사하강법)
- 현재 위치에서 기울어진 방향을 찾을 때 지그재그 모양으로 탐색해 나가는 방법

📍  Adagrad
- 학습률(보폭)을 적절하게 설정하기 위해 학습율 감소라는 기술을 사용
- 학습 진행 중에 학습률을 줄여가는 방법을 사용
- 처음에는 학습율을 크게 학습하다가, 점점 작게 학습한다는 의미
- 기울기가 유연함

📍 RMSProp
- Adagrad의 단점을 보완한 방법
- Adagrad는 학습량을 점점 작게 학습하기 때문에 학습량이 0이 되어 갱신(학습)되지 않는 시점이 발생할 수 있는 단점이 있음
- 이러한 단점을 보완하여 과거의 기울기 값을 반영하는 방식 사용
- 먼 과거의 기울기(경사) 값은 조금 반영하고, 최근 기울기(경사)를 많이 반영
- Optimizer의 기본값(default)으로 사용됨

📍 Adam
- 공이 굴러가듯이 모멘텀(momentum → 관성)과 Adagrad를 융합한 방법
     ** 모멘텀 : 관성과 가속도를 적용하여 이동하던 방향으로 좀 더 유연하게 작동함
- 자주 사용되는 기법으로, 좋은 결과를 얻을 수 있는 방법으로 유명함 
- 메모리 사용이 많은 단점이 있음(과거 데이터를 저장해 놓음)

어떤 걸 써야 하는지 정해져 있지 않음
가장 좋은 건 모멘텀을 적용한 adam
sgd는 가장 초기에 나왔기 때문에 많이 사용하기 않음.
기본값인 RMSProp을 사용하고 adam사용.
하이퍼파라미터 튜닝을 한다면 모두 다 사용해 보는 것을 추천

model.compile(
    ### 옵티마이저 정의 : 손실을 줄여나가는 방법
    optimizer="sgd",
    ### 손실함수 : 종속변수의 형태에 따라 결정 됨
    loss="sparse_categorical_crossentropy",
    ### 훈련 시 출력할 값 : 정확도 출력
    metrics="accuracy"
)

 

• 모델 훈련하기(fit)

model.fit(train_scaled, train_target, epochs=10)

• 모델 성능 평가하기(evaluate)   

''' 성능평가하기(검증) '''
score = model.evaluate(val_scaled, val_target)

''' 손실율과 정확도 출력하기 '''
print(f"손실율 : {score[0]} / 정확도 : {score[1]}")

 

옵티마이저에 학습률 적용하기 

• 학습률을 적용하는 방법
  - 사용되는 4개의 옵티마이저를 객체로 생성하여 learning_rate(학습률) 값을 설정할 수 있음
  - 학습률 : 보폭이라고 생각하면 됨
  - 학습률이 작을수록 보폭이 작다고 보면 됨
  - 가장 손실이 적은 위치를 찾아서 움직이게 됨
  - 이때 가장 손실이 적은 위치는 모델이 스스로 찾아서 움직이게 됨(사람이 관여하지 않음)
  - 학습률의 기본값은 = 0.01을 사용(사용값의 범위 0.1 ~ 0.0001 정도)
  
  
• 과적합을 해소하기 위한 튜닝방법으로 사용됨
  - 과대적합이 일어난 경우 : 학습률을 크게
  - 과소적합이 일어난 경우 : 학습률을 작게
  - 과대/과소를 떠나서, 직접 값의 법위를 적용하여 튜닝을 수행한 후 가장 일반화 시점의 학습률 값을 찾는 것이 중요함
  
  
• 옵티마이저 객체 생성 및 모델 설정

''' 옵티마이저 객체 생성 '''
sgd = keras.optimizers.SGD(learning_rate=0.1)

''' 모델 설정(compile) '''
model.compile(
    ### 옵티마이저 정의 : 손실을 줄여나가는 방법
    optimizer="sgd",
    ### 손실함수 : 종속변수의 형태에 따라 결정 됨
    loss="sparse_categorical_crossentropy",
    ### 훈련 시 출력할 값 : 정확도 출력
    metrics="accuracy"
)

• 모델 훈련하기

model.fit(train_scaled, train_target, epochs=50)

• 모델 성능 평가하기(evaluate)  

''' 성능평가하기(검증) '''
score = model.evaluate(val_scaled, val_target)

''' 손실율과 정확도 출력하기 '''
print(f"손실율 : {score[0]} / 정확도 : {score[1]}")

 

모멘텀(Momentum) 직접 적용하기 

• 모멘텀(Momentum)
   - 기존의 방향(기울기)을 적용하여 관성을 적용시키는 방법
   - 기본적으로 0.9 이상의 값을 적용시킴
   - 보통 nesterov=True 속성과 함께 사용됨
      → nesterov=True : 모멘텀 방향보다 조금 더 앞서서 경사를 계산하는 방식(미리 체크)
  -  momentum 속성을 사용할 수 있는 옵티마이저 : SGD, RMSProp

''' 옵티마이저 객체 생성 '''
sgd = keras.optimizers.SGD(
    momentum=0.9,
    nesterov=True,
    learning_rate=0.1
)

''' 모델 설정(compile) '''
model.compile(
    ### 옵티마이저 정의 : 손실을 줄여나가는 방법
    optimizer="sgd",
    ### 손실함수 : 종속변수의 형태에 따라 결정 됨
    loss="sparse_categorical_crossentropy",
    ### 훈련 시 출력할 값 : 정확도 출력
    metrics="accuracy"
)

• 모델 훈련하기

model.fit(train_scaled, train_target, epochs=50)

• 모델 성능 평가하기(evaluate)  

''' 성능평가하기(검증) '''
score = model.evaluate(val_scaled, val_target)

''' 손실율과 정확도 출력하기 '''
print(f"손실율 : {score[0]} / 정확도 : {score[1]}")

 

adagrad 

''' adagrad '''
adagrad = keras.optimizers.Adagrad()

''' 모델 설정(compile) '''
model.compile(
    ### 옵티마이저 정의 : 손실을 줄여나가는 방법
    optimizer=adagrad,
    ### 손실함수 : 종속변수의 형태에 따라 결정 됨
    loss="sparse_categorical_crossentropy",
    ### 훈련 시 출력할 값 : 정확도 출력
    metrics="accuracy"
)

''' 또는 '''
model.compile(
    ### 옵티마이저 정의 : 손실을 줄여나가는 방법
    optimizer="adagrad",
    ### 손실함수 : 종속변수의 형태에 따라 결정 됨
    loss="sparse_categorical_crossentropy",
    ### 훈련 시 출력할 값 : 정확도 출력
    metrics="accuracy"
)

 

RMSprod 

''' RMSProd '''
rmsprop = keras.optimizers.RMSprop()

''' 모델 설정(compile) '''
model.compile(
    ### 옵티마이저 정의 : 손실을 줄여나가는 방법
    optimizer=rmsprop,
    ### 손실함수 : 종속변수의 형태에 따라 결정 됨
    loss="sparse_categorical_crossentropy",
    ### 훈련 시 출력할 값 : 정확도 출력
    metrics="accuracy"
)

''' 또는 '''
model.compile(
    ### 옵티마이저 정의 : 손실을 줄여나가는 방법
    optimizer="rmsprop",
    ### 손실함수 : 종속변수의 형태에 따라 결정 됨
    loss="sparse_categorical_crossentropy",
    ### 훈련 시 출력할 값 : 정확도 출력
    metrics="accuracy"
)

Adam  

''' Adam '''
adam = keras.optimizers.Adam()

''' 모델 설정(compile) '''
model.compile(
    ### 옵티마이저 정의 : 손실을 줄여나가는 방법
    optimizer=adam,
    ### 손실함수 : 종속변수의 형태에 따라 결정 됨
    loss="sparse_categorical_crossentropy",
    ### 훈련 시 출력할 값 : 정확도 출력
    metrics="accuracy"
)

''' 또는 '''
model.compile(
    ### 옵티마이저 정의 : 손실을 줄여나가는 방법
    optimizer="adam",
    ### 손실함수 : 종속변수의 형태에 따라 결정 됨
    loss="sparse_categorical_crossentropy",
    ### 훈련 시 출력할 값 : 정확도 출력
    metrics="accuracy"
)

 

 

실습

 

https://mzero.tistory.com/127

[인공지능][DL] Deep Learning 실습 - 신경망계층 추가방법 및 성능향상방법