[딥러닝] RNN응용 규칙기반 챗봇
◇ 라이브러리 정의
# 라이브러리 정의
import tensorflow as tf
# 단어사전만들기
from tensorflow.keras.preprosing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences
◇ 규칙기반 데이터 정의하기 ( 질문 / 답변 )
# 규칙기반 데이터 정의하기(질문/답변)
questions = [
"전기요금 어때?",
"안녕하세요",
...
]
answers = [
"전기요금이 계속 인상되고 있어요!",
"안녕하세요! 반가워요^^",
...
]len(questions) , len(answers) (49, 49)
▶ 총 49개의 질문과 답변 데이터를 불러들임.
데이터가 많을 수록 정확도가 높아짐
◇ 텍스트 데이터를 토큰(단어)화하여 단어사전을 구축하기
① Tokenizer 생성
tokenizer = Tokenizer()
② 단어사전 구축하기
- 질문과 답변을 하나의 데이터로 합쳐서 전체 텍스트 데이터로 사용
- 이를 기반으로 토크나이저가 단어 사전을 구축하게됨
- 각 단어들은 순차적인 인덱스번호를 부여받게됨
- 토큰나이저가 인식하는 문장 내에서 단어의 의미 :
연결되어 있으면 (띄어쓰기가 없음) 하나의 단어로 인지
○ 문장 내에서 순차적 인덱스 부여하기
- fit_on_texts(텍스트 문장) : 문장 내에서 단어들을 추출하여 순차적 인덱스 부여하기
tokenizer.fit_on_texts(questions + answers)
○ 단어별 부여된 인덱스 확인하기
#단어별 부여된 인덱스 확인하기
print("단어 개수 : ",len(tokenizer.word_index))
tokenizer.word_index단어 개수 : 74
{'가장': 1,
'좋아하는': 2,
...
'파리에요': 74}
▶ 단어에 인덱스 번호가 1번부터 부여됨
③ 질문 데이터 단어사전의 인덱스로 변환하기
○ 신경망에서 사용할 단어의 크기 설정 : 하나 더 크게 설정
vocab_size = len(tokenizer.word_index) + 1
vocab_size75
○ 질문에 대한 텍스트 문장을 단어사전의 인덱스로 변환하기
- texts_to_sequences(문장) : 질문에 대한 텍스트 문장을 단어사전의 인덱스번호로 변환하기
questions_sequences = tokenizer.texts_to_sequences(questions)
print(questions_sequences)
questions_sequences[[57, 15], [21], [58, 59, 60], [61, 62], [22, 23, 63], [24, 25], [26, 27, 15], [2, 4, 28], [29, 5, 6], [1, 2, 7, 3], [1, 8, 9, 10, 30], [11, 31, 32, 33], [2, 34, 35, 36], [1, 2, 12, 3], [1, 16, 17, 18, 19, 3] ....
④ 질문 데이터 단어의 길이를 통일시키는 정규화하기
- 잘라낼 max 길이 기준 : 문장들 중 최대 max 단어 길이 기준으로
- maxlen을 넣지 않으면 문장들의 길이가 가장 긴것을 기준으로 한다.
( 디폴트로 알아서 가장 긴 개수를 찾아낸다 )
- 채우기는 뒤쪽
questions_padded = pad_sequences(questions_sequences,
padding='post')
print(questions_padded)
questions_padded[[57 15 0 0 0 0] [21 0 0 0 0 0] [58 59 60 0 0 0] [61 62 0 0 0 0] [22 23 63 0 0 0] [24 25 0 0 0 0] [26 27 15 0 0 0] [ 2 4 28 0 0 0] [29 5 6 0 0 0] [ 1 2 7 3 0 0] [ 1 8 9 10 30 0] ....
⑤ 답변 데이터 단어사전의 인덱스로 변환하기 & 단어 길이 통일시키기
# 답변데이터
answer_sequences = tokenizer.texts_to_sequences(answers)
answers_padded = pad_sequences(answer_sequences)
print(answers_padded)[[64 65 66 13 0 0 0] [21 67 0 0 0 0 0] [68 69 70 0 0 0 0] [20 71 72 13 73 0 0] [22 23 74 0 0 0 0] [38 13 0 0 0 0 0] [39 40 0 0 0 0 0] [14 2 4 41 0 0 0] [ 5 42 43 6 0 0 0] ...
◇ 모델 처리
① 모델 생성 및 계층 추가
계층추가
- 단어 임베딩(입력계층으로 사용) : 출력 64
- simple RNN 사용 : 출력 128, 활성화함수 relu
- RepeatVector : 입력을 복제하는 전처리 계층
(텍스트에 대한 Encoder와 Decoder를 담당함)
- TimeDistributed : 각 타임별로 동일한 가중치를 적용하도록 처리
- 전체 시퀀스들의 이전/다음 인덱스 처리 값을 가지고 있다고 보면됨
- 예측에 주로 사용되는 계층
- 최종 출력 계층을 감싸고 있음
# 모델 생성하기
model = tf.keras.Sequential()
# 계층 추가하기
model.add(tf.keras.layers.Embedding(vocab_size, 64,
input_length = questions_padded.shape[1]))
model.add(tf.keras.layers.SimpleRNN(128,activation='relu'))
model.add(tf.keras.layers.RepeatVector(answers_padded.shape[1]))
model.add(tf.keras.layers.SimpleRNN(128,activation='relu',
return_sequences=True))
model.add(tf.keras.layers.TimeDistributed(tf.keras.layers.Dense(vocab_size,
activation='softmax')))model.summary()Model: "sequential_1"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
embedding_1 (Embedding) (None, 6, 64) 4800
simple_rnn_2 (SimpleRNN) (None, 128) 24704
repeat_vector_1 (RepeatVect (None, 7, 128) 0
or)
simple_rnn_3 (SimpleRNN) (None, 7, 128) 32896
time_distributed_1 (TimeDis (None, 7, 75) 9675
tributed)
=================================================================
Total params: 72,075
Trainable params: 72,075
Non-trainable params: 0
_________________________________________________________________
② 모델 설정
- 숫자값, 다중분류이기 때문에 sparse_categorical_crossentropy 적용
# 모델 설정
model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
③ 모델 훈련하기
model.fit(questions_padded,answers_padded,epochs=90,
batch_size=64,verbose = 1)Epoch 90/90
1/1 [==============================] - 0s 5ms/step - loss: 0.1117 - accuracy: 0.9767
▶ epoch = 100으로 두었을때 훈련 정확도가 1 이 나와서 90으로 재설정하였다.
◇ 질문/답변 테스트
① 새로운 질문 텍스트를 단어사전의 인덱스 번호로 변환하기
user_input = "안녕하세요"
# 새로운 질문 텍스트를 단어사전의 인덱스 번호로 변환하기
input_seq = tokenizer.texts_to_sequences([user_input])
input_seq[[21]]
② 단어의 길이를 훈련에서 사용한 길이로 통일시키기
padded_seq = pad_sequences(input_seq,padding='post',
maxlen=questions_padded.shape[1])
print(padded_seq)[[21 0 0 0 0 0]]
③ 예측하기 : 새로운 질문에 대한 답변 추출하기
pred = model.predict(padded_seq)
▶ len(pred[0]) = 7 , len(pred[0][0]) = 75
answers 문자열의 7개 단어 각각의 75개의 말뭉치에 대한 확률 나타남
④ 답변으로 가장 확률이 높은 값 추출하기
pred_index = tf.argmax(pred,axis=-1).numpy()[0]
len(pred_index), pred_index(7, array([21, 67, 0, 0, 0, 0, 0], dtype=int64))
⑤ 시퀀스에 해당하는 텍스트 추출하기
- 인덱스에 해당하는 실제 텍스트 추출하기
response = tokenizer.sequences_to_texts([pred_index])[0]
response'안녕하세요 반가워요'
○ 질문/답변 테스트해보기(2)
# 질문/답변 테스트
user_input = "너 이름이 뭐니?"
# 새로운 질문 텍스트를 단어사전의 인덱스 번호로 변환하기
input_seq = tokenizer.texts_to_sequences([user_input])
# 단어의 길이를 훈련에서 사용한 길이로 통일시키기(정규화)
padded_seq = pad_sequences(input_seq,padding='post',
maxlen=questions_padded.shape[1])
# 예측하기 : 새로운 질문에 대한 답변 추출하기
pred = model.predict(padded_seq)
# 답변으로 가장 확률이 높은 값 추출하기
pred_index = tf.argmax(pred,axis=-1).numpy()[0]
# 시퀀스에 해당하는 텍스트 추출하기
response = tokenizer.sequences_to_texts([pred_index])[0]
response'제 이름은 챗봇이에요'
◇ 질문/답변 무한반복 함수 생성 및 호출
○ 함수 생성
def get_Generate_Response(user_input):
# 새로운 질문 텍스트를 단어사전의 인덱스 번호로 변환하기
input_seq = tokenizer.texts_to_sequences([user_input])
# 단어의 길이를 훈련에서 사용한 길이로 통일시키기(정규화)
padded_seq = pad_sequences(input_seq,padding='post',
maxlen=questions_padded.shape[1])
# 예측하기 : 새로운 질문에 대한 답변 추출하기
pred = model.predict(padded_seq)
# 답변으로 가장 확률이 높은 값 추출하기
pred_index = tf.argmax(pred,axis=-1).numpy()[0]
# 시퀀스에 해당하는 텍스트 추출하기
response = tokenizer.sequences_to_texts([pred_index])[0]
return response
○ 함수 호출
while True:
user_input = input()
if user_input == "stop":
print("---------채팅 종료---------")
break
response = get_Generate_Response(user_input)
print(response)안녕하세요 반가워요
---------채팅 종료---------