[사이킷런] Kneighborsclassier() (k-최근접 이웃 분류 모델) - 데이터스케일링 적용

<도미, 빙어 생선을 분류하는 머신러닝>  

1. 데이터 준비하기

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0,
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0,
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8,
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0,
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0,
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7,
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

 

2. 데이터핸들링

[In]

import numpy as np

#np.column_stack 함수: 리스트를 세로로 일렬로 세운 후 짝을 지어 붙임 -> 파이썬 튜플로 전달
fish_data = np.column_stack((fish_length, fish_weight))
print(type(fish_data))
print(fish_data.shape)
print(fish_data.ndim)
print(fish_data[:5])​

[Out]

<class 'numpy.ndarray'>
(49, 2)
2
[[ 25.4 242. ]
 [ 26.3 290. ]
 [ 26.5 340. ]
 [ 29.  363. ]
 [ 29.  430. ]]​

[In]

fish_target = np.concatenate((np.ones(35), np.zeros(14)))
print(fish_target)

[Out]

[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1.
 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
 0.]

 

3. 훈련/테스트 데이터 세트 구축

[In]

from sklearn.model_selection import train_test_split
#기본값 : test_size = 25, 75% train set, 25% test set
#stratify : 비율에 맞게 데이터를 나눕니다. 데이터가 적기 때문에 이것을 씀
train_input, test_input, train_target, test_target = train_test_split(fish_data, fish_target, stratify=fish_target, random_state = 42) 
print(train_input.shape, test_input.shape)
print(train_target.shape, test_target.shape)​

[Out]

(36, 2) (13, 2)
(36,) (13,)​

 

4. 머신러닝 모델링 - 데이터스케일링 적용전

[In]

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(train_input, train_target)
kn.score(test_input, test_target)
print(kn.predict([[25, 150]]))​​

[Out]

1.0 #예측도 100%
[0.] # 빙어라고 예측함

[In]

import matplotlib.pyplot as plt
plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker = '^')
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

[Out]

[In]

#[25, 150]에 해당하는 5개에 대한 index와 거리를 출력
distances, indexes = kn.kneighbors([[25, 150]])
print(distances, indexes)

[Out]

[[ 92.00086956 130.48375378 130.73859415 138.32150953 138.39320793]] [[21 33 19 30  1]]

[In]

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker = '^')
plt.scatter(train_input[indexes,0], train_input[indexes,1], marker='D') #주변 5개 default값
plt.xlabel('length')
plt.ylabel('weight')
plt.show()​

[Out]

[In]

print(train_input[indexes])
print(train_target[indexes])
print(distances)​

[Out]

[[[ 25.4 242. ]
  [ 15.   19.9]
  [ 14.3  19.7]
  [ 13.   12.2]
  [ 12.2  12.2]]]  
[[1. 0. 0. 0. 0.]] 
[[ 92.00086956 130.48375378 130.73859415 138.32150953 138.39320793]]​

 

 

4. 데이터 스케일링 - 정규화

[In]

#정규화 스케일링 
mean = np.mean(train_input, axis=0) 
std = np.std(train_input, axis=0) 
train_scaled = (train_input - mean) / std 
test_scaled = (test_input - mean) / std
#확인한고 싶은 새로운 데이터 정규화 
new = ([25,150] - mean) / std 
plt.scatter(train_scaled[:,0], train_scaled[:,1]) 
plt.scatter(new[0], new[1], marker = '^') 
plt.xlabel('length') 
plt.ylabel('weight') 
plt.show()​

[Out]

 

5. 머신러닝 모델 - 데이터스케일링 적용후

[In]

kn.fit(train_scaled, train_target) 
kn.score(test_scaled, test_target) 
print(kn.predict([new])) #[1.] : 도미입니다 
distances, indexes = kn.kneighbors([new]) 
plt.scatter(train_scaled[:,0], train_scaled[:,1]) 
plt.scatter(new[0], new[1], marker = '^') 
plt.scatter(train_scaled[indexes,0], train_scaled[indexes,1], marker ='D') 
plt.xlabel('length') 
plt.ylabel('weight') 
plt.show()​

[Out]

참조 : 혼자공부하는 머신러닝 +딥러닝(박해선, 한빛미디어)