[사이킷런] Kneighborsclassier() (k-최근접 이웃 분류 모델)

k-최근접 이웃 알고리즘이란?
가장 간단한 머신러닝 분류 알고리즘으로 사실 어떤 규칙을 찾기보다
전체 데이터를 메모리에 가지고 있는 것이 전부임

• KneighborsClassifier() : k-최근접 이웃 알고리즘을 적용하기 위한 사이킷런 클래스
• fit() : 사이킷런 모델 훈련할 때 사용하는 메서드, 2차원 리스트를 전달해야 함
• score() : 사이킷런 모델 평가(정확도 = 정확히 맞춘 개수 / 전체 데이터 수) 메소드, 2차원 리스트를 전달해야 함
• predit() : 새로운 정답을 예측하는 메서드, 2차원 리스트를 전달해야 함
  
  

 

<도미, 빙어 생선을 분류하는 머신러닝>  

1. 데이터 준비하기

[In]

#특성 - 2개(length, weight)
#도미데이터 35개(bream_length, bream_weight)
bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0] bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0]
#빙어데이터 14개(smelt_length,smelt_weight)
smelt_length = [9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
smelt_weight = [6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]​

 

2. 산점도 그래프 그리기

[In]

plt.scatter(bream_length, bream_weight)
plt.scatter(smelt_length, smelt_weight)
plt.xlabel('length') plt.ylabel('weight')
plt.show()​

[Out]

 

3. 데이터 핸들링 및 훈련/테스트 데이터셋 구축

[In]

length = bream_length + smelt_length
weight = bream_weight + smelt_weight
#사이킷런은 2차원 리스트가 필요함
fish_data = [[l, w] for l, w in zip(length,weight)]
#도미를 찾으려고 하므로 도미 = 1, 빙어 = 0  / 도미 35개, 빙어 14개 
fish_target = [1] * 35 + [0] * 14
#파이썬 list → 넘파이 array로 변경
import numpy as np
input_arr = np.array(fish_data)
target_arr = np.array(fish_target)
print(input_arr)

[Out]

[[  25.4  242. ]
 [  26.3  290. ]
 [  26.5  340. ]
 [  29.   363. ]
 [  29.   430. ]
 [  29.7  450. ]
 [  29.7  500. ]
 [  30.   390. ]
 [  30.   450. ]
 [  30.7  500. ]
 [  31.   475. ]
 [  31.   500. ]
 [  31.5  500. ]
 [  32.   340. ]
 [  32.   600. ]
 [  32.   600. ]
 [  33.   700. ]
 [  33.   700. ]
 [  33.5  610. ]
 [  33.5  650. ]
 [  34.   575. ]
 [  34.   685. ]
 [  34.5  620. ]
 [  35.   680. ]
 [  35.   700. ]
 [  35.   725. ]
 [  35.   720. ]
 [  36.   714. ]
 [  36.   850. ]
 [  37.  1000. ]
 [  38.5  920. ]
 [  38.5  955. ]
 [  39.5  925. ]
 [  41.   975. ]
 [  41.   950. ]
 [   9.8    6.7]
 [  10.5    7.5]
 [  10.6    7. ]
 [  11.     9.7]
 [  11.2    9.8]
 [  11.3    8.7]
 [  11.8   10. ]
 [  11.8    9.9]
 [  12.     9.8]
 [  12.2   12.2]
 [  12.4   13.4]
 [  13.    12.2]
 [  14.3   19.7]
 [  15.    19.9]]

[In]

input_arr.ndim #차원 출력

[Out]

2

[In]

type(input_arr) #타입 출력

[Out]

numpy.ndarray

[In]

input_arr.shape #행,열

[Out]

(49, 2)

[In]

#훈련,타깃 데이터를 만들기 위해 input_arr를 랜덤으로 섞음
np.random.seed(42) 
index = np.arange(49)
np.random.shuffle(index)
print(index)

[Out]

[13 45 47 44 17 27 26 25 31 19 12  4 34  8  3  6 40 41 46 15  9 16 24 33
 30  0 43 32  5 29 11 36  1 21  2 37 35 23 39 10 22 18 48 20  7 42 14 28
 38]

[IN] 

#훈련데이터(입력, 타깃)
train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]
#테스트데이터(입력, 타깃)
test_input = input_arr[index[:35]]
test_target = target_arr[index[:35]]

import matplotlib.pyplot as plt
plt.scatter(train_input[:,0], train_input[:,1]) #train 파랑
plt.scatter(test_input[:,0], test_input[:,1]) #test 주황
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

[Out]

 

4. 머신러닝(분류 : k-최근접 이웃 알고리즘)

[In]

#k-최근접 이웃 알고리즘
from sklearn.neighbors import KNeighborsClassifier 
#KNeighborsClassifier의 객체를 만듦
#파라미터 n_neighbors의 기본값이 5로 되어 있고, 이는 가장 가까운 5개 값을 사용하는 k-최근접 이웃 모델임
kn = KNeighborsClassifier() 
#사이킷런 훈련 메소드 : fit(), 2차원 리스트를 전달해야 함
kn = kn.fit(train_input, train_target)
#사이킷런 모델 평가 메소드 : score(), 2차원 리스트를 전달해야 함
kn.score(test_input, test_target)​

#사이킷런 KNeighborsClassifier 클래스내 _fit_X와 _y속성에 각각 train 데이터셋의 target을 가지고 있음
print(kn._fit_X)
#train_input와 같음
print(kn._y)
#train_target과 같음

[Out]

1.0​

[In]

#새로운 정답을 예측하는 메서드, 2차원 리스트를 전달해야 함
kn.predict(test_input)

[Out]

array([0, 0, 1, 0, 1, 1, 1, 0, 1, 1, 0, 1, 1, 0])

[In]

test_target #실제값

[Out]

array([0, 0, 1, 0, 1, 1, 1, 0, 1, 1, 0, 1, 1, 0])

 

5. 구축한 머신러닝 모델로 새로운 데이터 예측하기

[In]

kn.predict([[30,600]])​

[Out]

array([1])
#도미(1) 입니다​

 

6. 매개변수 변경

• n_neighbors : 이웃의 개수를 지정하는 매개변수 *기본값 5
• p : 거리를 재는 방법 (1일 경우 맨해튼 거리, 2일 경우 유클리디안 거리, *기본값 2)
• n_jobs : 매개변수로 사용할 CPU 코어 수 지정(-1 모든 CPU코드 사용, *기본값 1) 
  ※ 내컴퓨터의 CPU 코어수 확인 : https://support.microsoft.com/ko-kr/windows/%ED%94%84%EB%A1%9C%EC%84%B8%EC%84%9C%EC%9D%98-%EC%BD%94%EC%96%B4-%EC%88%98-%ED%99%95%EC%9D%B8-3126ef99-0247-33b3-81fc-065e9fb0c35b

[In]

#KNeighborsClassifier의 매개변수를 기본값 5에서 35로 변경
kn35 = KNeighborsClassifier(n_neighbors=35)
kn35.fit(train_input, train_target)
kn35.score(test_input, test_target)​

[Out]

0.5714285714285714​

참조 : 혼자공부하는 머신러닝 +딥러닝(박해선, 한빛미디어)