1. 算法原理：

       K-邻近算法的原理很简单，就是用你的“邻居”来推断出你的类别。用于离散型数据分析处理。

       例子1：如下图有ABCD四个用于参考的样本点，都已知晓自己的坐标位置，这时E来了，不清楚自己的位置，就分别计算出于ABCD个点的距离，发现和A最近，就认为与A的位置相同（既“类别“”相同）。

       例子2：看到好多教程用过的一个例子，如下图所示。根据样本出现的不同类别的镜头数量判断未知电影的属于什么类别，也是算出与各个样本的距离，然后做出判别。

     专业定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

     来源：KNN算法最早是由Cover和Hart提出的一种分类算法

 2. 距离计算，K值说明

     根据原理和定义，有两个陌生的词。

（1）距离计算公式

两个样本的距离可以通过如下公式计算，又叫欧式距离。相似的样本，特征之间的值应该都是相近的。

比如说，a(a1,a2,a3),b(b1,b2,b3)

（2）K的取值

所谓K值就是设置一个比较上限，就比如上面的例子2中，总共6个样本，如果K=1，即只参考距离最小的那个样本，这个样本为爱情片就预测成爱情片，如果K=3，就参考距离最低的三个值，发现100%都是爱情片，如果K=5，则发现爱情片占比60%，如果K=6，各占比50%，没法给结果了。所以K值不一定如例子1一样只为1，也可设成其他数用于给最终结果投票。

注：

如果K值取很小则容易受异常点影响，如果K值取很大则容易受样本k值数量（类别）波动。所以就有调参的过程了，选取一个合适的k值。

3. K-邻近算法的数据要求

      需要进行标准化，若不标准，数值大的特征将决定性的影响最终结果，标准化后，各个特征的权重比例均衡了。

4. K-邻近算法的优缺点

优点：简单，易于实现，无需估计参数，无需训练，结果固定，无迭代过程。

缺点：因为每次都要跟所有样本进行计算，计算量大，内存消耗大，且必须指定K值，K值选定不当则分类精度不能保证。

使用场景：小数据场景，因为缺点较多，大部分时候都不用。

5. 实例训练

# coding=utf-8from sklearn.neighbors import KNeighborsClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerimport pandas as pddef knncls():    """    K-邻近预测用户签到位置    :return: None    """    # 读取数据 数据来源：https://www.kaggle.com/c/facebook-v-predicting-check-ins/data    data = pd.read_csv("./train.csv")    # print(data.head(10))    # 处理数据    # 1、缩小数据，查询数据筛选    data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y > 7.5")    # 2、处理时间    time_value = pd.to_datetime(data["time"], unit="s")    # print(time_value)    # 构造特征    time_value = pd.DatetimeIndex(time_value)    data["day"] = time_value.day    data["hour"] = time_value.hour    data["weekday"] = time_value.weekday    # 把时间戳特征删除    data = data.drop(['time'], axis=1)    # print(data)    # 把签到数量少于n个目标位置删除    place_count = data.groupby('place_id').count()    # print(place_count)    tf = place_count[place_count.row_id > 3].reset_index()    # print(tf)    data = data[data['place_id'].isin(tf.place_id)]    data = data.drop(['row_id'], axis=1)    # print(data)    # 取出数据当中的特征值和目标值    y = data['place_id']    x = data.drop(['place_id'], axis=1)    # 进行数据的分割训练集和测试集    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)    # 特征工程（标准化）    std = StandardScaler()    # 对测试集和训练集的特征值标准化    x_train = std.fit_transform(x_train)    x_test = std.transform(x_test)    # 进行算法流程    knn = KNeighborsClassifier(n_neighbors=5)    knn.fit(x_train, y_train)    # 得出预测结果    y_predict = knn.predict(x_test)    print("预测的目标签到位置为：", y_predict)    print("预测的准确率：", knn.score(x_test, y_test))if __name__ == '__main__':    knncls()

 

 

 以上内容仅供相互学习，是作者根据学习教程做的笔记。