代码收藏家 机器学习实验——回归预测算法
一、目的和要求
1、理解监督学习和回归预测的基本概念。
2、掌握回归预测五种算法的算法流程。
3、学会编写回归预测五种算法的Python编程方法。
4、会使用回归预测评价方法测评不同的算法性能
二、设备或环境
个人电脑、Anaconda2、Python2.7.10和网络
三、实验步骤
1、设计算法步骤和流程
2、根据算法编写Python程序
3、运行机器学习算法程序并调试
四、内容
针对美国波士顿地区房价数据预测问题，设计不同的回归模型进行预测。
（一）：线性回归器
1、写出本例中所用数据的数据描述
该数据共有506条美国波士顿地区房价的数据，每条数据包括对指定房屋的13项数值型特征描述和目标房价。
2、运行Chapter_2.1.2 粘贴线性回归器相关的实验结果，并分别对每一个结果做出解释
数据描述
数据分割：
数据标准化处理：
使用线性回归模型进行房价预测：
使用回归评价机制对模型的回归性能做出评价：
3、在代码中添加查看数据规模和特征维度的语句，粘贴结果。
数据规模506 特征维度13
4、在代码中添加语句用于查看原始数据，粘贴结果。
5 、对训练集和测试集的目标值标准化之后，添加代码查看标准化之后的y_train和y_test，对比数据标准化之后数据有什么变化？
标准化之前：
标准化之后：
数据标准化后将原来的数据进行重新调整，使他们具有标准正态分布的属性
（二）：支持向量机
1运行Chapter_2.1.2 粘贴支持向量机相关的实验结果、并分别对每一个结果做出解释
2 说明支持向量机中核函数的作用
答：可以通过配置不同的核函数来改变模型性能，通过某种函数计算，将原有的特征映射到更高维度的空间，从而尽可能达到新的高维度特征线性可分的程度。
3说明本例中使用的三种核函数(linear’, ‘poly’, ‘rbf’)，分析这三种核函数对结果的准确率的影响。
答：liner是最准确的
linear：线性核函数,是在数据线性可分的情况下使用的，运算速度快，效果好。不足在于它不能处理线性不可分的数据。
poly：多项式核函数,多项式核函数可以将数据从低维空间映射到高维空间，但参数比较多，计算量大。
rbf：高斯核函数（默认）,高斯核函数同样可以将样本映射到高维空间，但相比于多项式核函数来说所需的参数比较少，通常性能不错，所以是默认使用的核函数。
（三）：K近邻回归
1运行Chapter_2.1.2 粘贴K近邻回归相关的实验结果、并分别对每一个结果做出解释
2 说明KNeighborsRegressor函数的作用和各参数的含义
作用：用于实现k近邻算法的分类器
n_neighbors：默认情况下kneighbors查询使用的邻居数。就是k的值，选取最近的k个点。
Weights：默认是uniform，参数可以是uniform、distance，也可以是用户自己定义的函数。uniform是均等的权重，就说所有的邻近点的权重都是相等的。distance是不均等的权重，距离近的点比距离远的点的影响大。用户自定义的函数，接收距离的数组，返回一组维数相同的权重。
3在程序中修改KNeighborsRegressor函数的两个参数，观察和记录模型的R_squred、MSE、MAE的变化，找到最优的参数并记录。
（四）：回归树与集成模型
1运行Chapter_2.1.2 粘贴回归树和三种集成模型相关的实验结果、并分别对每一个结果做出解释
回归树：
集成回归：
2 通过分析Chapter_2.1.2所有算法的性能指标，说明不同算法对波士顿房价预测的性能差异。
答：使用非线性回归树模型，特别是集成模型，能够取得更高的性能表现
五、实验结果与分析
六、调试和运行程序过程中产生的问题及采取的措施
七、思考题
1、简述sklearn库中计算R_squared的两种函数方法及其使用。
答：使用LinearRegression模型自带的评估模块，使用SGDRegressor模型自带的评估模块
2、简述sklearn库中class sklearn.svm.SVR（）的含义，并说明其核函数的种类和使用方法。
答：SVR非线性回归，linear：线性核函数,是在数据线性可分的情况下使用的，运算速度快，效果好。不足在于它不能处理线性不可分的数据。
poly：多项式核函数,多项式核函数可以将数据从低维空间映射到高维空间，但参数比较多，计算量大。
rbf：高斯核函数（默认）,高斯核函数同样可以将样本映射到高维空间，但相比于多项式核函数来说所需的参数比较少，通常性能不错，所以是默认使用的核函数。
使用kernel调用和函数，kernel: str参数 默认为‘rbf’
算法中采用的核函数类型，可选参数有：
‘linear’:线性核函数
‘poly’：多项式核函数
‘rbf’：径像核函数/高斯核
‘sigmod’:sigmod核函数
‘precomputed’:核矩阵
precomputed表示自己提前计算好核函数矩阵，这时候算法内部就不再用核函数去计算核矩阵，而是直接用你给的核矩阵。
