在python 中使用支持向量机

  • 三、在python中使用SVM
  • 3.1 scikit-learn库
  • 3.2 SVM在scikit-learn库中的使用
  • 3.2.1 svm.SVC
  • 3.2.2 datasets
  • 3.3 应用实例
  • 三、在python中使用SVM

    参考 OraYang 支持向量机(SVM)的分析及python实现

    3.1 scikit-learn库

      Scikit-learn(sklearn)是一个开源项目,可以免费使用和分发,任何人都可以轻松获取其源代码来查看其背后的原理。Scikit-learn项目正在不断地开发和改进中,它的用户社区非常活跃。它包含许多目前最先进的机器学习算法,每个算法都有详细的文档 (http:// scikit-learn.org/stable/documentation
      scikit-learn是一个非常流行的工具,也是最有名的 Python机器学习库。它广泛应用于工业界和学术界,网上有大量的教程和代码片段。而SVM也可以在scikit-learn库中选择使用。

    3.2 SVM在scikit-learn库中的使用

    3.2.1 svm.SVC

    # Create SVM classification object
    sklearn.svm.SVC(C=1.0, kernel='rbf', degree=3, gamma='auto', coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, decision_function_shape=None,random_state=None)
    

    参数:

    C

      C-SVC的惩罚参数C,默认值是1.0。即下图中C权重

      C越大,相当于惩罚松弛变量,希望松弛变量接近0,即对误分类的惩罚增大,趋向于对训练集全分对的情况,这样对训练集测试时准确率很高,但泛化能力弱。C值小,对误分类的惩罚减小,允许容错,将他们当成噪声点,泛化能力较强。

    kernel

      核函数,默认是rbf,可以是‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’
    – 线性:u’v
    – 多项式:(gamma*u’v + coef0)^degree
    – RBF函数:exp(-gamma|u-v|^2)
    – sigmoid:tanh(gammau’*v + coef0)

    degree

      多项式poly函数的维度,默认是3,选择其他核函数时会被忽略。

    gamma

      ‘rbf’,‘poly’ 和‘sigmoid’的核函数参数。默认是’auto’,则会选择1/n_features

    coef0

      核函数的常数项。对于‘poly’和 ‘sigmoid’有用。

    probability

      是否采用概率估计。默认为False,布尔类型可选。
      决定是否启用概率估计。需要在训练fit()模型时加上这个参数,之后才能用相关的方法:predict_proba和predict_log_proba

    shrinking

      是否采用shrinking heuristic方法(启发式收缩),默认为true

    tol

      停止训练的误差值大小,默认为1e-3

    cache_size

      核函数cache缓存大小,默认为200

    class_weigh

      t类别的权重,字典形式传递。设置第几类的参数C为weight*C(C-SVC中的C)

    verbose

      允许冗余输出

    max_iter

      最大迭代次数。-1为无限制。

    decision_function_shape

      ‘ovo’, ‘ovr’ or None, default=None3

    random_state

      数据洗牌时的种子值,int值

      主要调节的参数有:C、kernel、degree、gamma、coef0

    方法:
      fit(X, y):训练模型。
      predict(X):用模型进行预测,返回预测值。
      score(X, y[, sample_weight]):返回在(X, y)上预测的准确率(accuracy)。
      predict_log_proba(X): 返回一个数组,数组的元素依次是X预测为各个类别的概率的对数值。
      predict_proba(X): 返回一个数组,数组的元素依次是X预测为各个类别的概率值。

    3.2.2 datasets

      datasets有很多有用的、可以用来训练算法模型的数据库。主要有两种:
    1.封装好的经典数据。在代码中以“load”开头。
    2.自己设计参数,然后生成的数据。在代码中以“make”开头。
    (一) 波士顿房价
      统计了波士顿506处房屋的13种不同特征( 包含城镇犯罪率、一氧化氮浓度、住宅平均房间数、到中心区域的加权距离以及自住房平均房价等 )以及房屋的价格,适用于回归任务。

    boston = datasets.load_boston()  # 导入波士顿房价数据
    

    (二) 鸢尾花
      这个数据集包含了150个鸢尾花样本,对应3种鸢尾花,各50个样本,以及它们各自对应的4种关于花外形的数据 ,适用于分类任务。

    iris = datasets.load_iris()  # 导入鸢尾花数据
    

    (三) 糖尿病
      主要包括442个实例,每个实例10个属性值,分别是:Age(年龄)、性别(Sex)、Body mass index(体质指数)、Average Blood Pressure(平均血压)、S1~S6一年后疾病级数指标,Target为一年后患疾病的定量指标, 适用于回归任务。

    diabetes = datasets.load_diabetes()  # 导入糖尿病数据
    

    (四) 手写数字
      共有1797个样本,每个样本有64个元素,对应到一个8×8像素点组成的矩阵,每一个值是其灰度值, target值是0-9,适用于分类任务。

    digits = datasets.load_digits()  # 导入手写数字数据
    

    3.3 应用实例

    import numpy as np
    import matplotlib.pyplot as plt
    from sklearn import svm, datasets
    # 引用 iris 数据集
    iris = datasets.load_iris()
    X = iris.data[:, :2] # 选取前两列作为X参数
    y = iris.target # 采集标签作为y参数
    C = 1.0 # SVM regularization parameter
    
    # 将所得参数进行模型训练
    svc = svm.SVC(kernel='linear', C=1, gamma='auto').fit(X, y)
    # 建图
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    h = (x_max / x_min)/100
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
     np.arange(y_min, y_max, h))
    plt.subplot(1, 1, 1) # 将显示界面分割成1*1 图形标号为1的网格
    Z = svc.predict(np.c_[xx.ravel(), yy.ravel()]) # np.c按行连接两个矩阵,但变量为两个数组,按列连接
    Z = Z.reshape(xx.shape)# 重新构造行列
    plt.contourf(xx, yy, Z, cmap=plt.cm.Paired, alpha=0.8)# 绘制等高线
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Paired) # 生成一个scatter散点图。
    plt.xlabel('Sepal length') # x轴标签
    plt.ylabel('Sepal width') # y轴标签
    plt.xlim(xx.min(), xx.max()) # 设置x轴的数值显示范围
    plt.title('SVC with linear kernel') # 设置显示图像的名称
    plt.savefig('./test1.png') #存储图像
    plt.show() # 显示
    

    test1.png如图所示

    来源:Messiah___

    物联沃分享整理
    物联沃-IOTWORD物联网 » 在python中使用SVM

    发表评论