代码收藏家技术教程 2024-12-20

Python中LightGBM库详解

文章目录

Python中LightGBM库详解

一、引言

二、LightGBM的安装与基本使用

1、安装LightGBM

2、基本用法

2.1、数据准备

2.2、模型训练

2.3、模型预测

三、高级功能

1、自定义损失函数

2、超参数调优

四、使用示例

五、总结

Python中LightGBM库详解

一、引言

LightGBM是由微软开发的一个梯度提升框架，它使用基于树的学习算法。相比于其他梯度提升库，如XGBoost，LightGBM在处理大型数据集时更加高效，并且支持并行与GPU加速。本文将详细介绍LightGBM的安装、基本用法以及一些高级功能。

二、LightGBM的安装与基本使用

1、安装LightGBM

在Python中安装LightGBM非常简单，可以通过pip命令直接安装：

pip install lightgbm

如果需要从国内的源进行安装以提高速度，可以使用以下命令：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple lightgbm

2、基本用法

2.1、数据准备

LightGBM支持多种数据格式，包括libsvm、tsv、csv等。我们可以使用Pandas或Numpy数组来创建数据集：

import lightgbm as lgb
import numpy as np

# 使用Numpy数组创建数据集
data = np.random.rand(500, 10)  # 500个样本，每个样本10个特征
label = np.random.randint(2, size=500)  # 二元目标变量，0和1
train_data = lgb.Dataset(data, label=label)

2.2、模型训练

使用LightGBM进行模型训练非常简单，只需要设置好参数并调用train函数即可：

params = {
    'objective': 'binary',
    'metric': 'auc',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'verbose': 0
}

gbm = lgb.train(params, train_data, num_boost_round=100)

2.3、模型预测

训练完成后，我们可以使用模型进行预测：

y_pred = gbm.predict(data)

三、高级功能

1、自定义损失函数

LightGBM允许用户自定义损失函数，这对于解决特定问题非常有用。以下是一个自定义Huber损失函数的示例：

def huber_loss(y_true, y_pred, delta=1.0):
    residual = y_true - y_pred
    absolute_residual = np.abs(residual)
    quadratic_part = np.minimum(absolute_residual, delta)
    linear_part = absolute_residual - quadratic_part
    return np.mean(0.5 * quadratic_part ** 2 + delta * linear_part)

params = {
    'objective': 'regression',
    'metric': 'custom',
    'custom_metric': 'huber',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'verbose': 0
}

bst = lgb.train(params, train_data, num_round=100, valid_sets=[test_data], early_stopping_rounds=10, feval=huber_loss)

2、超参数调优

LightGBM提供了调优超参数的功能，可以使用网格搜索（Grid Search）或随机搜索（Random Search）来搜索最佳的超参数组合：

from sklearn.model_selection import GridSearchCV

param_grid = {
    'num_leaves': [31, 50, 100],
    'learning_rate': [0.05, 0.1, 0.2],
    'subsample': [0.8, 1.0],
    'colsample_bytree': [0.8, 1.0],
}

grid_search = GridSearchCV(estimator=lgb.LGBMRegressor(), param_grid=param_grid, scoring='neg_mean_squared_error', cv=5, verbose=1)
grid_search.fit(X_train, y_train)

best_params = grid_search.best_params_
best_score = grid_search.best_score_

四、使用示例

下面是一个使用LightGBM进行二分类问题的完整示例：

import lightgbm as lgb
import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 生成模拟数据
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建LightGBM数据集
train_data = lgb.Dataset(X_train, label=y_train)
test_data = lgb.Dataset(X_test, label=y_test, reference=train_data)

# 设置参数
params = {
    'objective': 'binary',
    'metric': 'binary_logloss',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'feature_fraction': 0.9,
    'bagging_fraction': 0.8,
    'bagging_freq': 5,
    'verbose': 0
}

# 训练模型
gbm = lgb.train(params, train_data, num_boost_round=100, valid_sets=[test_data], early_stopping_rounds=10)

# 预测测试集
y_pred = gbm.predict(X_test, num_iteration=gbm.best_iteration)
y_pred_class = (y_pred > 0.5).astype(int)  # 二分类阈值

# 计算准确率
accuracy = accuracy_score(y_test, y_pred_class)
print(f'Accuracy: {accuracy:.4f}')

在这个示例中，我们首先生成了一个模拟的二分类数据集，然后使用LightGBM训练了一个模型，并在测试集上进行了预测和准确率计算。这个流程展示了LightGBM在实际问题中的应用，从数据准备到模型训练再到评估，整个过程简洁高效。