LightGBM介紹 原理與實戰

2021-09-12 11:53:48 字數 1364 閱讀 5043

官網鏈結

中文**鏈結

微軟官方介紹

#先安裝cmake和gcc,安裝過的直接跳過前兩步

brew install cmake

brew install gcc

git clone --recursive

cd lightgbm

#在cmake之前有一步新增環境變數

export cxx=g++-8 cc=gcc-8

mkdir build ; cd build

cmake ..

make -j4

# 然後在python中安裝lightgbm

pip3 install --no-binary :all: lightgbm

上面是正確的步驟,

import lightgbm時可能會出現如下的bug:

oserror: dlopen(/usr/local/lib/python3.6/site-packages/lightgbm/lib_lightgbm.so, 6): library not loaded: /usr/local/opt/gcc/lib/gcc/7/libgomp.1.dylib

referenced from: /usr/local/lib/python3.6/site-packages/lightgbm/lib_lightgbm.so

reason: image not found

出現bug解決方案

/issues/1369

lightgbm (light gradient boosting machine)( )是乙個實現 gbdt 演算法的框架,支援高效率的並行訓練,並且具有以下優點:

在競賽題中,我們知道xgboost演算法非常熱門,它是一種優秀的拉動框架,但是在使用過程中,其訓練耗時很長,記憶體占用比較大。

在2023年年1月微軟在github的上開源了乙個新的公升壓工具–lightgbm。在不降低準確率的前提下,速度提公升了10倍左右,占用記憶體下降了3倍左右。因為他是基於決策樹演算法的,它採用最優的葉明智策略**葉子節點,然而其它的提公升演算法**樹一般採用的是深度方向或者水平明智而不是葉明智的。因此,在lightgbm演算法中,當增長到相同的葉子節點,葉明智演算法比水平-wise演算法減少更多的損失。因此導致更高的精度,而其他的任何已存在的提公升演算法都不能夠達。與此同時,它的速度也讓人感到震驚,這就是該演算法名字 燈 的原因。

2023年3月,xgboost最早作為研究專案,由陳天奇提出

2023年1月,微軟發布首個穩定版lightgbm

lightgbm安裝教程

LightGBM模型引入和原理介紹

如何減少資料量 常用的減少訓練資料量的方式是down sample。例如在 5 中,權重小於閾值的資料會被過濾掉,sgb在每一輪迭代中用隨機的子集訓練弱學習器 在 6 中,取樣率會在訓練過程中動態調整。但是,所有這些工作除了sgb外都是基於adaboost的,並且由於gbdt沒有資料例項的權重,所以...

Docker 介紹與實戰

解決如下問題 docker的架構介紹和基本使用 守護程序負責來與映象,倉庫和容器進行交流 docker的一些常用方法 1.執行daocloud.io nginx,由80埠對映在本地8080埠上 docker run p 8080 80 d daocloud.io nginx p 做埠對映,d 允許這...

webpack原理與實戰

webpack是乙個js打包工具,不乙個完整的前端構建工具。它的流行得益於模組化和單頁應用的流行。webpack提供擴充套件機制,在龐大的社群支援下各種場景基本它都可找到解決方案。本文的目的是教會你用webpack解決實戰中常見的問題。在深入實戰前先要知道webpack的執行原理 從啟動webpac...