ACADSTAFF UGM

CREATION
Title : Bayesian Optimization Hyperband untuk Menentukan Hyperparameter Algoritma Gradient Boosting Decision Tree
Author :
Date : 0 2022
Abstract : Hyperparameter sangat mempengaruhi performa algoritma pembelajaran mesin. Untuk mendapatkan nilai hyperparameter yang optimal maka perlu menggunakan metode Hyperparameter Optimization (HPO). Salah satu contoh metode HPO adalah Bayesian Optimization Hyperband (BOHB). Performa BOHB sebagai metode HPO cukup menjanjikan dan merupakan metode state-of-the-art untuk HPO pada beberapa algoritma pembelajaran mesin seperti SVM, feed-forward neural network, Bayesian neural networks, dan CNN. Gradient Boosting Decision Tree (GBDT) adalah algoritma pembelajaran mesin yang memiliki performa yang baik pada banyak aplikasi. BOHB belum pernah diimplementasikan pada gradient boosting. Penelitian ini akan mengimplementasikan metode BOHB untuk menentukan hyperparameter optimal dari beberapa algoritma gradient boosting dengan weak learner decision tree, yaitu XGBoost, LightGBM, dan CatBoost. Kinerja metode BOHB yang diusulkan akan dievaluasi menggunakan tiga buah dataset binary classification, dengan metrik nilai validation loss berupa log-loss. Sebagai pembanding dari BOHB akan diimplementasikan metode HPO lain, yaitu grid search, random search, dan Bayesian Optimization (BO). Perbandingan nilai validation loss dari tiap algoritma GBDT dengan metode HPO yang berbeda akan menunjukkan apakah BOHB juga memiliki performa yang baik ketika diimplementasikan pada GBDT dibandingkan metode HPO yang lain.
Group of Knowledge : Ilmu Komputer
Original Language : Bahasa Indonesia
Level : Nasional
Status :
Document
No Title Document Type Action