SIGNATEのHPO モジュールコンテストの表彰式を聞いた。
最近『Oputunaによるブラックボックス最適化』という書籍が出て少し気になっていた。
Optunaによるブラックボックス最適化
以前、NeurIPSでは、『Black-Box Optimization Challenge 2020』https://bbochallenge.com/が開催されている。
BBO Challenge は NeurIPS 2020 の併設コンペティションで、その名が示すようにブラックボックス最適化アルゴリズムの性能を競います。ブラックボックス最適化とは、ある関数の出力を最大化 (または最小化) するような入力を勾配情報などを使わずに探索する問題であり、Optuna が解く問題そのものでもあります。中でも今回の BBO Challenge は、機械学習のハイパーパラメータ最適化をテーマとしており、実際のデータセットに対する機械学習モデルの性能を最適化するものでした。
リーダーボードは、https://bbochallenge.com/leaderboard/
１位のHuawei Noah’s Ark Labの論文は、https://valohaichirpprod.blob.core.windows.net/papers/huawei.pdf
2位のNVIDIA RAPIDS.AIの論文は、https://valohaichirpprod.blob.core.windows.net/papers/nvidia.pdf
