Stable Diffusionのモデル学習、Loraにおけるオプティマイザーの説明。
optimizer_typeは、トレーニング時に使用する最適化アルゴリズムの種類を指定するパラメータです。ここで、optimizer_typeについて簡単に説明します。
AdamW:
AdamWは、一般的なAdam最適化アルゴリズムの亜種で、オーバーフィッティングを防ぐためにウェイト・ディケイ正則化が含まれています。
AdamW8bit:
AdamW8bitは、AdamWの亜種で、8ビット量子化を使用してメモリ使用量を削減し、低精度演算を行うハードウェアでのトレーニングを高速化します。
Lion:
Lionは、ディープニューラルネットワークの学習に適応的な学習率を使用する、勾配ベースのオプティマイザです。Google Brainによって開発され、大規模な分散システムでうまく動作するように設計されています。
SGDNesterov:
Stochastic Gradient Descent with Nesterov momentumは、人気のあるStochastic Gradient Descent最適化アルゴリズムの亜種で、運動量項の勾配に基づく追加項を組み込んでいます。これにより、収束を早め、最適化性能を向上させることができます。
SGDNesterov8bit:
SGDNesterov8bitはSGDNesterovの亜種で、8ビット量子化を使用してメモリ使用量を削減し、低精度演算を行うハードウェアでのトレーニングを加速させます。
DAdaptation:
DAdaptationは勾配ベースのオプティマイザで、学習セット内のデータ分布の変化を考慮し、学習中に学習率を動的に適応させます。
AdaFactor:
AdaFactorは適応型学習率オプティマイザで、因数分解された2次モーメント行列の新しいパラメータ化を用いて、Adamのような従来の2次モーメントアプローチよりも効率的な更新ルールを達成します。
