PyTorch での LLM 微調整の高速化

LF Insider: PyTorch での LLM 微調整の高速化

大規模言語モデルのファインチューニングは、もはや単なる計算量の問題ではなく、効率性が重要になります。このコースでは、torchtune における torch.compile と Liger Kernel の強力な統合について考察します。これらの統合は、学習の高速化、メモリ使用量の削減、そして複雑な処理なしにバッチサイズのスケーリングを実現するように設計されています。このドロップインアップグレードがモデルワークフローをどのように変革するかを、実際のベンチマークと実践的な知見に基づき検証します。パフォーマンスの最適化でも、よりスマートなパイプラインの構築でも、このコースは、次のレベルのファインチューニングに必要なツールを提供します。

LF インサイダー または リソース のその他の無料コンテンツもご確認ください。限定マイクロラーニングのコンテンツ(毎週更新)へのアクセスについて、およびeラーニングやSkillCredへの無制限アクセスについては、 THRIVE-ONE 年間サブスクリプション をご覧ください。


Linux Foundationのトレーニングと認定に関心をお寄せいただきありがとうございます。私たちは、中国のトレーニングサイトからより良いサービスを提供できると考えています。このサイトにアクセスするには、以下をクリックしてください。

Linux Foundationのカルチャに対するフィードバックは、より適切に、中国のカルチャウェブサイトに反映されることを期待しています。