Horovod¶
Wprowadzenie¶
Horovod to stworzony przez Uber, a obecnie utrzymywany przez Linux Foundation, framework do treningu rozproszonego. Głównym celem projektu jest przyspieszenie procesu treningu modeli oraz zmniejszenie zużycia pamięci akceleratorów.
Dostępność¶
Horovod rozpowszechniany jest jako pakiet dla języka Python dostępny w systemach operacyjnych Linux oraz MacOS. Współpracuje z popularnymi frameworkami AI takimi jak Pytorch, Tensorflow czy Lightning. Wspiera trening z wykorzystaniem akceleratorów GPU. Instalacja możliwa jest przy użyciu popularnych menadżerów oprogramowania, takich jak pip czy conda. Do korzystania z Horovod wymagany jest Python w wersji 3.6 lub wyższej, kompilator C++ zgodny z C++14 oraz CMake w minimalnej wersji 3.13. Dodatkowe informacje dotyczące instalacji dostępne są na stronie projektu.
Szczegóły¶
Horovod wprowadził jedną z pierwszych szeroko dostępnych strategii treningu rozproszonego. Główną zaletą Horovod, w porównaniu do innych podobnych rozwiązań, jest uproszczenie konfiguracji treningu na wielu urządzeniach niezależnie od stosowanego frameworka AI.
Informacje o wydaniu¶
Obecna wersja to 0.28.1, wydana w czerwcu 2023 roku. Projekt jest regularnie rozwijany, aktualizacje pojawiają się kilka razy w roku.