Yandex, GPU kümelerinin InfiniBand ağlarında ML trafiğini önceliklendirmeyi, önemli görevlerin komşu çalıştırmalar nedeniyle hız kaybetmemesini nasıl sağladıklarını pratik deneyimlerle paylaştı.
Ana Noktalar:
InfiniBand, Service Level (SL) ve Virtual Lanes (VL) kombinasyonu aracılığıyla adresleme, yönlendirme ve QoS politikalarını yöneten merkezi bir Subnet Manager (OpenSM) kullanır.
QoS şu şekilde çalışır: farklı türdeki trafik, farklı SL'lere "boyanır" ve bunlar farklı öncelik ve ağırlıklara sahip VL'lere eşlenir; test şemasında SL1 bant genişliğinin %80'ini, SL0 ise %20'sini alır.
YATI kümelerinde, farklı kullanıcıların birden çok eğitimi aynı InfiniBand yapısını paylaşır, bu nedenle QoS olmadan büyük ve kritik eğitimler paralel görevler tarafından kolayca "boğulur".
HDR ile FatTree kümesinde, yapay olarak aşırı abonelik oluşturana (bazı spine anahtarları devre dışı bırakarak) kadar bir etki görmediler, ardından SL1 trafiği rekabet halinde SL0'ı gerçekten sıkıştırmaya başladı.
DragonFly+'da durum daha karmaşıktır: yönlendirme, kayıpsız ağda credit loop deadlock'ını önlemek için doğrudan yol ve +1/+3 atlama için farklı VL'ler kullanır, bu nedenle SL→VL eşlemesi Control Plane'in bir parçası haline gelir ve kullanılabilir "renk" sayısı fiilen azalır.
Sonuç olarak Yandex, QoS'u ürünsel bir mekanizmaya dönüştürdü: eğitim zamanlayıcısı, büyük eğitimleri (küme başına yapılandırılabilir GPU eşiğine göre) öncelikli olarak işaretler, ana bilgisayardaki aracı trafiklerini SL1'e yeniden boyar, geri kalanı SL0'a gider - kullanıcı kendi SL'lerini ayarlamaya çalışsa bile.
Daha sonra aynı yaklaşımı, eğitim ve çoklu ana bilgisayar çıkarımını ayırmak için kullanmayı planlıyorlar ve ağ üzerinden gerçek zamanlı çıkarıma öncelik veriyorlar.
InfiniBand'de QoS, yalnızca "bağlantı noktasındaki kuyruklar" değil, topoloji ve yönlendirme motoruyla (özellikle DragonFly+'da) sıkı bir bağlantıdır, aksi takdirde ya etkisizlik ya da deadlock riski kolayca ortaya çıkabilir.
#yandex #infiniband #qos #gpu #ml #mlops #networking #dragonflyplus #cloud #infrastructure
Yorumlar
0Henüz yorum yok.