Yandex berbagi pengalaman praktis tentang bagaimana mereka belajar memprioritaskan lalu lintas ML di jaringan InfiniBand klaster GPU, sehingga tugas-tugas penting tidak "melambat" karena tugas tetangga.
Poin-poin kunci:
InfiniBand menggunakan Subnet Manager terpusat (OpenSM) yang mengelola pengalamatan, perutean, dan kebijakan QoS melalui kombinasi Service Level (SL) dan Virtual Lanes (VL).
QoS dibangun seperti ini: lalu lintas dari berbagai jenis "diwarnai" ke SL yang berbeda, yang dipetakan ke VL dengan prioritas dan bobot yang berbeda; dalam skema uji, SL1 mendapat 80% bandwidth, SL0 mendapat 20%.
Di klaster YATI, beberapa pelatihan dari pengguna yang berbeda berbagi satu pabrik InfiniBand, sehingga tanpa QoS, pelatihan besar dan kritis mudah "tenggelam" oleh tugas paralel.
Di klaster FatTree dengan HDR, mereka awalnya tidak melihat efeknya sampai mereka secara artifisial membuat oversubscription (menonaktifkan beberapa switch spine), setelah itu lalu lintas SL1 benar-benar mulai mendorong SL0 saat terjadi persaingan.
Di DragonFly+ lebih rumit: di sana perutean menggunakan VL yang berbeda untuk jalur langsung dan hop +1/+3 untuk menghindari credit loop deadlock di jaringan lossless, sehingga pemetaan SL→VL menjadi bagian dari Control Plane, dan jumlah "warna" yang tersedia sebenarnya berkurang.
Pada akhirnya, Yandex mengubah QoS menjadi mekanisme produk: penjadwal pelatihan menandai pelatihan besar (berdasarkan ambang GPU per klaster, yang dapat dikonfigurasi untuk setiap klaster) sebagai prioritas, agen di host mewarnai ulang lalu lintas mereka ke SL1, sisanya masuk ke SL0 — bahkan jika pengguna mencoba menetapkan SL mereka sendiri.
Selanjutnya, pendekatan yang sama direncanakan untuk digunakan dalam memisahkan pelatihan dan inferensi multi-host, memberikan prioritas pada inferensi real-time melalui jaringan.
QoS di InfiniBand bukan hanya "antrian di port", tetapi hubungan erat dengan topologi dan routing engine (terutama di DragonFly+), jika tidak, mudah untuk mendapatkan tidak ada efek atau risiko deadlock.
#yandex #infiniband #qos #gpu #ml #mlops #networking #dragonflyplus #cloud #infrastructure
Komentar
0Belum ada komentar.