A Yandex compartilhou sua experiência prática em como aprenderam a priorizar o tráfego de ML em redes InfiniBand de clusters GPU, para que tarefas importantes não sofressem degradação de velocidade devido a execuções vizinhas.
Pontos-chave:
InfiniBand usa um Subnet Manager centralizado (OpenSM), que gerencia endereçamento, roteamento e políticas de QoS através da combinação de Service Level (SL) e Virtual Lanes (VL).
O QoS é construído assim: o tráfego de diferentes tipos é "colorido" em diferentes SLs, que são mapeados em VLs com diferentes prioridades e pesos; no esquema de teste, SL1 recebe 80% da largura de banda, SL0 recebe 20%.
Nos clusters YATI, vários treinamentos de diferentes usuários compartilham uma mesma fábrica InfiniBand, portanto, sem QoS, treinamentos grandes e críticos são facilmente "afogados" por tarefas paralelas.
Em um cluster FatTree com HDR, inicialmente não viram efeito até criarem artificialmente uma super-subscrição (desligando parte dos switches spine), após o que o tráfego SL1 realmente começou a pressionar o SL0 em caso de concorrência.
No DragonFly+ é mais complexo: lá o roteamento usa diferentes VLs para caminho direto e +1/+3 hops, para evitar credit loop deadlock em rede lossless, portanto o mapeamento SL→VL se torna parte do Control Plane, e o número disponível de "cores" é efetivamente reduzido.
No final, a Yandex transformou QoS em um mecanismo de produto: o agendador de treinamento marca treinamentos grandes (por limite de GPU por cluster, configurável para cada cluster) como prioritários, o agente no host recoloriza o tráfego deles para SL1, os demais vão para SL0 — mesmo que o usuário tenha tentado definir seus próprios SLs.
Em seguida, planejam usar a mesma abordagem para separar treinamento e inferência multi-host, dando prioridade à inferência em tempo real na rede.
QoS em InfiniBand não é apenas "filas na porta", mas uma estreita ligação com a topologia e o mecanismo de roteamento (especialmente no DragonFly+), caso contrário, é fácil obter ausência de efeito ou risco de deadlocks.
#yandex #infiniband #qos #gpu #ml #mlops #networking #dragonflyplus #cloud #infrastructure
Comentários
0Ainda não há comentários.