Intel oneAPI Collective Communications Library (oneCCL)
oneCCL pozwala deweloperom na szybsze trenowanie nowych i głębszych modeli z użyciem schematów komunikacji na wielu węzłach obliczeniowych. Biblioteka jest zbudowana na podstawie niskopoziomowego oprogramowania pośredniczącego MPI oraz libfabric, bezpośrednio wspierającego wiele interkonektów, takich jak Intel Omni-Path, InfiniBand oraz Ethernet. Biblioteka jest zoptymalizowana na CPU i GPU oraz wspiera możliwość poświęcenia mocy obliczeniowych na rzecz wydajności komunikacji. Biblioteka zawiera wydajne implementacje kolektywów często używanych w trenowaniu sieci neuronowych: all-gather, all-reduce oraz reduce-scatter.
oneCCL wspiera schematy komunikacji:
oneCCL pozwala deweloperom na szybsze trenowanie nowych i głębszych modeli z użyciem schematów komunikacji na wielu węzłach obliczeniowych. Biblioteka jest zbudowana na podstawie niskopoziomowego oprogramowania pośredniczącego MPI oraz libfabric, bezpośrednio wspierającego wiele interkonektów, takich jak Intel Omni-Path, InfiniBand oraz Ethernet. Biblioteka jest zoptymalizowana na CPU i GPU oraz wspiera możliwość poświęcenia mocy obliczeniowych na rzecz wydajności komunikacji. Biblioteka zawiera wydajne implementacje kolektywów często używanych w trenowaniu sieci neuronowych: all-gather, all-reduce oraz reduce-scatter.
oneCCL wspiera schematy komunikacji:
- allgatherv
- allreduce
- alltoallv
- broadcast
- reduce
- reduce_scatter