InfiniBand - InfiniBand
Formação | 1999 |
---|---|
Modelo | Grupo de comércio da indústria |
Propósito | Promovendo InfiniBand |
Quartel general | Beaverton, Oregon , EUA |
Local na rede Internet | www |
InfiniBand ( IB ) é um padrão de comunicação de rede de computador usado em computação de alto desempenho que apresenta um rendimento muito alto e latência muito baixa . Ele é usado para interconexão de dados entre e dentro de computadores. O InfiniBand também é usado como uma interconexão direta ou comutada entre servidores e sistemas de armazenamento, bem como uma interconexão entre sistemas de armazenamento. Ele é projetado para ser escalonável e usa uma topologia de rede de malha comutada . Em 2014, era a interconexão mais comumente usada na lista TOP500 de supercomputadores, até cerca de 2016.
A Mellanox (adquirida pela Nvidia ) fabrica adaptadores de barramento de host InfiniBand e switches de rede , que são usados por grandes fornecedores de sistemas de computador e banco de dados em suas linhas de produtos. Como uma interconexão de cluster de computador, o IB compete com Ethernet , Fibre Channel e Intel Omni-Path . A tecnologia é promovida pela InfiniBand Trade Association .
História
A InfiniBand se originou em 1999 da fusão de dois designs concorrentes: Future I / O e Next Generation I / O (NGIO). NGIO era liderado pela Intel , com uma especificação lançada em 1998, e juntou-se a Sun Microsystems e Dell . A E / S futura foi apoiada pela Compaq , IBM e Hewlett-Packard . Isso levou à formação da InfiniBand Trade Association (IBTA), que incluía conjuntos de fornecedores de hardware e fornecedores de software, como a Microsoft . Na época, pensava-se que alguns dos computadores mais poderosos estavam se aproximando do gargalo de interconexão do barramento PCI , apesar de atualizações como o PCI-X . A versão 1.0 da InfiniBand Architecture Specification foi lançada em 2000. Inicialmente, a visão IBTA para IB era simultaneamente uma substituição para PCI em I / O, Ethernet na sala de máquinas , interconexão de cluster e Fibre Channel . O IBTA também previu a decomposição do hardware do servidor em uma malha IB .
A Mellanox foi fundada em 1999 para desenvolver a tecnologia NGIO, mas em 2001 despachou uma linha de produtos InfiniBand chamada InfiniBridge a velocidades de 10 Gbit / segundo. Após o estouro da bolha das pontocom, houve hesitação na indústria em investir em um salto de tecnologia de tão longo alcance. Em 2002, a Intel anunciou que em vez de distribuir circuitos integrados IB ("chips"), ela se concentraria no desenvolvimento de PCI Express , e a Microsoft descontinuou o desenvolvimento de IB em favor de estender a Ethernet. A Sun e a Hitachi continuaram a oferecer suporte ao IB.
Em 2003, o supercomputador System X construído na Virginia Tech usava o InfiniBand no que se estimava ser o terceiro maior computador do mundo na época. A OpenIB Alliance (mais tarde renomeada OpenFabrics Alliance) foi fundada em 2004 para desenvolver um conjunto aberto de software para o kernel Linux . Em fevereiro de 2005, o suporte foi aceito no kernel Linux 2.6.11. Em novembro de 2005, os dispositivos de armazenamento foram finalmente lançados usando o InfiniBand de fornecedores como Engenio.
Dos 500 maiores supercomputadores em 2009, Gigabit Ethernet foi a tecnologia de interconexão interna em 259 instalações, em comparação com 181 usando InfiniBand. Em 2010, os líderes de mercado Mellanox e Voltaire se fundiram, deixando apenas um outro fornecedor de IB, QLogic , principalmente um fornecedor de Fibre Channel . Na Conferência Internacional de Supercomputação de 2011 , links rodando a cerca de 56 gigabits por segundo (conhecidos como FDR, veja abaixo) foram anunciados e demonstrados conectando estandes na feira. Em 2012, a Intel adquiriu a tecnologia InfiniBand da QLogic, deixando apenas um fornecedor independente.
Em 2014, o InfiniBand era a tecnologia de conexão interna mais popular para supercomputadores, embora em dois anos, a Ethernet 10 Gigabit começou a substituí-la. Em 2016, foi relatado que a Oracle Corporation (investidora da Mellanox) poderia projetar seu próprio hardware InfiniBand. Em 2019, a Nvidia adquiriu a Mellanox, o último fornecedor independente de produtos InfiniBand.
Especificação
As especificações são publicadas pela associação comercial InfiniBand.
atuação
Os nomes originais das velocidades foram taxa de dados única (SDR), taxa de dados dupla (DDR) e taxa de dados quádrupla (QDR) conforme fornecido abaixo. Posteriormente, outras siglas de três letras foram adicionadas para taxas de dados ainda mais altas.
SDR | DDR | QDR | FDR10 | FDR | EDR | HDR | NDR | XDR | ||
---|---|---|---|---|---|---|---|---|---|---|
Taxa de sinalização (Gbit / s) | 2,5 | 5 | 10 | 10,3125 | 14.0625 | 25,78125 | 50 | 100 | 250 | |
Taxa de transferência efetiva teórica ( Gb / s ) |
para | 1 link2 | 4 | 8 | 10 | 13,64 | 25 | 50 | 100 | 250 |
para | 4 links8 | 16 | 32 | 40 | 54,54 | 100 | 200 | 400 | 1000 | |
para | 8 links16 | 32 | 64 | 80 | 109,08 | 200 | 400 | 800 | 2000 | |
para 12 links | 24 | 48 | 96 | 120 | 163,64 | 300 | 600 | 1200 | 3000 | |
Codificação ( bits ) | 8b / 10b | 64b / 66b | PAM4 | tbd | ||||||
Latência do adaptador ( µs ) | 5 | 2,5 | 1,3 | 0,7 | 0,7 | 0,5 | menos? | tbd | tbd | |
Ano | 2001, 2003 | 2005 | 2007 | 2011 | 2011 | 2014 | 2018 | 2021 | depois de 2023? |
Os links podem ser agregados: a maioria dos sistemas usa um agregado 4 ×. Os links 8 × e 12 × são normalmente usados para cluster de computador e interconexões de supercomputador e para conexões entre switches .
O InfiniBand fornece recursos de acesso remoto direto à memória (RDMA) para reduzir a sobrecarga da CPU.
Topologia
O InfiniBand usa uma topologia de malha comutada , em oposição à Ethernet de meio compartilhado anterior . Todas as transmissões começam ou terminam em um adaptador de canal. Cada processador contém um adaptador de canal de host (HCA) e cada periférico tem um adaptador de canal de destino (TCA). Esses adaptadores também podem trocar informações para segurança ou qualidade de serviço (QoS).
Mensagens
O InfiniBand transmite dados em pacotes de até 4 KB que são reunidos para formar uma mensagem. Uma mensagem pode ser:
- um acesso remoto direto à memória de leitura ou gravação
- um canal envia ou recebe
- uma operação baseada em transação (que pode ser revertida)
- uma transmissão multicast
- uma operação atômica
Interconexão física
Além de uma conexão de fator de forma de placa, ele pode usar cobre ativo e passivo (até 10 metros) e cabo de fibra óptica (até 10 km). São usados conectores QSFP .
A InfiniBand Association também especificou o sistema de conectores CXP para velocidades de até 120 Gbit / s em cobre, cabos ópticos ativos e transceptores ópticos usando cabos de fibra multimodo paralelos com conectores MPO de 24 fibras.
Interfaces de software
O suporte do sistema operacional Mellanox está disponível para Solaris , FreeBSD , Red Hat Enterprise Linux , SUSE Linux Enterprise Server (SLES), Windows , HP-UX , VMware ESX e AIX .
InfiniBand não tem interface de programação de aplicativo (API) padrão específica . O padrão lista apenas um conjunto de verbos como ibv_open_device
ou ibv_post_send
, que são representações abstratas de funções ou métodos que devem existir. A sintaxe dessas funções é deixada para os fornecedores. Às vezes, para referência, isso é chamado de API de verbos . O software padrão de fato é desenvolvido pela OpenFabrics Alliance e denominado Open Fabrics Enterprise Distribution (OFED). É lançado sob duas licenças GPL2 ou licença BSD para Linux e FreeBSD, e como Mellanox OFED para Windows (nomes de produtos: WinOF / WinOF-2; atribuído como driver controlador de host para combinar dispositivos ConnectX 3 a 5 específicos) sob a escolha de BSD licença para Windows. Ele foi adotado pela maioria dos fornecedores de InfiniBand, para Linux , FreeBSD e Microsoft Windows . IBM se refere a uma biblioteca de software chamada libversb
, para seu sistema operacional AIX , bem como "AIX InfiniBand verbos". O suporte ao kernel Linux foi integrado em 2005 na versão 2.6.11 do kernel.
Ethernet sobre InfiniBand
Ethernet sobre InfiniBand, abreviado para EoIB, é uma implementação Ethernet sobre o protocolo InfiniBand e tecnologia de conector. EoIB permite várias larguras de banda Ethernet, variando na versão InfiniBand (IB). A implementação do Internet Protocol Suite pela Ethernet , normalmente referido como TCP / IP, é diferente em alguns detalhes em comparação com o protocolo InfiniBand direto em IP sobre IB (IPoIB).
Modelo | Pistas | Largura de banda (Gbit / s) | Tipo (s) de Ethernet compatível (is) | Quantidade de Ethernet compatível |
---|---|---|---|---|
SDR | 1 | 2,5 | GbE a 2,5 GbE | 2 × GbE para 1 × 2,5 GbE |
4 | 10 | GbE a 10 GbE | 10 × GbE a 1 × 10 GbE | |
8 | 20 | GbE a 10 GbE | 20 × GbE a 2 × 10 GbE | |
12 | 30 | GbE a 25 GbE | 30 × GbE a 1 × 25 GbE + 1 × | 5 GbE|
DDR | 1 | 5 | GbE a 5 GbE | 5 × GbE a 1 × 5 GbE |
4 | 20 | GbE a 10 GbE | 20 × GbE a 2 × 10 GbE | |
8 | 40 | GbE a 40 GbE | 40 × GbE a 1 × 40 GbE | |
12 | 60 | GbE a 50 GbE | 60 × GbE a 1 × 50 GbE + 1 × 10 GbE | |
QDR | 1 | 10 | GbE a 10 GbE | 10 × GbE a 1 × 10 GbE |
4 | 40 | GbE a 40 GbE | 40 × GbE a 1 × 40 GbE |
Veja também
- Ethernet 100 Gigabit
- Extensões iSCSI para RDMA
- iWARP
- Lista de taxas de bits da interface
- Comunicação ótica
- Interface óptica paralela
- Protocolo SCSI RDMA
Referências
links externos
- Kerr, Gregory (2011), Dissecting a Small InfiniBand Application Using the Verbs API , arXiv : 1105.1827 , Bibcode : 2011arXiv1105.1827K
- Site da InfiniBand Trade Association