Les clusters de G5 connectés par Infiniband
Infiniband est le standard retenu par l’Université de Virginie pour relier les Xserve de sa grappe de calculs. Patrick Chevaux, le responsable Europe de la société qui a optimisé les connexions de cette machine, nous explique les enjeux de l’adoption d’Infiniband sur Big Mac.
La plus puissante grappe de calculs haute performance du monde est un Mac : Big Mac pour les intimes, ou X, la dénomination officielle retenue par les responsables de Virginia Tech, l’université où elle a été installée. Ces derniers mois, le cluster a été modifié de fond en comble : les PowerMac G5 ont été remplacés par des Xserve G5, des logiciels spécifiques installés pour en améliorer les performances et le réseau fourni par Mellanox a été revu entièrement par Voltaire, une société israélienne spécialisée.
Vnunet Qu’est-ce que la technologie Infiniband ?
Patrick Chevaux : Infiniband est une technologie d’entrées/sorties destinée aux serveurs et plus particulièrement au domaine du calcul scientifique. Depuis quelque temps, les scientifiques n’utilisent plus de gros ordinateurs mais des machines éclatées en plusieurs dizaines, centaines voire milliers d’ordinateurs interconnectés. Cette parallélisation, qui a commencé il y a environ cinq ans, nécessite que les ordinateurs utilisés s’échangent rapidement les informations. Jusqu’à il y a peu, trois technologies étaient retenues par les spécialistes pour réaliser ces interconnexions. Tout d’abord, l’Ethernet, la technologie de base dans ces cas de figure. Mais il existe également deux autres procédés propriétaires, Mirinet et Quadrix. Bien que très répandu et donc peu cher, Ethernet dans ses versions 10/100 Mbit/s ou Gbit/s, pose un problème pour réaliser des calculs en haute performance : il consomme beaucoup de bande passante en instructions d’interconnexions. Mirinet et Quadrix sont des technologies fournissant de leur côté de très bonnes performances mais assez coûteuses, Quadrix étant le haut de gamme des technologies d’interconnexion. Il y a la place pour une technologie ayant vocation à fournir les performances attendues par les scientifiques : c’est ce qu’entend devenir Infiniband, qui se positionne actuellement entre Ethernet et Mirinet.
Vnunet : En quoi Ethernet est-il mal adapté pour les calculs hauteperformance ? P. C. : Les utilisateurs travaillent généralement en IP (Internet Protocol). Or la pile IP est très bavarde : elle oblige le processeur à exécuter entre 15 000 et 50 000 instructions, de sorte que chaque émission de message entre processeurs répartis crée un plafonnement. En fonction des machines, on sature le processeur entre 100 et 300 Mbit/s. Plusieurs raisons à cela : outre le traitement des instructions, il y a aussi les recopies en mémoire tampon. Pour obtenir de meilleures performances, il faut faire sauter ces freins. Infiniband fonctionne avec une cinquantaine d’instructions et ne fait pas appel au système d’exploitation. De plus, on travaille à distance en accès direct mémoire, de processeur à processeur. D’où la réduction des pertes à leur plus simple expression.
Vnunet : Quel est le niveau de performances permis par Infiniband ?
P. C. : Infiniband propose trois débits différents : 2,5, 10 et 30 Gbit/s. Actuellement, les deux premiers taux de transferts sont utilisables, le dernier devant apparaître cette année. Autre caractéristique : le temps de latence – le temps de transmission des informations – est inférieur à 5 ou 6 microsecondes, c’est-à-dire de 20 à 30 fois inférieur à l’Ethernet. Ces performances – généralement réalisées sur des distances de 17 mètres sur câbles en cuivre et jusqu’à 10 kilomètres sur fibre optique – ces performances sont très importantes pour des calculs scientifiques : Infiniband fournit un délai très court et une très large bande passante sur des distances assez importantes.
Vnunet : Dans quelle mesure avez-vous participé au cluster de Virginia Tech ? P. C. : Nous sommes arrivé après la première bataille : les cartes et les commutateurs ont été fournis par Mellanox (voir encadré). Mais nous avons participé à la phase suivante. Les PowerMac G5 ont été remplacés par des Xserve G5. Notre société s’est chargée d’installer des protocoles de plus haut niveau, d’ajouter des mises à jour logicielles et d’industrialiser ce qui avait été fourni par Mellanox. Nous avons notamment fait évoluer un pilote Infiniband pour Mac OS X qui n’en était qu’à l’état de prototype.
Vnunet : Comment l’arrivée de produits Apple dans le domaine des clusters a-t-elle été ressentie par la profession ?
P. C. : Le cluster de G5 a soulevé un immense intérêt. Pour les clients, le fait de voir un troisième larron venir s’intercaler dans la guerre entre Intel et AMD est ressenti comme un soulagement. Même en France, où les entreprises du secteur privé tout comme les institutionnels ou les universitaires se sont manifestés. Toutefois, les premières installations qui verront le jour dans les mois qui viennent sont essentiellement des centres de recherche financés sur deniers publics. Actuellement, les clusters de technologies Infiniband que nous équipons en France proviennent principalement de HP et d’Apple.
Vnunet : A quels marchés vous adressez-vous aujourd’hui ?
P. C. : Le marché des calculs de haute performance tend vers l’affinage des modèles de calculs. On s’oriente donc vers une augmentation de la puissance installée. En France, les plus gros besoins de calculs concernent la physique des particules. Nos clients vont du CEA (Commissariat à l’énergie atomique, Ndlr) à la recherche pétrolière, en passant par les constructeurs automobiles ou encore le CERN (Centre européen de recherche nucléaire, Ndlr). D’ici à 2005, les besoins vont continuer à croître. Mais Infiniband va poursuivre sa progression et les nouveaux standards tendent vers les 120 Gbit/s.