Stage de recherche R&D HPC H/F : Implémentation efficace et scalable d'un modèle PGAS avec le support d'exécution MPI à Grenoble

Le centre de recherche et developpement de ATOS Big Data and Security Service Line, basé en France (Grenoble, Paris), USA (Phoenix), Inde (bengalore) and Brésil ( Petropolis), a pour objectif de:

• développer des produits innovants pour les solutions HPC (High Performance Computing), HPDA (High Performance Data Analysis) et Big Data
• préparer les ruptures technologiques pour, demain, atteindre l’Exascale
• faciliter/démocratiser un accès aux infrastructures et aux technologies HPC à des entreprises utilisatrices de composants BigData

L’échelle exaflopique implique une explosion des performances, du nombre de nœuds et de cœurs, des volumes de données et des mouvements de données. A une telle échelle, l’optimisation du réseau qui constitue l’armature du système devient un ingrédient majeur de la performance globale. L’interconnect va être l’une des technologies clés dans les systèmes exaflopiques. C’est pourquoi la clé de voûte de l'exascale de Bull est le développement d’une nouvelle génération d’interconnect propriétaire : Bull eXascale Interconnect[1].

Dans le cadre du projet BXI, l'équipe « Runtimes and Tools for Users » (RT4U) de la R&D ATOS développe et optimise les supports d'exécution d'applications parallèles dans le domaine du calcul intensif. En particulier, l'équipe contribue activement au développement de la bibliothèque OpenMPI[2], qui implémente le standard MPI[3], pour le calcul distribué sur supercalculateurs dotés de réseaux rapides tels qu'InfiniBand ou le nouvel interconnect BXI développé par Bull.

Les primitives matérielles BXI implémentent la bibliothèque de programmation réseau Portals4[4], qui permet une correspondance facilitée avec les modèles de programmation de type PGAS (Partitioned Global Address Space). Cette correspondance permet d’implémenter de manière performante des modèles PGAS tout en profitant des atouts de l’implémentation OpenMPI, comme les communications collectives.

Cependant, il est discuté dans la littérature de problématiques liées au standard MPI lui-même, qui limite l’utilisation des modèles PGAS à leur plein potentiel dans le cadre applicatif. Différentes solutions sont proposées dans la littérature pour étendre l'API du standard MPI afin d’obtenir la scalabilité des performances du modèle PGAS avec MPI. Dans le cadre de ce stage Recherche, l'étudiant explorera la faisabilité de cette solution dans OpenMPI comparativement aux solutions de l'état de l'art. L'étudiant implémentera dans OpenMPI la solution retenue et évaluera les performances de sa proposition pour des applications correspondant aux besoins applicatifs réels sur différents interconnects (InfiniBand, BXI).

Mots-clés : parallélisme, calcul distribué, réseaux rapides, PGAS, MPI.

Références :

Dun niveau Bac +5, de nature curieuse et imaginative, vous évoluerez dans un environnement Linux.

Compétences demandées :

• C/C++,
• MPI,
• Programmation parallèle,
• Git,
• Environnement Unix/Linux,
• Anglais technique

Serait un plus :

• Infiniband,
• slurm,
• Développement en environnement opensource,
• Modèle de programmation pgas

Durée du stage : 6 mois

Chez Atos la diversité est au cœur de notre politique RH. C'est pourquoi Atos a mis en place un accord relatif à l’égalité professionnelle entre les hommes et les femmes. Par ailleurs, nos métiers sont tous accessibles aux personnes en situation de handicap, et ce quelle que soit la nature de leur handicap.