Les clusters de calcul équipés de processeurs graphiques GPUs sont devenues des outils très attrayants pour le calcul scientifique intensif. L'objectif principal de mes travaux de recherche est d'étudier et concevoir de nouveaux algorithmes numériques parallèles pour résoudre des systèmes linéaires et non linéaires creux sur clusters de GPUs. Dans un premier temps, j'ai étudié comment réduire l'impact des communications entre les nœuds GPU en utilisant un format de vecteur compressé et le partitionnement par hypergraphe pour les algorithmes parallèles des méthodes itératives GMRES et CG. De plus, j'ai conçu des solveurs parallèles de Richardson et de relaxation par blocs basés sur des itérations synchrones ou asynchrones pour résoudre des systèmes non linéaires creux sur clusters de GPUs. Pour des architectures à large échelle, j'ai étudié les méthodes de multisplitting à deux niveaux avec le modèle des itérations synchrones et asynchrones pour résoudre des systèmes linéaires creux. Pour toutes les expérimentations menées, les clusters de GPUs permet de réduire significativement les temps de simulation. L'utilisation des GPUs permet globalement de réduire les temps des itérations alors que ceux des communications restent inchangés. Ceci favorise l'utilisation du modèle des itérations asynchrones qui permet de recouvrir les communications par du calcul, d'autant plus quand on s'intéresse aux clusters avec beaucoup de GPUs.