Il est président du conseil régional de Poitou-Charentes de 1988 à 2002 et ministre des Petites et moyennes Entreprises, du Commerce et de l'Artisanat dans les gouvernements Alain Juppé, entre 1995 et 1997.

Député européen puis sénateur, il est nommé Premier ministre par le président Jacques Chirac après l'élection présidentielle de 2002. À Matignon, il mène une politique de réformes et favorise notamment la décentralisation. Souffrant d'une importante impopularité, il démissionne après le référendum sur le traité établissant une constitution pour l'Europe de 2005. 

Réélu sénateur de la Vienne en septembre 2005, il est l'un des huit vice-présidents du Sénat.En 2009, Jean-Pierre Raffarin est nommé Représentant personnel du président de la République pour la Francophonie.

Le 27 juin 2017, il annonce renoncer aux trois ans de mandat qu'il lui reste à accomplir, pour se consacrer à Leaders for Peace, une ONG pour « alerter sur les risques de guerre ». Il quitte la présidence de la commission des Affaires étrangères du Sénat le 11 juillet 2017 et démissionne de son mandat de sénateur le 4 octobre 2017.