Rupert Graves naît le 30 juin 1963 à Weston-super-Mare, dans le Somerset, en Angleterre. Il est le fils d'une coordinatrice de voyages et d'un professeur de musique. Avant de se tourner vers la comédie, il suit une formation de cirque.

Il fait ses débuts à l'écran en 1978, à seulement 15 ans, dans un épisode de la série Le Retour du Saint. Il se fait ensuite remarquer en interprétant Jean dans un double épisode de la série Le Club des cinq. Sa carrière prend véritablement son essor grâce au réalisateur James Ivory, qui lui offre un rôle dans Chambre avec vue (1986), avant de lui confier l'un des rôles principaux dans Maurice (1987). Il apparaît ensuite dans Témoin innocent de Scott Michell, puis tourne sous la direction de Louis Malle dans Fatale, aux côtés de Jeremy Irons et de Juliette Binoche.

En 1996, sa prestation dans Intimate Relations lui vaut le prix d'interprétation masculine au Festival des films du monde de Montréal. Par la suite, il joue notamment dans V pour Vendetta et Joyeuses Funérailles. Entre 2010 et 2017, il interprète l'inspecteur Lestrade dans la série Sherlock, adaptation contemporaine des aventures de Sherlock Holmes produite par la BBC.

Parallèlement à sa carrière au cinéma et à la télévision, Rupert Graves mène une importante carrière théâtrale. Il se produit régulièrement dans le West End londonien ainsi que sur les scènes de Broadway. Il incarne notamment Wolfgang Amadeus Mozart dans Amadeus de Peter Shaffer (1986), Algernon Moncrieff dans L'Importance d'être Constant d'Oscar Wilde (1987), Dan dans Closer de Patrick Marber (1999), Mick dans Le Gardien de Harold Pinter (2000) et le Dr Frederick Treves dans The Elephant Man de Bernard Pomerance (2002).

Rupert Graves est marié à Susie Lewis depuis 2001. Le couple a cinq enfants : Joseph, Ella, Noah, Isaac et Zoe.