Hermann Thimig stammt aus einer bekannten Schauspielerfamilie. Sein Vater, Hugo Thimig, war Schauspieler, Regisseur und Direktor des Wiener Burgtheaters. Auch seine Geschwister Helene Thimig und Hans Thimig, mit denen er am Theater und in Filmen mehrmals zusammenarbeitete, waren Schauspieler.

Schon während seiner Schulzeit in der Volksschule und im Gymnasium in Wien sowie in verschiedenen Landerziehungsheimen wirkte Thimig in Laienspielgruppen und Privataufführungen mit. Nach dem Militärdienst als Einjährig-Freiwilliger in Wien debütierte er im Dezember 1910 am Hoftheater Meiningen, wo sein Engagement 1914 durch den Ausbruch des Ersten Weltkriegs unterbrochen wurde.

Im selben Jahr debütierte er auch im Film Die Gräfin Heyers und war Filmpartner von Ossi Oswalda und Henny Porten. 1918 führte er erstmals am Theater des Westens in Berlin Regie. Er trat in drei Filmen Ernst Lubitschs auf, darunter 1921 als schüchterner Bandit in Die Bergkatze.

Mit dem Tonfilm wandte sich Thimig vom Theater ab und wirkte hauptsächlich in Filmoperetten und Komödien mit. Erst Mitte der 1930er Jahre kehrte er in Wien zum Theater zurück, wo er vornehmlich Rollen von älteren Herren übernahm. Diese spielte er auch im Film bis in die Nachkriegszeit. 1965 wurde er Ehrenmitglied des Burgtheaters und 1969 erhielt er das Filmband in Gold für langjähriges und hervorragendes Wirken im deutschen Film. 1981 erhielt er den Ehrenring der Stadt Wien.

Aus seiner ersten Ehe mit der Schauspielerin Hanna Thimig-Wisser , Tochter des Eutiner Märchenprofessors Wilhelm Wisser , stammt eine Tochter , die bis 1945 auf der Bühne stand. Aus zweiter Ehe mit der Schauspielerin Vilma Degischer stammen zwei Töchter.

Hermann Thimig ruht in einem ehrenhalber gewidmeten Grab auf dem Sieveringer Friedhof (Abt. 2, Gruppe 13, Nummer 76) in Wien. Im selben Grab wurde zehn Jahre später seine Ehefrau Vilma Thimig-Degischer bestattet.