Weiss absolvierte Ende der 1930er Jahre eine Schauspiel-Ausbildung am Württembergischen Staatstheater in Stuttgart und wurde 1940 zur Wehrmacht eingezogen. Nachdem er schwer verwundet aus dem Krieg zurückkehrte, widmete er sich wieder der Schauspielerei. Zunächst spielte er an mehreren Orten Theater und war unter anderem in Augsburg an der Seite von bekannten Darstellern wie Rolf Boysen zu sehen.

Sein Karrieredurchbruch erfolgte 1959 mit der Rolle des deutschen Soldaten Clemens Forell in Fritz Umgelters erfolgreichem Mehrteiler «So weit die Füße tragen», einer Verfilmung von Josef Martin Bauers gleichnamigem Erfolgsroman (die Einschaltquote der Erstausstrahlung lag bei 90 Prozent). Der Film schilderte die Erlebnisse eines früheren Wehrmachtssoldaten nach seiner Flucht aus einem sowjetischen Kriegsgefangenenlager in Sibirien.

Nur schwer überwand Weiss das Soldatenimage und wirkte, mittlerweile zum bekannten Leinwandschauspieler avanciert, in mehr als 140 Filmen neben Stars wie Julie Christie und Gert Fröbe. An der Seite von George Nader spielte er in den zwischen 1965 und 1969 gedrehten Jerry-Cotton-Filmen den FBI-Mann Phil Decker. In den 1970er Jahren war er neben zahlreichen Verfilmungen in Krimireihen wie «Das Kriminalmuseum» oder «Die fünfte Kolonne» zu sehen. In neuerer Zeit erreichte er große Popularität als Fernsehschauspieler. Die Rolle des Traumschiff-Kapitäns Heinz Hansen verkörperte er von 1983 bis 1999. Daneben übernahm er auch noch andere Fernsehrollen, wie etwa den Kommissar in der Sat.1-Serie «Cluedo – Das Mörderspiel» und spielte auch in mehreren Fernsehfilmen.

Als er 1999 infolge einer nie ganz ausgeheilten Kriegsverletzung eine Blutvergiftung erlitt, wurde ihm das rechte Bein abgenommen; seitdem saß er im Rollstuhl. 2003 veröffentlichte er unter dem Titel Logbuch meines Lebens seine Biografie.

Heinz Weiss wohnte bis zu seinem Tod in Grünwald bei München, wo er in der Nacht vom 20. auf den 21. November 2010 im Alter von 89 Jahren verstarb. Er wurde auf dem Waldfriedhof Grünwald beigesetzt.