Elliot est né Leon Shalek à Lynn, Massachusetts , le fils de Susan M. (née Bernstein) et Israël Michael Shalek. [2] Tous ses grands-parents étaient des immigrants juifs d'Europe de l'Est. [2] [3] Son père était un joueur de base-ball semi-pro qui avait, après avoir pris sa retraite, a ouvert une entreprise de fabrication de sac de jute à Presque Isle, Maine .

Elliot avait un surnom d'enfance "Bith", mais plus tard l'a adapté à "Biff" quand il est entré dans la boxe, ce qu'il a fait quand il avait 16 ans et sa famille avait déménagé à Presque Isle. Il est alors devenu connu sous le nom de Biff Harris. Finalement Elliot est devenu le champion du nord du Maine et a même atteint le championnat régional de la Nouvelle-Angleterre, mais une fois que sa mère a découvert sa boxe, elle a refusé de lui permettre de continuer. En 1943, Elliot a signé pour l' armée des États-Unis , a été placé dans la 34e Division d'infanterie et plus tard stationné en Afrique du Nord .

Une fois la guerre terminée, Elliot a été libéré et a décidé de retourner à l' Université du Maine en 1945. Il a obtenu son diplôme en 1949 et a déménagé à New York dans l'espoir de poursuivre une carrière d'écrivain. Après avoir échoué à se faire passer pour un écrivain, Elliot se tourna vers le jeu d'acteur et commença à suivre des cours dans l'atelier des acteurs.