Mako wurde in Kobe, Japan, als Sohn des bekannten Kinderbuchautors und -illustrators Taro Yashima geboren. Seine Eltern wanderten in die USA aus, als er noch klein war. Nach dem Zweiten Weltkrieg, im Jahr 1949, folgte er ihnen und leistete in den 1950er Jahren seinen Militärdienst. 1956 wurde er amerikanischer Staatsbürger. Nach seiner Ankunft in den USA studierte Mako zunächst Architektur. Während seiner Militärzeit entdeckte er sein schauspielerisches Talent und absolvierte eine Ausbildung am Pasadena Community Playhouse. Mako war mit der Schauspielerin Shizuko Hoshi verheiratet. Das Paar hatte zwei Töchter (beide ebenfalls Schauspielerinnen) und drei Enkelkinder.