Der Sohn eines Zauberers begann seine berufliche Laufbahn im ersten Jahrzehnt des 20. Jahrhunderts als Zeichner von Comics bei der Zeitung New York Sun. 1915 engagierte ihn die Produktionsfirma Vitagraph als Regisseur, Drehbuch- und Gagschreiber von Filmen.

Noch während des Ersten Weltkrieges erreichte Semon ein Höchstmaß an Popularität. Schon bald fand er seinen ureigenen, unverwechselbaren Stil: Mit käsebleichem Gesicht und weit aufgerissenen Augen, einem breitkrempigen Hut auf dem Kopf und stark ausgebeulten Hosen, die durch große Hosenträger bis weit über seine schmale Brust hochgezogen wurden, verkörperte er muntere Dorftrottel, die Ärger magisch anzogen. Semons Spezialität waren haarsträubende Verfolgungsjagden von burlesker Komik und nervenzerrender Spannung.

Nach Charlie Chaplin, Buster Keaton und Harold Lloyd galt Larry Semon bis in die 1920er Jahre hinein als Amerikas begabtester und erfolgreichster Filmkomiker und Slapstick-Artist. Mehrere seiner Kurzfilminszenierungen Anfang der 1920er Jahre realisierte er zusammen mit dem späteren Elvis-Presley-Regisseur Norman Taurog. Bevor beide zu einem Team zusammengeschweißt wurden, stand Semon auch mehrfach mit den Kollegen Stan Laurel und Oliver Hardy vor der Kamera.

Erst mit dem Ende seines Vitagraph-Vertrages – Semon pflegte die Produktionsbudgets massiv zu überziehen – begann sein Stern allmählich zu sinken. Er drehte nunmehr auch abendfüllende Kinofilme, die zwar ihr Publikum fanden, aber nicht mehr die beträchtlichen Investitionen rechtfertigten. 1925 übernahm er die Rolle der Vogelscheuche in der Erstverfilmung von Lyman Frank Baums Kinderbuchklassiker Der Zauberer von Oz. Nach seinem letzten bedeutenden Film-Auftritt (in Josef von Sternbergs Gangsterdrama Unterwelt) ging Semon auf Vaudeville-Tour.

Er starb 1928 im Sanatorium Gracelon Ranch, von der Filmbranche weitgehend vergessen, bankrott und beruflich am Ende. Seine Kurzfilme liefen im deutschen Fernsehen der 1970er Jahre im Vorabendprogramm der ARD im Rahmen einer Slapstickfilmreihe.

Am 8. Februar 1960 wurde ihm ein Stern auf dem Hollywood Walk of Fame verliehen, Höhe 6933 Hollywood Blvd