Dans le New York des années 1940, Joseph Mitchell est un journaliste apprécié, vivant tranquillement avec sa femme et ses deux filles. Un jour qu'il déjeune dans un bar, un vieux clochard charismatique et têtu fait irruption, réclamant sa soupe. Il semble être respecté par le barman. Le vieil homme vide le tube de ketchup, mange et repart comme il est entré. Intrigué, Joseph cherche alors à découvrir qui se cache derrière ce "Joe Gould" et veut réaliser son portrait pour le "New Yorker". Ravi, Joe parlera assez vite de sa grande oeuvre littéraire, "L'Histoire orale", qui répertorie d'innombrables conversations dispersées chez tous ses amis. Joseph lui demande une partie de ses cahiers, mais toujours Joe se défile. ì la parution de l'article, Joe se voit envoyer des lettres de sympathisants avec parfois un billet... Mais la situation ne change pas vraiment, Joe mène une vie débridée, se rendant aux fêtes alors qu'il est malade, vieillissant, demandant beaucoup d'argent bien qu'un inconnu lui ait déjà offert un logement. Aussi reste-t-il très présent dans la vie de Joseph qui, même apitoyé, souhaiterait prendre un peu l'air. Joe devenant une petite célébrité dans son quartier, il en vient à intéresser certains éditeurs. Mais seul Joseph connaît son secret : Joe finissant ses jours en maison de repos, "L'Histoire orale" le restera...