Marié depuis dix ans et réduit à l'esclavage par une épouse acariâtre, Alphonse Ramier se décide un soir à prendre la fuite. Il vide son compte à la banque et s'apprête à dissiper ses économies dans une « bringue » à tout casser. A Pigalle, la première entraîneuse venue conduit Alphonse dans sa chambre et lui dérobe tout son argent. Allant dans un autre cabaret et invitant à sa table les hôtesses du lieu, Alphonse s'aperçoit bientôt que son porte-monnaie est vide. Rendu courageux par l'alcool qu'il a avalé, il déclare aux patrons de la boîte qu'il ne paiera pas. Ceux-ci prennent Alphonse pour le truand américain Al Gregor qui est son sosie. Effrayés par la réputation de violence du bandit, ils l'invitent à boire du champagne et lui donnent même de l'argent. Puis ils le font suivre par un tueur à eux qui a pour mission de l'assassiner. Qu'elle n'est pas leur surprise quand, quelques minutes plus tard, apparaît le vrai Al Gregor ! C'est alors un long chasse-croisé, une suite d'imbroglios interminables qui commencent entre les patrons du cabaret, leurs hommes de main et les deux sosies. Al Gregor et Alphonse Ramier, au terme d'une poursuite mouvementée, se retrouvent tous les deux dans un asile de fous, envahi par des pseudo-Romains, des soldats américains et toutes sortes d'originaux. Il y a même un psychiatre célèbre, le docteur Braque, qui enquête sur les malades de la clinique afin de voir comment le directeur les rend plus fous encore qu'ils n'étaient en arrivant et, ce faisant, gagne beaucoup d'argent. Alphonse Ramier et Al Gregor finiront par découvrir qu'ils sont jumeaux. Al Gregor précède Ramier dans son village natal, où tout le monde le considérait comme un « minus ». Ayant effrayé la population, il a préparé le terrain pour que Ramier puisse y retourner et y mener une vie conjugale heureuse ; sa femme en effet admire maintenant, ainsi que les habitants du coin, son « terrifiant » époux.