Dans les environs du château de Craggyford, à des époques différentes, Hamish est mort en guerrier, Mabel a eu la tête tranchée, Winifred a été noyée par les villageois et George a été pulvérisé en faisant l'homme-canon dans un cirque. Tous les quatre hantent désormais le château, devenu un orphelinat, et ont, au fil du temps, créé une famille... Suite à un jeu stupide avec son ami Barnabus, le jeune Humphrey, pensionnaire de l'orphelinat, tombe du toit, meurt, et intègre la "famille" des fantômes. Barnabus est adopté par un chasseur de fantômes, et Humphrey étudie l'art de faire peur. Suivant l'avis de son conseiller, le Premier ministre décide de détruire les ruines pour y construire des logements. Les fantômes doivent trouver un nouvel habitat. Une menace semble peser sur les fantômes, qui décident d'entrer en guerre contre les vivants. Ceux-ci paniquant, le Premier ministre signe un pacte avec les fantômes. Ils sont relogés dans la tour de Londres et deviennent une attraction touristique. L'expérience tournant mal, le gouvernement déporte les fantômes. Ils se retrouvent dans un château où, l'un après l'autre, ils disparaissent bientôt. Humphrey est invité par le conseiller à visiter sa cave à vin. Au lieu de vin, c'est un liquide ectoplasmique qu'il découvre. Le conseiller n'est autre que Barnabus, qui a trouvé le secret de la vie éternelle en buvant les fantômes. Humphrey entre dans une colère noire et détruit la machine infernale. Barnabus meurt de peur et rejoint le peuple fantôme.