Récemment sorti de prison, l'excentrique peintre Gulley Jimson a besoin d'argent pour vivre et exercer son art. Il squatte le splendide appartement d'un couple riche en vacances à la Jamaïque et commence à peindre sur un des murs du logement une peinture murale géante intitulée "La Levée de...
Issu d'une famille de marins, William Ambrose veut poursuivre la tradition mais est sujet au mal de mer. Aussi, il achète une jetée désaffectée et en fait un lieu pour les jeunes. Le maire de la commune, jaloux de son succès, augmente ses charges. William s'associe a Mme Barrington, la loueuse...