Le nom de Castelletum apparait en 1153 et fait partie de la famille du Vicomte de Marseille. En 1212, il passe sous la domination de la famille de Baux. Il passe ensuite à la famille d'Anjou dont Anne épousera en 1629 Vincent de Lombard dont la famille en gardera la jouissance jusqu'à la Révolution.
Par la cour du château du XV° siècle, qui abrite aujourd'hui la mairie, on accède au « trou de Madame » ou l'on a une vue exceptionnelle sur le massif de la Sainte Baume ainsi que sur les vignes (vins de Bandol) et diverses cultures. Son nom remonterait aux temps des seigneurs où les Dames de Lombard venaient attendre le retour de leurs seigneurs.