Le cœur du village s'est installé définitivement à son emplacement actuel à partir du XIII°s. et s'est entouré de remparts au XIV°s.

C 'est vers 1360 que commence la construction des remparts sur recommandation pontificale, en raison des ravages causés par les Grandes Compagnies. Une partie d'entre eux est encore visible aujourd'hui. La porte du Posterlon et la tour de l'Agache (XIV°s.) à proximité de l'église, au sud la porte dite de Cavaillon (XIV°s.) et au nord, la porte Neuve ( XVIII°s.)

Avec ses nombreux champs d'oliviers, Caumont possédait plusieurs pressoirs à huile. Quelques uns sont encore visibles à l'état de vestiges. Et notamment l'un d'entre eux datant du XIX°s. construit à même les remparts au bas de la rue de la Dévalade.