Der Name Andratx in seiner heutigen Form wird erstmals im Jahr 1236 dokumentarisch erwähnt. Über den eigentlichen Ursprung des Namens gibt es allerdings verschiedene Theorien, aber bis heute noch keine allgemein anerkannte oder belegte. Ramon Rossello und Jaume Bover fanden heraus, dass zwischen dem 13. und dem 19. Jh. 25 verschiedene Erklärungen des Namens festgehalten worden sind, die vom keltischen Namen Andraquis bis zum arabischen Wort indiraq reichen. Die Männer der Gemeinde werden andritxol genannt, die Frauen heißen andritxole.
Da im Mittelalter die Insel von zahlreichen nordafrikanischen Piraten heimgesucht wurde, war der Bau eines Verteidigungssystems notwendig, das auf der Errichtung zahlreicher Türme basierte. Im 16. Jh. wurde von J. Binimelis ein Plan ausgearbeitet, der die Überprüfung der Standorte bereits errichteter Türme und die Festlegung neuer Standorte zum Ziel hatte. Von den insgesamt 14 Türmen auf dem Gebiet der Gemeinden Calvià und Andratx sind heute noch 12 vorhanden.
Das ehemalige Kloster La Trapa auf 270 m über Meereshöhe. An dieser Stelle gründeten von Frankreich ausgewiesene Trappisten im Jahr 1810 ein Kloster, das sie schon nach vierzehn Jahren wieder verlassen mussten, weil es von Staats wegen geschlossen wurde. Einige Gebäudereste sind erhalten geblieben. Die Gartenanlage mit Terrassenbau ist noch zu sehen, und die Überreste des mächtigen Affenbrotbaums, des ehemals größten Mallorcas, stehen neben der Klosterruine.
Die Wanderung von Port d’Andratx über Sant Elm nach La Trapa ist die erste Etappe des Fernwanderwegs GR 221. Eine weitere schöne Wandertour ist von Peguera nach Port d’Andratx.
