Το Κάστρο της Λεμεσού βρίσκεται στην καρδιά της παλιάς πόλης, λίγο πιο πάνω από το παλιό λιμάνι. Σύμφωνα με την παράδοση, είναι εδώ που ο Ριχάρδος ο Λεοντόκαρδος παντρεύτηκε τη Βερεγγάρια της Ναβάρρας και την έστεψε Βασίλισσα της Αγγλίας το 1191. Τα οχυρωτικά τείχη παρουσιάζουν μεγάλο αρχαιολογικό ενδιαφέρον και υπάρχουν σκέψεις ότι ήταν κομμάτια από πολύ μεγαλύτερο κάστρο.

Το κάστρο της Λεμεσού έχει μεγάλι ιστορία. Η ακριβής ημερομηνία της κατασκευής του κάστρου δεν είναι γνωστή. Σύμφωνα με τον Etienne de Lusignan, χτίστηκε το 1193 από τον ιδρυτή της δυναστείας των Λουζινιανών, Guy de Lusignan, αλλά η πρώτη επίσημη αναφορά του κάστρου χρονολογείται στο 1228, κατά τη διάρκεια της ανάμιξης του Frederic II της Γερμανίας στις υποθέσεις της Κύπρου. Μέσα στα χρόνια το κάστρο υπέφερε από επιθέσεις διαφόρων εισβολέων, αλλά έπαθε μεγαλύτερες ζημιές και από σεισμούς του 1567 και του 1568. Τέλος στο 1590, οι Οθωμανοί ξανάχτισαν το κάστρο στην αρχική μορφή του. Το αρχικό κάστρο ήταν μεγαλύτερο από το μεταγενέστερο, στο οποίο ενσωματώθηκαν κάποια κομμάτια από το παλιότερο κτίριο, όπως οι δύο μακρόστενες αίθουσες του ισογείου. Κάτω από την ανατολική αίθουσα υπάρχει ένα υπόγειο με κελιά, που χρησιμοποιούνταν για φυλακή μέχρι το 1950. Σήμερα το κάστρο στεγάζει το Μεσαιωνικό Μουσείο της Κύπρου.

Το Κάστρο της Λεμεσού στην μορφή που το βλέπουμε σήμερα αποτελεί ανακατασκευή της Τουρκοκρατίας (19ος αιώνας) μέσα στην οποία ενσωματώθηκαν αρχιτεκτονικά κατάλοιπα ενός Μεσαιωνικού Κάστρου πολύ μεγαλυτέρων διαστάσεων.

Η αρχαιότερη αναφορά για την ύπαρξη Κάστρου στη Λεμεσό πηγαίνει πίσω στο 1228 όταν, εκεί, ο Φρειδερίκος ο Β΄της Γερμανίας και οι υποστηρικτές του φυλάκισαν τους ομήρους που αναγκάστηκε να του δώσει ο αντιβασιλιάς της Κύπρου Ιβελλίνος. Το Κάστρο αυτό ήταν ίσως ένα παλιό Βυζαντινό Κάστρο ή αυτό που το αντικατέστησε κατά την πρώϊμη περίοδο της Φραγκοκρατίας .

Το 1373 οι Γενουάτες αφού κυρίευσαν το κάστρο έκαψαν την πόλη. Σε αυτή τη επίθεση θα πρέπει να προκλήθηκαν σοβαρές ζημιές στο μνημείο. H πόλη σύμφωνα με τους περιηγητές στα τέλη του 14ου αιώνα είναι σχεδόν ακατοίκητη. Μία μικρή ανάκαμψη παρατηρείται την τελευταία δεκαετία και τις αρχές του 15ου αιώνα στην Λατινική επισκοπική έδρα της Λεμεσού η οποία φαίνεται πως ανακατασκευάζει και χρησιμοποιεί ένα παλιό Μεσοβυζαντινό Ναό στην Οδό Ζικ-Ζακ πίσω από το σημερινό τέμενος Κεπήρ ενώ ταυτόχρονα επισκευάζεται το Κάστρο το οποίο αναφέρεται συχνά στους χρονογράφους του 15ου αιώνα για την αντίσταση που προέβαλε κατά των Γενουατών το 1402 και το 1408 . Το 1413 αντιστάθηκε επίσης στις επιθέσεις των Μαμελούκων οι οποίοι δεν μπόρεσαν να το κυριεύσουν.