Οι γραπτές πηγές, που αναφέρονται στη βυζαντινή πόλη-κάστρο, πληθαίνουν κυρίως κατά τους υστεροβυζαντινούς χρόνους, όταν η Θράκη περιήλθε στο επίκεντρο των πολεμικών συρράξεων της περιόδου, ιδίως κατά τους εμφυλίους πολέμους του α΄ μισού του 14ου αιώνα που συντάραξαν το Βυζάντιο. Το Περιθεώριο συγκαταλέγεται ανάμεσα στις πόλεις της Θράκης που καταστράφηκαν το 1205/6 από τις επιδρομές του Βούλγαρου ηγεμόνα Ιωαννίτζη (Σκυλογιάννη). Στις αρχές του 14ου αιώνα, πιθανότατα το καλοκαίρι του 1307, έλαβε χώρα εδώ μία σημαντική μάχη, ανάμεσα σε δύο αντιμαχόμενα μεταξύ τους σώματα Καταλανών, που, μετά την πρόσκλησή τους από τον αυτοκράτορα Ανδρόνικο Β΄ Παλαιολόγο (1282-1328) για να τον βοηθήσουν στην απώθηση των Οθωμανών, είχαν περάσει τη Μικρά Ασία στη Θράκη επιδιδόμενοι σε λεηλασίες. Η φονική μάχη επέφερε σημαντικό πλήγμα στην Καταλανική Εταιρεία, τα μέλη της οποίας κινήθηκαν στη συνέχεια προς την Ανατολική Μακεδονία, τη Χαλκιδική και τελικά τη νότια Ελλάδα.

Επί αυτοκράτορα Ανδρόνικου Β΄, η επισκοπή του Περιθεωρίου φαίνεται ότι προήχθη σε μητρόπολη. Σύμφωνα με τη διήγηση του Ιωάννη Καντακουζηνού, ο εγγονός του Ανδρόνικου Β΄, Ανδρόνικος Γ΄ Παλαιολόγος (1328-1341), βρήκε την πόλη κατεστραμμένη και προχώρησε στη ριζική ανοικοδόμησή της. Ο Ιωάννης Καντακουζηνός, το 1342 και κατόπιν το 1343, επιχείρησε να καταλάβει μάταια την πόλη. Στις 7 Ιουλίου 1345, συνασπισμένος με τις δυνάμεις του Ουμούρ Πασά του Εμιράτου του Αϊδινίου, νίκησε τα στρατεύματα του Βούλγαρου πολέμαρχου Μομτσίλου (Μομιτζίλου), ο οποίος μάλιστα σκοτώθηκε στη μάχη. Το 1355, ο άρχοντας του Περιθεωρίου, δεσπότης Ιωάννης Ασάνης, παρέδωσε την απόρθητη πόλη στον Ιωάννη Ε΄ Παλαιολόγο (1354-1391), ο οποίος, όμως, μπόρεσε να προβάλει τις αξιώσεις του για την πόλη μόλις το 1357. Το 1354 και κατόπιν το 1361, το Περιθεώριο είναι πιθανό να λεηλατήθηκε από τους Οθωμανούς. Είναι η εποχή που τη Θράκη λυμαίνονταν Σέρβοι, Βούλγαροι και Οθωμανοί, οι οποίοι έπαιρναν μέρος κατ’ επανάληψη στις εμφύλιες συγκρούσεις των αντιμαχόμενων δυνάμεων του Βυζαντίου, στο πλευρό της μίας ή της άλλης παράταξης, και κατόπιν εκτρέπονταν σε λεηλασίες.

Το Περιθεώριο κατακτήθηκε από τους Οθωμανούς πιθανότατα το 1383, με αρκετή σχετικά καθυστέρηση σε σχέση με τις υπόλοιπες πόλεις της Θράκης, που πέρασαν στην κυριαρχία των Οθωμανών το αργότερο το 1373. Για ένα σύντομο χρονικό διάστημα πριν από την κατάκτηση του Περιθεωρίου από τους Οθωμανούς, τη διοίκηση της πόλης είχαν αναλάβει τοπικοί άρχοντες. Οι κάτοικοι αποφάσιζαν για τις υποθέσεις της πόλης τους και, αποκομμένοι καθώς ήταν από την ενδοχώρα της Θράκης, επικοινωνούσαν με την Κωνσταντινούπολη μόνο μέσω της θάλασσας.

Κατά τους οθωμανικούς χρόνους, η λίμνη Βιστωνίδα μετονομάστηκε σε Μπουρού και το Περιθεώριο σε Μπουρού Καλέ, δηλαδή πύργος της Μπουρού. Το 1403, η πόλη επανήλθε στους Βυζαντινούς για ένα μικρό χρονικό διάστημα, μέχρι το 1422, οπότε καταλήφθηκε και πάλι από τους Οθωμανούς. Έκτοτε, άρχισε η σταδιακή παρακμή της πόλης. Στους οθωμανικούς χρόνους, η σταδιακή μείωση του χριστιανικού πληθυσμού οδήγησε στη συνένωση της Μητρόπολης Περιθεωρίου με αυτήν της Ξάνθης, η οποία λειτουργεί ως τις μέρες μας ως ενωμένη μητρόπολη (Ιερά Μητρόπολις Ξάνθης και Περιθεωρίου). Οι περιηγητές, που επισκέπτονται τον 17ο αιώνα το Μπουρού Καλέ, δίνουν μία εικόνα πλήρους ερήμωσης. Ο Γάλλος ιερέας Robert de Dreux είδε μόνο δύο εκκλησίες και έναν ιερέα, φτωχό και απογοητευμένο από την παρακμή της πόλης του. Ο Οθωμανός περιηγητής Εβλιγιά Τσελεμπί βρήκε τα άλλοτε «όμορφα και απόρθητα» τείχη της πόλης κατεστραμμένα, εντός των οποίων υπήρχαν μόνο 50 κατοικίες χριστιανών και πέντε μαγαζιά.