Το τζαμί του Χαλίλ Μπέη βρίσκεται στο κέντρο της χερσονήσου, κοντά στο Φρούριο και πάνω σε δρόμους που οδηγούν στην ακρόπολη και στις πύλες των τειχών της χερσονήσου. Υπολογίζεται ότι χτίστηκε την περίοδο της ανασυγκρότησης της πόλης, γύρω στα 1530.
Στον χώρο αυτό, οι ανασκαφικές έρευνες της 12ης Εφορείας Βυζαντινών αρχαιοτήτων αποκάλυψαν το πρώτο χριστιανικό λατρευτικό κτίσμα της περίκλειστης πόλης, την τρίκλιτη παλαιοχριστιανική βυζαντινή εκκλησία της Αγίας Παρασκευής (είναι ορατή από το γυάλινο δάπεδο του τζαμιού), καθώς και ένα μικρό νεκροταφείο της βυζαντινής περιόδου. Κατά τους πρώτους αιώνες της τουρκοκρατίας ήταν σύνηθες φαινόμενο η ανέγερση τζαμιών στη θέση εκκλησιών ή η μετατροπή εκκλησιών σε τζαμιά.
Το τζαμί αποτελούσε μέρος ενός ευρύτερου συγκροτήματος που περιλάμβανε και μεντρεσέ (ιεροδιδασκαλείο, με οκτώ δωμάτια για τους μαθητές), ο οποίος επίσης έχει σωθεί σε καλή κατάσταση.
Στις αρχές του 20ου αιώνα μέσα στο συγκρότημα λειτούργησε και σχολείο κοριτσιών, πρώτης βαθμίδας. Την περίοδο 1930-1940 στο τζαμί στεγαζόταν η Φιλαρμονική του Δήμου και έτσι απέκτησε την επωνυμία «Τζαμί της Μουσικής». Σήμερα αποκαλείτε «Παλιά Μουσική».
Μετά τις εργασίες αναστήλωσης και διαμόρφωσης που υλοποίησε η Εφορεία Αρχαιοτήτων και ο Δήμος Καβάλας, ο χώρος έχει καταστεί επισκέψιμος και χρησιμοποιείται για ποικίλες εκθέσεις και εκδηλώσεις, τόσο εντός του κτίσματος όσο και στον προαύλιο χώρο. Στις εγκαταστάσεις του μεντρεσέ φιλοξενούνται λαογραφικές συλλογές, κοινωνικές υπηρεσίες αλλά και ο Εξωραϊστικός πολιτιστικός σύλλογος της συνοικίας της Παναγίας «Το Κάστρο».
Congratulation!