Çandarlı’nın tarihinde olduğu gibi Çandarlı Kalesi’nin de tarihi net olarak bilinmiyor. Bölgede hâkimiyet süren İonya ve Aiolya uygarlıkları dikkate alındığında kalenin M.Ö. 6. yy’de yapılmış olma olasılığı yüksek. Çandarlı Kalesi’nden elde edilen taşlar incelendiğinde kalenin birçok defa yıkılıp, tekrardan yapıldığı anlaşılıyor. Duvarlarda yer alan taşlardan bir bölümü M.Ö. 2. yüzyıla kadar uzanan bir geçmişe sahip. Kalenin bugünkü mimari plan stilinde tekrar yapılması M.S. 14. yüzyılda bölgeyi ele geçiren Cenevizliler zamanında gerçekleşmiş. Cenevizliler bu dönemde Foça ve bugünkü Çandarlı ile aynı bölgede bulunan Pitane’de de korunaklı kaleler ve gözetleme kuleleri inşa etmişler.

Pitane, İon egemenliğinden sonra sırasıyla; Romalılar, Bizanslılar, Selçuklular, Saruhanoğulları, Karesioğulları ve Osmanlı İmparatorluğu egemenliğine geçmiş. Pitane ve Pitane Kalesi bölgenin Türk hâkimiyetine geçmesinden sonra değerini gittikçe yitirmeye başlamış.1429 senesinde II. Murat tarafından sadrazamlığa getirilen Çandarlı Halil Paşa, denizciliği bir devlet politikası olarak görüp, denizciliğe, donanmaya ve kıyı şehirlerine özel bir önem göstermiş. 24 senelik Sadrazamlığı döneminde Pitane bölgesine de özel bir önem veren Çandarlı Halil Paşa ilk olarak bölgenin güvenlik problemini ortadan kaldırmak amacıyla Çandarlı Kalesi’ni tekrar inşa ettirmiş. Kale, 16 metre yüksekliğinde ve beş burçlu olarak tekrar tasarlanmış, o dönemde yeni icat edilmiş olan top atışlarına karşı dayanıklı olması amacıyla taş bloklarla, payandalarla desteklenmiştir