Uno degli emblemi di Cancellara è il castello, che domina sul paese. Il castello fu costruito dalla famiglia Acquaviva d’Aragona intorno al 1300 e fece da residenza feudale agli Acquaviva, ai Carafa, ai Caracciolo, ai Pappacoda. L’articolazione planimetrica è varia e complessa, ma unica e suggestiva.Le cortine murarie hanno elementi artistici significativi come portali bugnati, decorazioni, fregi, cornicioni in pietra lavorata, ma come detto a causa di una mancata custodia e dei danni relativi al sisma del 23-11-1980 e dell’avvento dell’uomo, che sfrutta i locali a pianoterra come stalle, il castello perde molto della sua bellezza.Le intenzioni rivalutative del castello prevedono l’inserimento di funzioni collettive in modo da farne punto d’aggregazione riqualificando il tessuto urbano circostante.Il castello si erge sulla sommità della collina che ospita il borgo antico. Per chi giunge a Cancellara da Potenza, la mole del costrutto appare nella sua imponenza e appare evidente la costruzione adibita alla difesa.E’ formato da un insieme di corpi di fabbrica a 3 livelli che racchiudono un cortile interno quadrangolare.

Il capo esposto a Sud si affaccia su uno strapiombo di 40m. Sul lato Est si erge un torrione quadrangolare avanzato rispetto all’edificio. Di fianco alla torre c’è l’ingresso principale preceduto da una lunga gradinata e da un piccolo cortile racchiuso da muri di cinta a sacco. Le parti più antiche sono caratterizzate da una muratura di pietrame con una forma molto irregolare che denota una  scarsa lavorazione. Le murature più recenti sono invece più squadrate e raffinate. Le finestre a Sud sono disposte su 3 file allineate verticalmente con scansione regolare; mentre quelle a Nord appaiono disposte in maniera più caotica. Elementi non attinenti col resto sono una finestra trilobata sulla cappella e il vano  del balcone della torre quadrangolare.Il portale ha l’archivolto e i piedritti rivestiti da bugnato, decorato forse in stile barocco, invece risultano più lineari le bugne del portale di accesso al cortile esterno. Per quanto riguarda il primo livello (seminterrato) è costituito da vani. Il primo è collegato con il cortile esterno tramite un portale decorato e munito di volte a crociera ed è denominato antiportone. Il vano successivo presenta un soffitto costituito da travi di legno. Inoltre troviamo altri due luoghi con volte a unghia. Un sinuoso e scomodo passaggio scavato nel muro funge da accesso ai due ambienti della cappella: entrambi con volte a crociera e a botte. Tutto il primo livello serviva come deposito di fieno, mansione che ancora oggi assolve. Il cortile interno è di forma trapezoidale e presenta un piano di calpestio inclinato e per accedervi bisogna superare una gradinata. Sul cortile interno si apre un vano che dà accesso ad un altro ambiente sotterraneo che  è caratterizzato da grossi archi inseriti nella muratura del lato Nord e un bassorilievo raffigurante uno stemma sorretto da due figure nude e tozze. Da questo cortile si accede al secondo cortile. L’ala meridionale è costituita da sette vani quadrangolari esposti a Sud. Fra questi, due presentano volte ad unghia con tracce di affreschi. Da un altro vano si accede al terrazzino dove troviamo tramezzi costituiti da mattoni forati che non permettono la lettura immediata degli spazi originali. La parte occidentale del secondo livello è costituita da due grandi vani con solai in ferro. I restanti vani sono distribuiti in modo caotico. Infine abbiamo il terzo livello ormai privo di tutti i vani dell’ala occidentale, demoliti in seguito al sisma del 1980.  Da notare la presenza di una scala a pioli che permette il raggiungimento del sottotetto della torre. Il frazionamento proprietario del castello ha fatto si che l’intero assetto venisse modificato facendo assumere al castello l’aspetto di un condominio. Le ultime ristrutturazioni del palazzo sono state eseguite dopo i terremoti del 1930 e del 1980, ed hanno comportato anche la demolizione di alcuni ambienti.