Il castello, la cui data sembrerebbe risalire al 1216 (come riporta una data su una delle pareti) sorse in stile gotico con archi ogivali (acuti, alcuni esistono tuttora), finestrelle a "bifora", "merli". Nel Cinquecento fu trasformato dai Caracciolo.
L'interno era diviso in due "corti" (cortili), in uno dei quali (quello a Est) vi era il "Seggio" popolare per i giudizi della Corte Marchesale. Il Sobborgo o Borgo (a Ovest del castello) e la zona "sotto la terra" erano fuori della cinta muraria.
Del primitivo impianto del Castello restano due torri, quella principale e una più piccola posta nell'angolo Sud-Est del tracciato del muro di cinta che è visibile sui lati Nord e Sud. Una terza torre, demolita dopo il sisma del 1962, ubicata sul lato Nord, controllava il percorso del regio tratturo.
I locali presenti all'interno dell'area castellare ospitano, dal 2013, il Museo dei Castelli, un percorso didattico - espositivo dedicato ai castelli e alle fortificazioni della provincia di Avellino.