La leggenda narra che nelle notti di plenilunio, si aggira per i ruderi della rocca, il fantasma vestito di bianco di Margherita d'Austria, alla ricerca del suo amato sposo piangendo la dura sorte toccata a lei e alla sua famiglia privati del trono e relegati nella solitaria prigione ove l’imperatore del Sacro Romano Impero, Federico II, era solito relegare i ribelli, quando non venivano trucidati, anche nelle lontane e sperdute fortezze dell’Irpinia, e si credette probabile che la fortezza di Rocca fosse il luogo di relegazione di Enrico di Svevia, figlio dello stesso Imperatore