Mae’n anodd dweud pryd cafodd Castell Powys ei hadeiladu. Mae yna dystiolaeth fod yna adeilad o bren wedi cael ei adeiladu ar y safle gan Owain Cyfeiliog neu ei fab Wenwynwyn ogwmpas y flwyddyn 1200 ond cafodd castell ddim ei adeiladu tan tua 1270 (amcangyfrif yw’r blynyddoedd yma) Yn 1274 cafodd y castell (cafodd ei adeiladu gan Gruffudd ap Gwenwynwyn) ei ddinistrio gan Llywelyn ein Llyw Olaf gan fod tywysog Powys (Gruffudd ap Wenwynwyn) wedi creu cynlluniau i lladd llywelyn. Yn 1277 dechreuodd Lloegr ymosodiad ar Gymru (erbyn hyn roedd Cymru wedi cael ei uno gan Llywelyn ein Llyw Olaf) Ond doedd Gruffudd ddim yn ffyddlon i Gymru (masiwr gan fod Powys Wenwynwyn wedi bod mewn rhyfel gyda Gwynedd (Roedd Llywelyn yn dywysog ar Wynedd cyn iddo uno Cymru i frwydro yn erbyn Lloegr)) felly dechreuodd o ochri gyda Lloegr.
Ar ol diwedd y rhyfel roedd Cymru wedi cael ei gymeryd gan Lloegr. Fel gwobr am helpu Edward I (Brenin Lloegr) cafodd Gruffudd ap Wenwynwyn caniatad I ailadeiladu castell Powys. Ar ol marwolaeth Gruffudd, cymerodd ei fab o (Owain) y castell. Yna, cafodd ei ferch o Hawys perchennogaeth y castell. Priododd hi Sir John Charlton a cafodd y castell ei basio I lawr y teulu tan 1587 pan brynodd Sir Edward Herbert y castell. Tua’r amser yma, cafodd y castell ei adnewyddu o Gaer filwrol I’r ty ‘Elizabethan’ prydferth rydym yn gweld heddiw. Y teulu Herbert oedd yn berchen a’r Castell am 365 blwyddyn arall tan i George Herbert rhoi y castell i’r National Trust. Cyn hyn, rwng 1891 a 1902, cafodd y castell ‘modernization’ mawr gan George Herbert. Ychwannegodd o system goleuo electric a system dwr poeth. I gadw y teimlad o gastell canoloesol, prynodd George bob math o dodrefn ac addurniadau gyda steil yr 1600au. Ond roedd George yn ddyn anlwcus iawn, cafodd ei ddau fab ac ei ferch eu lladd mewn damweiniau erchyll. Heb rhywun I basio’r castell I, yn 1952 rhoddodd o’r castell i’r National Trust cyn ei farwolaeth.