Adeiladodd Llywelyn Fawr y chastell yma yn y 1220au yn dyffryn Dysynni i ofalu a llywodraethu y pobl o Wynedd a Meirionnydd. Roedd o hefyd yn lle pwysig i fasnachu ar draws Cymru. Ar ol farwolaeth Llywelyn Fawr, daeth Llywelyn ein Llyw Olaf yn dywysog Cymru. Ychwannegodd at y castell gyda twr ac ystafelloedd newydd. Ond, yn 1282, curodd y Saesneg y rhyfel. Cymerodd nhw Castell Y Bere y flwyddyn wedyn a rhwng 1283 a 1294 ychwannegodd nhw ychydig i’r castell ac adeiladodd nhw tref fach yn agos. Ond yn 1294 dechreuodd Madog ap Llywelyn gwrthryfel ar draws Cymru. Yn ystod y gwrthryfel dechreuodd Madog warchae ar y castell. Ar ol brwydr hir, curodd nhw’r castell ond yn ystod hyn, cafodd hi ei roi ar dan a roedd hi wedi cael ei ddinistrio yn ddrwg.
Ar ol diwedd y gwrthryfel, penderfynnodd Edward I fod y castell ddim werth i ei gynllun o gogledd Cymru gan fod o wedi dechrau adeiladu cestyll llawer mwy fel Castell Caernarfon a Castell Conwy felly cafodd y castell a’r dref fach wrth ei ymyl ei adael. Am canoedd o flynyddoedd roedd y Castell wedi cael ei adael tan yr 1850au pan penderfynnod William Wynne (berchennog y safle) i ddechrau cloddio ogwmpas y safle a dechrau archwiliadau archeolegol. Dangosodd hyn llawer mwy o’r adfeilion. Erbyn hyn, Cadw sy’n berchen a’r Castell. Dywedodd Cadw eu bod am ceisio dangos pwysigrywdd hanes y tywysogion Cymraeg yn well.