Roedd yna gastell milltir i’r de o gastell Aberystwyth or enw Tan-Y-Castell. Cafodd y Castell yna ei adeiladu gan Gilbert de Clare ond yn 1136 cafodd o ei losgi gan Gruffudd ap Rhys (tywysog Deheubarth), Owain Gwynedd (mab tywysog Gwynedd) a Cadwaladr ap Gruffudd (Brawd Owain Gwynedd). Ar ol I Owain Gwynedd fynd yn tywysog Gwynedd yn 1137, rhoddodd o’r castell I ei frawd I ailadeiladu. Ond clywodd o fod ei frawd yn creu cynllun I ladd Anarawd ap Gruffudd (tywysog newydd Deheubarth) felly gyrrodd o ei fab, Hywel, i losgi’r castell unwaith eto yn 1143. Ar ol cael ei ailadeiladu am yr ail tro, cafodd ei basio trwy’r teulu cyn cyrraedd Llywelyn Fawr. Penderfynnodd o I chwalu’r castell a creu un newydd. Yn 1277, yn ganol rhyfel cyntaf Lloegr a Cymru cafodd y castell ei gymeryd gan Edward y I.
Chwalodd o’r castell eto ac ailadeiladodd o ar y safle mae o heddiw. Cyn dechrau yr ail rhyfel, cafodd y castell ei gymeryd yn ol gan Llywelyn ein Llyw Olaf. Penderfynnodd o I losgi y castell ac y tref oedd Yn agos. Unwaith eto, am y pwedwerydd tro, cafodd y castell ei ailadeiladu yn 1289 gan Edward y I, ar ol diwedd y rhyfel. Ond yn 1294 a 1295 dechreuodd Madog ap Llywelyn wrthryfel mawr, yn ystod yr wrthryfel, roedd yna lawer o ymladd yn y castell. Erbyn y diwedd, roedd y castell mewn stand ddrwg iawn unwaith eto. Er fod y castell yn dioddef, roedd y tref yn tyfu yn sydyn. Yn 1404, cafodd y castell ei gymeryd gan Owain Glyndwr a cafodd ei ddefnyddio fel safle pwysig i’r wrthryfel. Ar un pryd, cafodd ‘treaty’ ei arwyddo gyda Brenin Ffrainc yn y castell. Ond erbyn 1408 cafodd y castell ei gymeryd yna ol gan Lloegr. Yna 1637, cafodd y castell ei droi I fewn I ‘royal mint’ lle roedd ‘silver shillings’ yna cael eu cynhyrchu. Ar ol rhyfel cartref Lloegr, penderfynnodd Oliver Cromwell I chwalu darnau mawr o’r castell ar bwrpas. Roedd hyn yn broses wnaeth digwydd I lawer o gestyll ar draws Cymru a Lloegr I ceisio eu gwneud nhw’n ddiwerth mewn rhyfel. Ond ar ol y chwalu yma, ni chafodd y castell ei ddefnyddio eto. Heddiw, ond ychydig o adfeilion sydd ar ol I weld.