Honmaru Goten, mis tähendab "palee sisemise kõige ringi riigikaitse", on ainus ellujäänud hoone endise Kawagoe loss. See oli varem Issanda elukoht ja kontorid.
Kawagoe loss ehitati algselt 1457.aastal. Kui Tokugawa Ieyasu võttis oma reegli üle, paigaldas ta oma isandaks olulise lojaalse teema, kuna Kawagoe tähtsus kaubanduslinnana ja strateegiline kaitsepunkt pealinnast põhja pool. Kogu Edo perioodil elas Kawagoe lossis 21 isandat, kes kõik olid tihedalt seotud Tokugawa Shogunaadiga.
Tänane struktuur lisati lossi 1848. aastal, vahetult enne feodaalse ajastu lõppu. Hiljuti renoveeritud ja avalikkusele taasavatud 2011. aastal on sellel avarad tatami toad, Aed ja kultuuripärandi pildid, mis on eksponeeritud.