「城郭体系」掲載図と現地を見た結果を基に鳥瞰図を描くとこんな感じである。
足利成行の子孫が大胡氏を称して築城したのが始まりという。
その後、戦国期までこの城にいたが小領主に過ぎず、上杉、北条、武田氏の争奪戦に引き込まれていった。
大胡氏は戦国末期の段階まで名が見られるが、最後は北条氏の支配するところとなり、小田原の役後は徳川家康の家臣、牧野康成に与えられた。
大阪夏の陣終結後、元和３年（1617）牧野氏が長岡に移封（この子孫が戊辰戦争における激戦「長岡戦争」の主人公の殿様である。）となり、酒井氏の領地となり城代が置かれたが18世紀はじめころ廃城となった。
廃城から400年、陣屋が廃されてからも300年の歳月がたつが、本丸周辺の遺構は良く残っている。
現在見られる遺構は最後の城主牧野氏の支配した約25年間に拡張整備されたものである。
したがって、純粋な中世城郭ではなく、ほとんど近世城郭と言える。
本丸と二の丸のある場所は他よりも一段と高い場所にある。
本丸の東と北を除く２方を二の丸が囲んでおり、本丸と二の丸の周囲は深い堀となっている。
石垣も見られ二の丸の枡型、本丸東側には石塁となっている。
本丸は二の丸よりも一段と高くなっており、堀を掘った土で東側以外は土塁が築かれている。
本丸の北方は深さ15m以上もある堀が掘られている。
二の丸の南側、西側も掘となっており、水の手門が南に開く。
これ以外は市街地に飲み込まれてしまっている。
