Iki mūsų dienų išliko dviaukštis mūrinis dvaro svirnas.

Dvaras Gižuose minimas nuo XVIII a., kai jis priklausė Minsko vaivadai A. M. Chmarai, pastatydinusiam medinę Gižų bažnyčią. Dvare veikė plytinė, spirito varykla, alaus darykla, vėjo malūnas. Abipus kelio, vedusio nuo dvaro link bažnyčios, pradėjo kurtis gyvenvietės. XIX a. pradžioje Gižų dvarui priklausė Gižų ir Marijanavo palivarkai ir 8 aplinkiniai kaimai (apie 1600 ha).

1922–1930 m. dvare veikė Seinų kunigų seminarija. 1930 m. rudenį iš Gižų dvaro seminarija su 59 tada studijavusiais klierikais persikėlė į naujus seminarijos rūmus Vilkaviškyje. Iš Gižų seminarijos laikotarpio išlikę tik autentiški tilteliai buvusiame parke ir viena didžiulė liepa netoli dabartinės Gižų mokyklos. Po seminarijos iškėlimo dvaro patalpose buvo įkurdinta mokykla, kurioje mokėsi kelios gižiečių kartos.

Tarpukariu Gižų dvarą buvo nupirkęs žinomas to meto bankininkas J.Vailokaitis, kuris savo pirkinį padovanojo seseriai. Ši su vyru čia sėkmingai ūkininkavo.