1673 m. LDK kancleris Kristupas Pacas už Pažaislio vienuolyno statybos darbus Liudvikui Fredui suteikė bajoro titulą ir kairiajame Nemuno krante padovanojo žemės valdas. 1795 m. šioje vietoje žemes nusipirko dvarininkas Juozas Godlevskis ir įkūrė centrinį dvarą. XIX a. pradžioje pastatyti klasicistiniai dvaro rūmai. XIX a. viduryje dvaras priklausė Gauronskiams, vėliau buvo parduotas valstybei.

1882 m. jame pradėta Kauno tvirtovės fortų statyba. Dvaro rūmuose gyveno pirmasis tvirtovės komendantas Oskaras Klemas, kituose dvaro pastatuose – kareiviai. Statant ir stiprinant tvirtovę, jos karinėms reikmėms buvo pertvarkyta šio dvaro sodyba, joje įrengtas artilerijos kiemas. Į pietus nuo dvaro parko suformuoti Centrinio įtvirtinimo pylimai ir vienas iš didžiųjų redutų. Dvaro sodybos teritorijoje nutiesti keliai ir geležinkelio linijos, įrengtos Fredos kapinės, pastatyta Šv. Sergijaus Radonežiečio cerkvė. Teritorija į rytus nuo dvaro sodybos tapo artilerijos pratybų lauku.

Pirmojo pasaulinio karo metais keli pastatai buvo sunaikinti, kai kurie tarpukariu atstatyti. Čia buvo įsikūrę našlaičių namai, 1920 m. – Žemesnioji sodininkystės-daržininkystės mokykla (sovietmečiu – Kauno Mičiurino tarybinis ūkis-technikumas), 1923 m. įkurtas Kauno botanikos sodas, priklausęs VDU Matematikos-gamtos fakultetui. 1941 m. botanikos sodas perėjo Lietuvos mokslų akademijos žinion, 1992 m. grąžintas Vytauto Didžiojo universitetui.