Pilaitės rūmai pirmą kartą paminėti buvo 1525 m. Dvaras įkurtas XVI a., kai Pilaitė atiteko Viršilų giminei. 1827 m. Pilaitę nupirko Vilniaus universitetas. Universiteto žemės ūkio katedros vedėjo Mykolo Očapovskio prašymu čia buvo įsteigtas pavyzdinis ūkis, ir pirmoji Lietuvoje agronomijos mokykla. Direktoriumi buvo paskirtas žymus tuo metu agronomas Universiteto profesorius Mykolas Fričinskis. Mokyklai peraugti į agronomijos institutą sutrukdė Universiteto uždarymas. Po 1832 metų M. Fričinskis liko Pilaitės ūkio valdytoju, o vėliau ir nuomininku (ūkis jam atiteko amžinam činšui). 1846 metais jis čia pastatė drobės balinimo fabriką. Tačiau 1852 metais fabrikas sudegė.

Yra žinoma, kad valdant Fričinskiui, apie 1865 m. dvarui priklausė 57 gyventojai (1 pravoslavas, 48 katalikai ir 8 žydai). Aplink dvarą buvo išsidėstę keletas kaimų – Dworzyszcze, Gielaže, Gudele, Popiszki, Rajsze, Rowy, Saldziene, Smolnica, Wierszuliszki, Woiwodziszki, Zujuny, bei kelios sodybos – Gielaže, Raiszele, Saldzienie, Warna. Iš viso šiuose kaimuose gyveno 301 iš baudžiavos paleistas valstietis. Nuo 1880 m. iki pirmojo pasaulinio karo buvusį dvarą valdė Vilniaus turtuolis Pimenovas. Nėra žinoma, kas Pilaitėje šeimininkavo lenkų laikais. Po Antrojo pasaulinio karo čia buvo įsteigtas žemės ūkio technikumo mokomasis ūkis.

Dvare gyveno iš Radvilų giminės kilusi grafienė Olimpija Mostovska, kuri parašė legendą apie Pilaitę, kuri vadinasi „Pilaitės vaiduoklis“.

Dabar dvare yra išlikęs didelis vandens malūnas, oficina ir kiti pastatai. Šalia stūkso Pilaitės piliakalnis.