1583 m. minimas karališkasis Panykių dvaras, pavadinimą gavęs nuo Nykos upės. XVIII a. pradžioje dvarą valdė broliai Skirmuntai, vėliau A. Prialgauskas, iš kurio už skolas 1758 m. dvarą su keliais palivarkais įsigijo Veliuonos klebonas ir dekanas, Medininkų katedros prelatas Viktoras Talko-Grincevičius-Ilgauskas, kuris čia įsirengė vasaros rezidenciją, o ant Nykos kranto 1765 m. pastatė bažnyčią (sudegė 1813 m.). Nuo tada Panykiai ir pavadinti Ilguva.

1794 m. Ilguva tapo savarankiška parapija, o dvaras netrukus (su Tvirbūtais, Misiūnais, Rukšionimis, Goniūnais ir Marapole) parduotas prelato brolio Pranciškaus sūnui Jonui Grincevičiui, karaliaus Stanislovo Augusto dvaro šambelionui (rūmų tvarkytojui). XVIII a. pabaigoje jis ir pastatė medinius dvaro rūmus.

1806 m. dvarą paveldėjo Jono sūnus Julijonas Talko-Grincevičius, o kitoje Nemuno pusėje buvusius palivarkus - kiti sūnūs. Viename iš palivarkų, Riukšionių dvare, 1850 m. gimė antropologas Julijonas Talko-Grincevičius.

Po Julijono mirties 1862 m. dvarą paveldėjo jo sūnus Henrikas Talko-Grincevičius, kuris su savo broliu Polikarpu rėmė 1863 m. sukilėlius, todėl Rusijos imperijos valdžios buvo suimti ir ištremti į Tobolsko guberniją. Polikarpas pakeliui susirgo ir mirė, o Henrikas po penkerių metų sugrįžo ir ėmėsi atstatinėti dvarą. Tuo metu Ilguvoje buvo ir koplyčia.

1895 m. Henriko vyriausioji dukra Ona ištekėjo už buvusio smuiko vunderkindo Emilio Mlynarskio (gimusio Kybartuose), kuris išgarsėjo Varšuvoje, ten įsteigė Varšuvos filharmoniją, buvo Varšuvos Didžiojo operos teatro ir muzikos instituto (konservatorijos) pirmuoju dirigentu ir direktoriumi.

Naujasis šeimininkas tapo Ilguvos išgarsėjimo kaltininku. XIX a. pab. - XX a. pr. dvare lankėsi ir kūrė smuikininkas Polis Kochanskis, dailininkas Mykolas Elvyras Andriolis, pianistas ir dainų autorius, vėliau tapęs Lenkijos premjeru, Ignacas Paderevskis, dailininkas Ferdinandas Ruščicas, kompozitorius Karolis Šimanovskis, kompozitorius Stasys Šimkus, Stefanas Žeromskis. Tarpukariu buvo atvykęs ypač garsus pianistas, Mlynarskių žentas Artūras Rubinšteinas, o taip pat rašytojas Juozapas Albinas Herbačiauskas, dailininkas Kazys Šimonis, istorikai Jonas Totoraitis ir Antanas Tatarė, Peterburgo dvasinės akademijos prof. Justinas Pranaitis. Dvare vykdavo koncertai, buvo sukaupta apie 1000 vnt. knygų biblioteka. Petras Cvirka prisiminimuose rašęs, kad vaikystėje lyg užkerėtas klausydavo iš kito Nemuno kranto atsklindančios muzikos, kai pas Emilį Mlynarskį atvykdavo svečių.

1940 m. dvaras buvo nacionalizuotas, jame įrengta senelių prieglauda, po to psichoneurologinis internatas, vėliau tapęs psichoneurologiniu pensionatu. Apie 1995 m., minint Emilio Mlynarskio 120-ąsias gimimo metines, pagrindinis pastatas aptvarkytas, pakabinta memorialinė lenta.