Dvaras įkurtas atokiau nuo pagrindinių kelių, Nemuno slėnio pakraštyje, aukštumoje, kurios niekada nepasiekia potvynių vandenys. Dvaras minimas jau XVII a., o pagrindinė jo veikla tuo metu – pienininkystė. Šilgalių dvaras ilgai buvo vienas stipriausių ūkių Pagėgių apylinkėse. Nuo XIX a. dvaras žinomas kaip žirgynas, veisiantis trakėnų veislės žirgus. Nors ir suvargusi, dvaro sodyba išliko iki mūsų dienų. Įžengus pro vartus atsiveria griežtai rytų vakarų kryptimi orientuotas stačiakampio formos kiemas, kurio pietinėje dalyje stovi pagrindiniai dvaro rūmai. Pastatas išlaikė XX a. būdingus architektūros bruožus. Rūmų kairėje ir dešinėje stūkso didžiuliai ūkiniai pastatai, menantys dvarą buvus ekonomiškai stiprų. Už rūmų – buvęs dvaro parkas, kuriame auga 4,5 metrų skersmens ąžuolas. Dabar Šilgalių dvare įsikūręs ,,Nemuno“ žirgynas, tęsiantis ir puoselėjantis trakėnų veislės žirgų auginimo tradicijas. Pasigrožėti trakėnų veislės žirgais, bandyti pajodinėti hipodrome gali ir turistų grupės, bet reikia susitarti iš anksto.