Dvaras minimas nuo XVI amžiaus. Išlikę dokumentai rodo, kad dvarininkams buvo būdingas didelis nuožmumas, su pavaldiniais buvo mažai skaitomasi, juos buvo galima parduoti, įkeisti kitam dvarininkui už skolas. Pagryžuvio dvako ponas taip iškeitė 3 baudžiauninkų šeimas už skolą.

XVIII a. pabaigoje Pagryžuvio dvaras priklausė didikams Šemetoms, o vėliau – Pšeciševskių šeimai. XIX a. pradžioje dvarą valdė Raseinių maršalka Adomas Pšeciševskis, vėliau perdavęs nuosavybę savo sūnui Jeronimui, kurio užsakymu 1858 m. pastatyti dvaro rūmai. Tačiau Jeronimas Pšeciševskis rėmė 1863 m. sukilėlius, todėl caro valdžia jį ištrėmė į Tomsko guberniją, o dvare tuo tarpu laikinai gyveno rusas Aleksandras Hristianovičius.

Romantinio stiliaus rūmai pastatyti 1859 m. pagal architekto Fulgeto Rimgailos projektą. Pagryžuvio dvaro rūmai turi ryškių klasicizmo ir baroko sąsajų: iš pradžių pastatyti vieno aukšto, o antras aukštas statytas jau XX a. 1878 m. Izidorius Romeris išpirko po sukilimo sekvestruotą Pagryžuvio dvarą. Nuo to laiko dvaras perėjo per 5 Romerių rankas. Mirus Romeriams, dvarą turėjo paveldėti jų vaikai, bet po Pirmojo pasaulinio karo dvaras buvo nacionalizuotas ir atiduotas jėzuitams. Dvaras stipriai nukentėjo per karą atsidūręs ant fronto linijos.

Tarpukario Lietuvos metais rūmuose veikė jėzuitų vienuolynas. 1951 m. dvarvietėje įsikūrė Respublikinė plaučių tuberkuliozės sanatorija.