Kidulių dvaras rašytiniuose šaltiniuose minimas nuo XVI a. Tuomet jis priklausė Jonui Lenartavičiui, iš kurio šias valdas 1584 m. nusipirko iš Prūsijos atsikėlęs miško pirklys Krišpinas Kiršenšteinas. Jo palikuonis Jonas Jeronimas Kiršenšteinas tapo žemaičių vyskupu ir mėgo gyventi tėviškėje. Po vyskupo mirties 1708 m. dvaras atiteko Karpiams, kurie jį valdė iki 1807 m., kol kairiakrantė Lietuva priklausė Prūsijai. Garsiausias iš Karpių – žemaičių vyskupas Juozapas Mikalojus Karpis taip pat mirė 1739 m. Kiduliuose. Kidulių dvare viešėjo Prūsijos karalius Frydrichas Vilhelmas III, ruošdamasis Tilžėje pasirašyti pralaimėjimo sutartį su Prancūzijos imperatoriumi Napoleonu. Jis iki vidurnakčio sėdėdavo mažame dvaro kambarėlyje prie lango ir nostalgiškai spoksodavo į pasroviui plaukiančius ar Jurbarko uoste stovinčius laivus. Kartais jo gyvenimą paįvairindavo prabangiu keltu atplaukiantis Rusijos caras Aleksandras I. Tuomet jie vaikštinėdavo parko alėjomis ir nelinksmai kalbėdavosi. 1812 m. birželį pro Kidulius didingai praėjo Napoleonokariuomenė, o 1813 m. pradžioje jau priešinga kryptimi žygiavo caro armijos generolo leitenanto Piotro Vitgenšteino korpusas.

Po karų su Napoleonu dvaras atiteko generolui leitenantui, baronui Jonui von Ofenbergui. Tuomet Kidulių dvaras vėl suklestėjo ir buvo vadinamas pilimi. Naujasis Kidulių dvaro šeimininkas sutvarkė parką, visur prisodino gražių, iš tolimesnių kraštų atvežtų gėlių. Jis labai mėgo sodininkauti ir pats prižiūrėjo sodo medžius, net oranžeriją buvo padaręs. Šimtametis parkas ir dabar mena tuos laikus.

Pirmojo pasaulinio karo metais Kidulių dvare šeimininkavo abiejų kariaujančių pusių kariai. Keista, tačiau dvaras beveik nenukentėjo.

1922 m. iš Kidulių dvaro, kuriam priklausė net 27 pastatai, išsikėlė paskutinis kilmingas savininkas Otas Ofenbergas.