Dvaras įkurtas po 1744 m. - 1776 m. sausio 25 d. sudarytame Kauno pavieto padūmės mokesčių mokėtojų sąraše nurodyta, kad Vilkaviškio parapijoje yra Oginskių valdomas Vilkaviškio dvaras, Vilkaviškio mieste - 39 žemdirbių kiemai ir 96 kiemai sklypuose. Vilkaviškio parapijos klebono Lachovskio jurisdikcijoje buvo 5 sklypininkų kiemai daržuose ir špitolė.

1812 m. birželio 19-24 dienomis pro Vilkaviškio apylinkes traukė Napoleono Bonaparto kariuomenė (apie 250 tūkst. karių). Klieriko (vėliau prelato) Butkevičiaus užrašuose fiksuota, jog birželio 21 d. atvyko ir pats Napoleonas, apsigyveno Vilkaviškio dvare (kiti šaltiniai mini palapinę prie dvaro). Čia, dvaro apylinkėse, birželio 21 d. maršalas Liuisas-Aleksandras Bertjeras (pranc. Louis-Alexandre Berthier), kariuomenės vyriausiojo štabo viršininkas, paskelbė Napoleono pasirašytą atsišaukimą į karius, kuris faktiškai buvo karo pradžios paskelbimas Rusijai.

1864-1904 m. dvare gyvenęs rusų armijos generolas, I-ojo pasaulinio karo metais - vokiečiai. Vėliau dvarą su 80 hektarų iš valstybės nupirko kunigas P.Karalius, po to jame įsikūrė Vilkaviškio vyskupijos kurija, čia gyveno vyskupai Antanas Karosas ir Mečislovas Reinys.

Dvaras likviduotas 1940 m., vykdant sovietinį 1940 m. rugpjūčio 5 d. žemės reformos įstatymą.

II-ojo pasaulinio karo metais rūmų pastatas buvo tuščias, po karo jame įsikūrė Vilkaviškio tarybinio ūkio administracija. Dabar dvare - gyventojų butai.