Dabar Paberžės dvaro sodyboje – vienintelis Lietuvoje 1863 m. sukilimo muziejus. Muziejų supa gražus parkas, kuriame stūkso tautodailininko Genriko Galvanausko sukurtos medžio skulptūros, skirtos žuvusiems sukilėliams iš Paberžės apylinkių. Vyksta muzikiniai vakarai, susitikimai, šventės. Paberžę taip pat išgarsino tarybiniais metais čia klebonavęs kunigas tėvas Stanislovas (Mykolas Dobrovolskis). Tėvas Stanislovas klebonijoje sukaupė unikalią liturginių drabužių ir ritualinių reikmenų kolekciją.

Paberžėje dar yra senos, kaip ir pati ši gyvenvietė, kapinaitės, nusagstytos tradiciniais šio krašto koplytstulpiais ir kryžiais, skirtais amžino poilsio čia atgulusiems sukilimo dalyviams ir jų šeimų nariams.

Pralaimėjus 1863 m. sukilimą, sukilimo rėmėjas baronas buvo ištremtas į Sibirą, o dvaras padovanotas Rusijos caro valdininkui Tichejevui, kuris jį nuomojo vokiečiui Becheriui. Yra likę žinių, kad Tichejevas neblogai sugyvenęs su vietos žmonėmis, Paberžėje įsteigęs mokyklą ir apmokėdavęs mokinių maitinimo išlaidas. Prieš Pirmąjį pasaulinį karą dvaro žemę Tichejevai pardavė buvusiems savo baudžiauninkams. Tada dvarui priklausiusi žemė buvo išdalinta sklypais, kuriuose pradėjo kurtis vienkiemiai.

Spaudoje kartais pateikiama informacija, kad Paberžės dvare XX a. pradžioje rengtos bulių kautynės, kuriose dalyvaudavę vietos toreodorai, yra klaidinga – bulių kautynės vyko kitame Paberžės dvare Vilniaus rajone.