Medinę bažnyčią Skaruliuose (tada vadinti Lipnikais) fundavo ir pastatė M. ir M. Stankovičiai. Mikalojui Stankovičiui mirus, jo žmona Magdalena ir kiti paveldėtojai 1522 m. šiai bažnyčiai užrašė Lipnikų dvarą. XVI a. pabaigoje Lipnikai perėjo Skarulskiams ir pradėti vadinti Skaruliais.

Nauja mūrinė bažnyčia senosios vietoje pastatyta 1620–1622 metais. Jai suteiktas Šv. Onos titulas. Bažnyčios fundatorius buvo Andriejus Skarulskis. XVI a. pabaigoje, 1582–1584 metais, A. Skarulskis kaip dvariškis lydėjo kunigaikštį Mikalojų Kristupą Radvilą Našlaitėlį į Šventąją Žemę (ir buvo vieni pirmųjų LDK piligrimų joje) ir, kaip manoma, naująją bažnyčią vėliau statė įkvėptas vienos Jeruzalėje matytos bažnyčios pavyzdžio. Neabejotina, kad naujoji bažnyčia kaip padėkos ženklas Dievui įamžino sėkmingą dvejus metus trukusią piligrimystę. Ją mena priekiniame bažnyčios fasade, virš durų, taip pat didžiajame altoriuje išlikęs vadinamasis Jeruzalės kryžius – Šv. Kapo riterio ženklas (mat abiem piligrimams Šv. Kapo bazilikoje buvo suteiktas Šv. Kapo riterio vardas).

XVIII amžiuje bažnyčiai priklausė Kulvos bažnytkaimis, prie jos veikė parapinė mokykla. Du kartus – XVII ir XIX amžiuje – bažnyčia apdegė. Bažnyčia smarkiai nukentėjo per karą su Švedija ir Maskva, tačiau A. Skarulskio sūnus Rapolas Zigmantas pasirūpino ją atstatyti, užsakė perlieti Rusijos kareivių sudaužytą varpą. Tai 1670-aisiais atliko garsiausias Lietuvos varpų meistras Jonas Delamarsas. Bažnyčią nusiaubė ir prancūzų armijos kareiviai XIX a. pradžioje. Darsyk bažnyčia nuo gaisro nukentėjo 1906 metais.

Vis dėlto Skarulių bažnyčia, savo istorijoje patyrusi daug negandų, iki šiandien išliko be didesnių pakeitimų, todėl yra unikali. Ypač vertingas joje, vienas seniausių Lietuvoje, drožybinis didysis altorius su šv. Onos paveikslu ir įkomponuotomis šventųjų skulptūromis. Išlikę ir XVII a. pirmosios pusės meistriški drožybos kūriniai – 12 apaštalų skulptūros, Nukryžiavimo kompozicija.