Alytuje šalia aikštės Kauno gatvėje 1856 m. pastatyta pirmoji medinė sinagoga. Kaip byloja istoriniai šaltiniai: „Tai buvo nedidelis pailgo plano pečiais apšildomas pastatėlis, po vienu stogu glaudęs mokyklą ir rabino butą.“ Projektą ruošė Kalvarijos apskrities architektas, tvirtino Lenkijos karalystės švietimo ir religijos komisija. Toje pat vietoje arba šalia XIX a. pabaigoje pastatyta mūrinė sinagoga. Sinagoga buvo būdinga istorizmo laikotarpio architektūrai. Per 1909 m. ir 1911 m. gaisrus, siaubusius Alytų, sinagoga sudegė. Sinagoga buvo atstatyta 1911 m. pagal buvusios sinagogos projektą. Šalia jos tais pačiais metais buvo pastatytas rabino namas.

II Pasaulinio karo metu sinagoga buvo subjaurota, o sovietiniais laikais buvo pakeista jos paskirtis: pastatas buvo pertvarkytas į druskos sandėlį, vėliau – į viščiukų peryklą. Tiek sinagoga, tiek rabino namas yra pakankamai gerai išlaikę savo pirminę išvaizdą. Išlikę raudonų ir geltonų plytų fasadai užbaigti trikampiais frontonais, papuošti stilizuotais piliastrais, yra išlikusios smailiaarkės langų angos, virš jų – pusapskritės su plytų mūro dantukais užmūrytos nišos. Sinagoga taip pat papuošta pagrindiniu judaizmo simboliu – plytų mūro Dovydo žvaigžde.

Šiuo metu sinagogos pastatas stovi nenaudojamas, o rabino name yra įsikūrusi VŠĮ „Alytaus parkai“.