Pierwszy kościół w Liszkowie pochodzi z XVI wieku. W 1677 r. Vladas Jurgis Kosila, pan majątku Liškiava, podarował swój majątek wraz z nowym drewnianym kościołem dominikanom z Seinai. Najpierw musieli walczyć o swoją własność w sądzie, bo rodzina ziemianina absolutnie nie chciała się z nim rozstać. W XVIII wieku dominikanie zbudowali klasztor i murowany kościół w stylu późnobarokowym, jaki widzimy dzisiaj. W 1808 r. uderzył w nią piorun i zapalił się. Kościół jest powszechnie znany ze wspaniałego wizerunku Matki Bożej na jednym z bocznych ołtarzy.

Neogotycki kościół Najświętszej Maryi Dziewicy Szkaplerznej zbudowano w 1931 r. Lubił go odwiedzać marszałek Polski Józef Piłsudski, językoznawca Juozas Balčikonis, poeta i prozaik Vincas Mykolaitis-Putinas i wielu innych znanych litewskich działaczy społecznych. Kościół Najświętszej Maryi Dziewicy Szkaplerznej jest niezwykle wartościowym i niesamowitym miejscem architektonicznym i kulturowym.

Gotycki kościół pod wezwaniem Świętego Apostoła Bartłomieja został urządzony w 1650 roku przez magnata Kazimierza Leona Sapiehę. W tym czasie był on filią parafii w Mereczu, przez co często zwany był kościołem bez parafii. Patronem kościoła został jeden z dwunastu apostołów wspominanych w Nowym Testamencie.

W roku 1676 Michał Pac wybudował jeszcze jeden kościół, w 1762 roku w tym miejscu powstał jeszcze jeden Dom Boży – tym razem drewniany. Niestety, ani ten, ani oryginalny budynek kościoła św. Apostoła Bartłomieja nie zachował się do naszych dni. Prawda, w roku 1910 staraniami księdza Franciszka Bernata oraz dzięki ofiarom ludzi dobrej woli, kościół został odbudowany, tchnięto w niego nowe życie i udostępniono wspólnocie wiernych.