V roku 1996 sa stal podpredsedom KDH. Za čias fungovania vládnej Slovenskej demokratickej koalície, ktorej súčasťou bolo aj KDH, bol členom predsedníctva. V roku 2000 vystúpil z klubu poslancov NR SR za SDK a spolu s ďalšími poslancami založil klub KDH. Počas druhej Dzurindovej vlády (2002 -- 2006) bol ministrom vnútra, na konci volebného obdobia však KDH vystúpilo z vlády. Tesne po minuloročných voľbách odstúpil z funkcie podpredsedu KDH kvôli nesúhlasu s ochotou vtedajšieho vedenia ísť do vlády so Smerom-SD. Dnes je poslancom za KDH. V júli tohto roku neúspešne kandidoval na post predsedu KDH.