Europoslanec byl zvolen jako lídr kandidátky ODS v květnu 2004, mandát obhájil pak v letech 2009, 2014 a 2019. V březnu 2011 byl zvolen do čela Evropských konzervativců a reformistů (ECR) a v této funkci byl do prosince téhož roku, poté byl do roku 2014 místopředsedou ECR. V letech 2010 až 2020 byl prezidentem celoevropské Aliance konzervativců a reformistů v Evropě (ACRE).
V listopadu 2018 byl potvrzen jako vedoucí kandidát ECR na předsedu Evropské komise a v červenci 2019 byl kandidátem frakce na šéfa EP. Předsedou EP byl tehdy zvolen italský socialistický poslanec David-Maria Sassoli, který loni v lednu zemřel. Sassoli ve volbě získal 345 ze 667 odevzdaných platných volebních lístků, Zahradil se umístil na druhém místě, když jej podpořilo 160 poslanců. Zahradil poté získal pozici prvního místopředsedy EP ve výboru pro mezinárodní obchod.
Zahradil se staví proti budování evropského superstátu a nárůstu evropské legislativy. Je zastáncem „vícerychlostní“ Evropy, kde si každý stát zvolí, zda se k určité oblasti spolupráce připojí či nikoli.
