Na bemiddeling door zijn moeder gravin Etelka Andrássy-Szápary wordt hem gratie verleend en in het jaar 1860 durft Gyula Andrassy het aan om naar Hongarije terug te keren. Gedurende zijn ballingschap is hij tot een nieuw standpunt over de Hongaarse onafhankelijkheid gekomen. Hij ziet in het snel opgekomen Panslavisme een groot gevaar voor de levensvatbaarheid van de Hongaarse staat en is nu van mening dat Hongarije beter deel kan blijven uitmaken van een Oostenrijks-Hongaarse dubbelmonarchie, om zich op die manier van steun van Oostenrijk te verzekeren. Wel staat hij een verstrekkende autonomie van Hongarije voor.
In het jaar 1861 keert Gyula Andrássy terug in de Hongaarse Rijksdag, waar hij gezamenlijk met Ferenc Deák pleit voor dit nieuwe standpunt. Bij de hervormingen naar aanleiding van de Oostenrijks-Hongaarse Ausgleich (compromis) wordt Andrássy op 17 februari 1867 aangesteld als minister-president van Hongarije. Hij zal dit ambt blijven uitoefenen tot 14 november 1871. Andrássy bedrijft een nationalistische politiek, waarbij de Hongaarse cultuur wordt versterkt, hetgeen vooral ten koste van de Kroatische minderheid gaat. In Boedapest laat hij grootse boulevards aanleggen en nieuwe stadsuitbreidingen bouwen. Ook zorgt hij voor de aanleg van een waterleidingsysteem, bestrating van de tot dan toe grotendeels ongeplaveide wegen in de stad en de totstandkoming van markthallen. Opvolger van Andrássy als minister-president van Hongarije is Graaf Menyhért Lónyay, tot dan toe minister van financiën in zijn kabinet.
