Häntäpään kierroksilta löytynyt timantti
Rinne oli 21-vuotias Kärppien liigajoukkueen kakkosmaalivahti, kun Nashville Predators varasi hänet vuoden 2004 NHL Draftissa toiseksi viimeisellä eli 8. kierroksella varaustilaisuuden 258. pelaajana. Predatorsin silloisen apulais-GM Ray Sheron on kerrottu nähneen Rinteen vain harjoituksissa, mutta hän luotti seuran kykyjenetsijöihin, jotka vakuuttivat tämän olevan tulevaisuuden tähtimaalivahti.
Rinne oli varaushetkellä pelannut Kärpissä yhteensä 15 runkosarjaottelua ja kaksi pudotuspeliä Niklas Bäckströmin kakkosmaalivahtina. Kaudella 2004-05 Rinne pelasi Kärpissä kymmenen ottelua erittäin vakuuttavasti, muttei saanut aloittavan maalivahdin paikkaa, sillä sarjan huippuveskari Bäckström ei ollut ohitettavissa. Kauden jälkeen Rinne hyväksyi Predatorsin tarjoaman kaksisuuntaisen sopimustarjouksen.
Pohjois-Amerikan valloitus alkoi farmisarja AHL:stä
Rinne aloitti Pohjois-Amerikan valloituksen kaudella 2005-06 odotetusti AHL:stä, Predatorsin farmiseura Milwaukee Admiralsin veräjältä, sillä Tomas Vokoun ja Chris Mason tukkivat vakuuttavasti Predatorsin maalin.
Mutta yhtä vakuuttava oli Admiralsin maalilla Rinne, joka sopeutui nopeasti pieneen kaukaloon. Hänet valittiin AHL:n tähdistöotteluun heti ensimmäisellä kaudellaan 2005-06. Rinne pääsi tekemään NHL-debyyttinsä 15. joulukuuta 2005. Hän venyi tulikasteessaan kiekon tielle 38 kertaa ja johdatti Predatorsin 5-3 voittoon Chicago Blackhawksista. Hän pelasi vielä toisessakin NHL-ottelussa kaudella 2005-06.
Rinteen sijoiltaan mennyt olkapää leikattiin syyskuussa 2006, ja leikkauksen vuoksi hän joutui olemaan sivussa kaukaloista puolisen vuotta. Hän pelasi kaudesta 2006-07 vain viimeiset kuukaudet, ja ne kuluivat AHL:ssä. Kaudella 2007-08 Rinne pääsi torjuntatöihin yhdessä NHL-ottelussa, mutta farmin puolella mainiot otteet jatkuivat, ja ne palkittiin jälleen valinnalla tähdistöotteluun.
Läpimurto NHL:ään kaudella 2008-09
Lopullisen läpimurron NHL:ään Rinne teki kaudella 2008-09, kun silloisen ykkösmaalivahti Dan Ellisin peli ailahteli. Rinne sai tilaisuutensa – ja käytti sen upeasti hyväkseen. Hän pelasi tulokaskaudellaan 52 ottelua torjuntaprosentilla 91,7 ja kirjautti seitsemän nollapeliä. Rinne sinetöi paikkansa NHL:n eliitissä ja sijoittui liigan parhaan tulokkaan Calder Trophy -äänestyksessä neljänneksi.