Pero antes del comienzo de la temporada inaugural de los Rangers de 1926-1927, Smythe dejó al equipo y en su lugar llegó Lester Patrick, quien dirigió al conjunto azul durante sus primeras 13 campañas, y fue responsable de darle a la franquicia su identidad y éxito tempranero.
En apenas su segunda temporada (1927-1928), Patrick guio a los Rangers a la conquista de su primer título de la Stanley Cup. En este camino a la gloria, él no solo fue el gerente general y entrenador en jefe, sino que también vio acción sobre el hielo.
En el Juego 2 de la Final de la Stanley Cup ante los Montreal Maroons, el portero titular del club neoyorquino, Lorne Chabot, tuvo que abandonar el partido tras recibir un disco en el ojo izquierdo. En esa época, los equipos no contaban con un portero suplente. El guardameta de los Ottawa Senators, Alec Connell, estaba presente, y Patrick contempló usarlo, pero el entrenador en jefe de los Maroons, Eddie Gerard, no lo permitió.
Patrick, quien en sus días como jugador profesional no fue portero, terminó tomando el lugar de Chabot a sus 44 años. Solo permitió un gol en un triunfo de 2-1 en tiempo extra, empatando la serie 1-1. Los Rangers ganaron la Final en cinco juegos para convertirse en el primer equipo estadounidense en levantar la copa.
Bajo el mando de Patrick, los Rangers volverían a la Final tres veces más: 1928-1929, 1931-1932 y 1932-1933. En esta última aparición ganaron su segundo campeonato. El núcleo de estos equipos fue el trío ofensivo compuesto por Boucher y los hermanos Cook —Bill y Fred “Bun”—, apodado la “Línea A” por la línea del metro que pasaba por debajo del Madison Square Garden en la Octava Avenida.
Para la campaña de 1939-1940, Boucher reemplazó a Patrick en la banca, y al igual que su exentrenador, también tuvo éxito inmediato. Con figuras como Neil Colville y Bryan Hextall, en la temporada regular los Rangers establecieron récords al tener una racha ganadora de 10 juegos y una racha invicta de 19. En los Playoffs, el equipo azul levantó su tercera copa. En sus primeros 16 años de existencia, el conjunto azul solo se perdió la postemporada en una ocasión.
En 1942, con la desaparición de los Americans, empezó la era de “The Original Six” en la NHL. Esta época marcó el inicio del declive de los Rangers como equipo protagonista. Entre 1943 y 1955, el equipo solo clasificó a los Playoffs en dos ocasiones. Sin embargo, en su último viaje de manera sorpresiva alcanzaron la Final, perdiendo en siete juegos ante los Detroit Red Wings. Aunque no tuvieron mucho éxito, el club contó con grandes figuras: Buddy O’Connor (1948) y Chuck Rayner (1950) fueron los primeros jugadores de la franquicia en ganar el Hart Trophy como el jugador más valioso de la NHL.
Al final de la era de “The Original Six”, los Rangers volverían a estar en los primeros planos de la liga. Bajo el mando del gerente y entrenador Emile Francis, el equipo ligó nueve apariciones en los Playoffs empezando en 1966-1967.
En la temporada 1971-1972, el conjunto azul tuvo un desempeño espectacular, con un récord de 48-17-13, el segundo mejor de la NHL en la campaña regular. La línea formada por Vic Hadfield, Jean Ratelle y Rod Gilbert, apodada la “Línea G-A-G” (o Línea Gol-Por-Partido), se convirtió en el primer trío en la historia de la NHL en anotar al menos 40 goles en la misma temporada. Los Rangers llegaron a la Final, pero cayeron en seis juegos frente a los Boston Bruins.
Entre 1977-78 y 1986-87, los Rangers clasificaron a los Playoffs en 10 temporadas consecutivas. En 1979, con figuras como Ulf Nilsson, Anders Hedberg, Phil Esposito y John Davidson, el equipo alcanzó otra Final. Sin embargo, los Montreal Canadiens los vencieron en cinco juegos.
No sería hasta la década de los 90 cuando los Rangers regresarían a la cima de la NHL. En 1991, la gerencia hizo una contratación de impacto al adquirir a Mark Messier, que había ganado cinco títulos de la Stanley Cup con los Edmonton Oilers. Antes de su primer partido con el equipo azul, Messier fue nombrado capitán. En su primera campaña con los Rangers (1991-1992), Messier ganó el segundo Hart Trophy de su carrera.
