Repêché par les Canadiens lors du troisième tour (44e au total) en 1979, Carbonneau a disputé sa première de 12 saisons dans l'uniforme du Tricolore en 1982-1983, récoltant au passage 18 buts et 47 points lors de sa saison recrue. ( Il a également joué deux matchs avec le grand club en 1981-1982.)
Carbonneau a par la suite connu trois saisons consécutives de 20 buts ou plus, aidant notamment les Canadiens à remporter leur 23e Coupe Stanley en 1985-1986.
Le joueur originaire de Sept- Îles a remporté le trophée Selke en 1987-1988, remis au meilleur attaquant défensif de la LNH. Carbonneau a également remporté le titre en 1988-1989 et 1991-1992.
Carbonneau a été nommé co-capitaine des Canadiens avec Chris Chelios lors de la saison 1989-1990 et il a ensuite été élu capitaine lorsque Chelios a été échangé aux Blackhawks de Chicago en juin 1990. Carbonneau était le capitaine du Tricolore lors de la 24e conquête de la Coupe Stanley en 1993. Il a gardé ce rôle jusqu'à la saison 1994-1995 alors qu'il a été échangé aux Blues de St. Louis.
Après une saison dans l'uniforme des Blues, Carbonneau a été échangé aux Stars de Dallas. Il a ensuite disputé les cinq dernières années de sa carrière avec les Stars, remportant sa troisième Coupe en 1999. Au total, Carbonneau a disputé 1318 matchs dans la LNH, récoltant 260 buts, 403 mentions d'aide et 663 points.
Après sa carrière de joueur, Carbonneau a agi à titre d'entraîneur-chef des Canadiens de 2006-2007 à 2008-2009. Lors de la campagne 2007-2008, il a mené Montréal au premier de l'Association de l'Est grâce à une récolte de 104 points. Le Tricolore a cependant été éliminé lors du deuxième tour des séries par les Flyers de Philadelphie. Carbonneau a d'ailleurs été l'un des finalistes au trophée Jack Adams lors de cette saison.
Carbonneau est le 59e membre de l'organisation des Canadiens à être intronisé au Temple de la renommée, le premier depuis Mark Recchi en 2017. La cérémonie d'intronisation aura lieu le 18 novembre 2019 à Toronto.
