Puolustaja Arbour voitti pelaajana Stanley Cupin neljä kertaa. Hän tuli tunnetuksi siitä, että pelasi silmälasit päässä. Peliuransa jälkeen hän siirtyi valmentajaksi. Hän luotsasi St. Louis Bluesia kolmen kauden ajan 1970-luvun alussa, kunnes hänet napattiin liigassa toista kauttaan aloittaneen Islandersin penkin taakse vuonna 1973.
Arbour johdatti Islandersin vain voiton päähän Stanley Cup -finaaleista jo vuonna 1975 ja piti joukkueen NHL:n kärkikaartissa koko 1970-luvun loppupuolen. Jättipotti osui kohdalle vihdoin vuosikymmenen vaihduttua, sillä Islanders otti neljä peräkkäistä mestaruutta vuosina 1980-83. Islanders eteni cup-finaaleihin myös 1984, mutta Edmonton Oilers teki tyhjiksi newyorkilaisten haaveet viidennestä peräkkäisestä mestaruudesta.
Arbour luopui Islandersin päävalmentajan tehtävistä kauden 1985-86 jälkeen, mutta palasi vielä valmentamaan kaudella 1988-89 Terry Simpsonin potkujen jälkeen. Arbour valmensi Islandersia vielä kaudella 1993-94, mutta jäi sitten eläkkeelle. Hän teki vielä yhden ottelun mittaisen comebackin Islesin vaihtopenkin taakse 3. marraskuuta 2007 saadakseen täyteen 1 500 valmennettua NHL-ottelua ja 740 voittoa Islandersin peräsimessä. Islandersin 3-2 voitto Pittsburgh Penguinsista oli Arbourin uran 782. voitto. Hän on NHL-valmentajien kaikkien aikojen voittotilastossa toisena Scotty Bowmanin jälkeen.
- Al on paras valmentaja, jonka alaisuudessa olen pelannut. Hän vaistosi aina, kaipaako pelaaja potkua persauksille vai taputusta olalle, kertoi keskushyökkääjä Ray Ferraro, joka oli mukana Wales-konferenssin finaaleihin edenneessä Arbourin joukkueessa kaudella 1992-93.