Karlssons karriär började i Ottawa Senators 2009-10. Hans första poäng lät inte vänta på sig utan kom redan i första matchen. Den då 20 år unge Karlsson hade en assist i mötet med New York Rangers. Den matchen blev ett avstamp som på sikt skulle göra honom till en av de största spelarna genom tiderna som dragit på sig en Senators-tröja.
Relationen mellan honom och Senators varade till förra sommaren då han trejdades till San Jose Sharks. Då hade Karlsson varit kapten för Senators sedan 2014 och vunnit Norris Trophy vid två tillfällen (2012, 2015). Han kom med i ligans all star-lag vid fyra tillfällen: 2012, 2015, 2016 och 2017. På 627 grundseriematcher hade han noterats för 518 poäng, den noteringen är bäst av en back i klubbens historia. Wade Redden, som ligger tvåa på den listan, gjorde 410 poäng på 838 matcher.
Det säger en hel del vilka avtryck Karlsson satt i Senators och hockeyvärlden.
Genom sin karriär har Karlsson snittat 0,82 poäng per match. Sedan sin debutsäsong är Karlsson den poängbäst backen i hela NHL före nuvarande lagkamraten Brent Burns som gjort 564 sedan den säsongen.