Lo que hizo más especial su selección ese día fue que uno de sus ídolos (además su paisano y exjugador del Frölunda HC) y uno de los jugadores favoritos de los aficionados en la capital canadiense, Daniel Alfredsson, subió al estrado para llamar el nombre de Karlsson y anunciarlo como nuevo integrante de los Senators.
Aunque su debut en la NHL no fue inmediato, ya que la temporada 2008-09 la jugó con el Frölunda HC, pero luego de sazonarse un año en la máxima palestra sueca, Karlsson se integró con Ottawa, aunque después de batallar un poco en el inicio de la temporada 2009-10, fue enviado con los Binghamton Senators, su equipo filial en la American Hockey League (AHL), para ponerse a tono con el estilo de juego norteamericano.
Un mes después de bajar a las ligas menores, recibió de nuevo el llamado para integrarse con el equipo grande y el 27 de noviembre anotó su primer gol en la NHL en un triunfo de Ottawa por 4-1 ante el Minnesota Wild. En su campaña debut en la Liga acabó con 26 puntos (cinco goles, 21 asistencias) en 60 partidos e incluso disputó seis juegos de playoffs, registrando seis unidades (1-5).
Su primera gran temporada en la Liga fue su tercera, en la 2011-12, cuando acumuló 78 puntos (19 goles, 59 asistencias) en 81 encuentros, derivando en su primer nombramiento al Equipo Ideal de la NHL (NHL All-Star Team) y uno de sus mayores logros: ganar el Trofeo Norris, como mejor defensa de la Liga.
La de 2014-15 sería otra de las temporadas memorables para el defensa sueco, en la que totalizó 66 puntos (21 goles, 45 asistencias) en 82 partidos, tuvo como resultado ganar su segundo Trofeo Norris y ser incluido de nueva cuenta en el primer Equipo Ideal de la NHL.
En 2015-16, Karlsson tuvo la mejor temporada de toda su carrera, hasta antes de la presente, al registrar su máximo total de puntos que en ese entonces fue de 82 en igual número de juegos.
A un paso de disputar la Final de la Stanley Cup, con equipos distintos
Karlsson no tuvo el desempeño más deslumbrante en la campaña 2016-17, al contabilizar 71 puntos (17-54) en 77 juegos, pero en los playoffs brilló intensamente con dos goles y 16 habilitaciones (18 puntos), ayudando a los Senators a llegar lo más profundo en la postemporada desde 2007, cuando los Senators alcanzaron la Final de la Stanley Cup.
A pesar de la gran actuación de Karlsson, en el Juego 7 de la Final de la Conferencia del Este ante los Pittsburgh Penguins, aportando las asistencias principales de los dos goles que anotó Ottawa esa noche, Sidney Crosby y compañía salieron triunfales de ese decisivo encuentro.
En septiembre de 2018, los Senators decidieron hacer un canje que mandó a Karlsson a los San Jose Sharks a cambio de Chris Tierney, Josh Norris, Rudolfs Balcers y Dylan DeMelo, además de selecciones de draft, en un intempestivo cambio de aires para el estelar defensor.
Con los Sharks en su temporada debut, la 2018-19, se convirtió en el quinto defensa en la historia de la Liga en hilvanar una seguidilla de 14 juegos seguidos registrando al menos una asistencia, pese a ese buen augurio, una suspensión por un golpe ilegal y una lesión en la ingle, le hicieron perder inercia, permitiéndole aparecer solo en 53 encuentros.
No obstante, regresó para los playoffs donde fue pieza fundamental para ayudar a los Sharks a llegar a la Final de la Conferencia el Oeste para medirse a los eventuales campeones, los St. Louis Blues. En esa postemporada registró 16 puntos (2-14) en 19 juegos, pero los californianos fueron eliminados en seis juegos, quedando de nuevo corto el sueño de pelear por la Stanley Cup.
A unos cuantos juegos de concluir la temporada 2022-23, Karlsson ya vive la mejor temporada (estadísticamente hablando) de toda su carrera, con un total de 88 puntos (22 goles, 66 asistencias) en 72 encuentros y aunque su equipo no va a clasificar a los playoffs, la huella de esta campaña para el sueco será imborrable.