Matchen slutade 5-4 till Columbus som tog sin första playoff-seger på tre år och den första någonsin i ordinarie speltid.
Hemmalaget tog initiativet i den första perioden och gick fram till 2-0 efter mål av Jack Johnson och Josh Anderson.
I den andra perioden tryckte Markus Nutivaara in 3-0 i sin första playoff-match i karriären och hemmalagets ledning kändes stabil.
6:43 reducerade dock Penguins i powerplay då Patric Hörnqvist lyfte in sitt andra mål i slutspelet. Och innan mittperioden var till ända hade gästerna fått in ytterligare en reducering då Ron Hainsey skickade in en lös puck ur snäv vinkel som gick in mellan benen på Sergei Bobrovsky.
3-2 efter två perioder.
Det skulle bara ta 27 sekunder i den tredje perioden innan William Karlsson utökade Columbus ledning till 4-2. Efter att ha fått sitt första avslut täckt samlade han upp sargreturen bakom mål och kunde lägga in pucken ur snäv vinkel bakom Marc-Andre Fleury.
Gästernas replik kom en och en halv minut senare då Tom Kühnhackl skickade in en skottretur i röran av spelare framför Bobrovsky.
Efter 5:37 i den tredje perioden såg Boone Jenner till att återställa tvåmålsmarginalen för Columbus efter en tät situation framför Fleury.
Jake Guentzel gjorde sitt femte slutspelsmål för Penguins, men en man mindre på banan, med 28 sekunder kvar. Det var dock för lite tid kvar på matchen för att Pittsburgh skulle kunna hinna ikapp.
Penguins leder med 3-1 i matcher och har en ny chans att avgöra på torsdag då matchserien flyttar tillbaka till Pittsburgh.
