Schultz avgörande mål kom i powerplay efter 11.24 i den andra perioden. Schultz kom infarande i vänsterbacksläge, fick pucken från Evgeni Malkin och hittade en lucka bakom Braden Holtby.
Pittsburgh tog ledningen med 1-0 genom Patric Hörnqvist i den första perioden efter att Olli Määttä friställt den svenske högerskytten från blålinjen.
- Det var en fin passning från Olli och jag såg att Holtby var långt in i målet så jag försökte bara finta snabbt och lyfta upp den, sa Hörnqvist.
Jake Guentzel ökade på till 2-0 i början av den andra innan Capitals kom tillbaka i matchen med två mål inom loppet av 1.13. Evgeny Kuznetsov sköt 2-1 över axeln på Penguins målvakt Marc-Andre Fleury när klockan stod på 7.21 och Nate Schmidt hittade rätt till 2-2 med ett slagskott efter 8.33.
Capitals van skotten med hela 38-19 i matchen men några fler puckar smet inte in bakom Fleury som har släppt in färre än tre mål i sex av sina nio starter i året Stanley Cup-slutspel.
- Fleury har höjt sitt spel i ett viktigt skede av säsongen. Han är en Stanley Cup-vinnande målvakt och det tycker jag att han visar, sa Penguins tränare Mike Sullivan till NHL.com.
Washington Capitals måste nu vinna match fem på lördag för att säsongen inte ska ta slut.
- Vi måste glömma det och gå vidare. Varje match är som en sjunde avgörande för oss nu så vi måste vinna tre raka föra tt gå vidare och jag är säker på att vi är redo för det, sa Capitals-kaptenen Alexander Ovechkin.
Pittsburgh Penguins saknade Sidney Crosby som är borta på grund av den hjärnskakning han ådrog sig i match tre efter att ha krockat med Capitals Matt Niskanen.
