Josh otthagyta Carnegie Mellont 1 év után, amikor is lemezszerződési ajánlatot kapott a Warner Bros. Recordstól, Foster 143 Records-án keresztül. Foster hatására első albuma inkább a klasszikusokra koncentrált, olyan számokkal, mint a Gira Con Mevagy az Alla Luce Del Sole. 2000–2001-ben részt vett Sarah Brightman La Luna-koncertkörútján, a There For Me című számmal. Első lemez-debütálása Lara Fabiannal közös számuk, a For Always volt, mely az A.I.: Mesterséges Intelligencia (2001) című film egyik betétdala volt. Sok jótékonysági show résztvevője volt, többek között: The Andre Agassi Grand Slam Event For Children, ahol együtt énekelt a következőkkel: Elton John, Stevie Wonder, Don Henley és Robin Williams; Muhammad Ali's Fight Night Foundation; The Family Celebration (2001), melynek többek között Bill Clinton volt a házigazdája; Michael Milken's CapCure event.

2001-ben feltűnt Malcolm Wyatt szerepében az Ally McBeal című sorozat évadzáró epizódjában, a You're Still You-t adta elő. Ezt a karaktert kizárólag rá szabta a sorozat rendezője. A projekt annyira sikeresnek bizonyult, – a rajongók visszajelzései alapján –, hogy a következő szezonban is feltűnt, amikor is a To Where You Are-t énekelte el.

Debütáló albuma a Josh Groban nevet kapta és 2001. november 20-án jelent meg. A következő évben előbb arany-, majd dupla platinalemez lett.

2002. február 4-én Charlotte Churchcsel közösen adták elő a The Prayert, a 2002-es Téli Olimpia záróműsorában. Novemberben kiadta saját Live albumát, "Josh Groban in Concert" címmel. Decemberben fellépett a Nobel-díj átadóján a To Where You Are és The Prayer című számaival. Majd a Vatikánban lépett fel többek között Stinggel, a Corrsszal, Lionel Richie-vel egy karácsonyi műsorban. 2003-ban a Foster által szervezett koncerten lépett fel, a World Children's Day-en.