Gegen den Willen des Vaters – der Bub sollte auch Leinenweber werden – förderte sein Schullehrer Andreas Peterlechner die früh erkannten musikalischen Talente des intelligenten Sohnes und erteilte ihm Musikunterricht in besonderem Maße. 

Mit 18 Jahren verließ Gruber den Webstuhl endgültig und erhielt unter Zustimmung seiner Familie eine musikalische Ausbildung in Bayern bei Georg Hartdobler, Stadtpfarrorganist in Burghausen. Anschließend absolvierte er die „Normal-Hauptschule“ in Ried/Innkreis und legte dort am 22. Juli 1806 die Lehramtsprüfung für Lehrer an Trivialschulen (Volks- und Pfarrschulen) ab. 

Praxis erlangte er als Schulgehilfe bei Peterlechner. 

Nach Überwindung einiger sozialer Hindernisse, die er unter anderem mit Verehelichung in Arnsdorf meisterte, erfüllte sich sein Wunsch: Anstellung als Volksschullehrer in Arnsdorf im Salzburger Flachgau unter der Patronanz des Benediktinerstiftes von Michaelbeuern. Neben dem Schuldienst hatte Gruber den Organistendienst in der Wallfahrtskirche „Maria im Mösl“ zu bedienen, ebenso den Mesnerdienst.

Mit dem zusätzlichen Chorleiter- und Orgeldienst in der Nachbarpfarre Oberndorf öffneten sich Gruber ab 1816 neue Welten. Dort traf er 1817 auf den Hilfspriester Joseph Mohr, mit dem er sich befreundete. Gemeinsam schufen sie das Lied „Stille Nacht! Heilige Nacht!“, uraufgeführt am Heiligen Abend 1818 in der Sankt-Nikolaus-Kirche in Oberndorf. Mohr hatte den Text 1816 in Mariapfarr gedichtet, Gruber am 24. Dezember 1818 in Arnsdorf komponiert.

Gruber engagierte sich ständig leidenschaftlich musikalisch und gewann zusehends Einfluss und Ansehen als Komponist.