Os membros do Geese atribuem suas habilidades musicais às experiências em um programa da School of Rock, que todos os membros frequentaram. O baterista Max Bassin, o vocalista Cameron Winter e a guitarrista Emily Green frequentaram a Park Slope Rock School (PSRS), enquanto o baixista Dominic DiGesu e o ex-guitarrista Foster Hudson estudaram na School of Rock New York. No 'The New York Times', Hudson lembra de ter descoberto a banda de rock Television aos 12 anos, quando seu programa lhe indicou tocar a faixa assinatura deles, "Marquee Moon" — o mesmo programa que DiGesu também frequentou. Bassin, Winter e Green eram presença constante nos palcos do Brooklyn e participaram de várias sessões de composição de verão no Bunker Studios através do PSRS. Segundo o site da escola, Bassin trazia "energia insana" para trás do kit, mesmo com oito anos de idade; Winter ganhou reputação como um "compositor extraordinário"; e Green, obcecada pelo Radiohead, parecia ter um novo pedal de guitarra a cada semana, o que a inspirou a compor riffs de guitarra únicos e experimentais. O PSRS ainda lembra a música do trio "Cherry Skies" como uma das músicas originais favoritas de todos os tempos.