I Victory Kicks creano musica per chitarra trascinante, melodica e d'atmosfera, traendo ispirazione da band come Spoon, The War on Drugs, Kurt Vile, Wilco, The National, Death Cab for Cutie, Stephen Malkmus, Guided by Voices e The Walkmen.
La band ha iniziato all'inizio del 2013 come progetto di registrazione casalinga con il cantautore e polistrumentista londinese John Sibley. I primi EP e album di accattivante indie rock lo-fi ottennero un'attenzione favorevole da parte della critica e furono trasmessi in radio sia nel Regno Unito che negli Stati Uniti, e la band divenne nota per aver pubblicato un flusso quasi continuo di loft indie rock registrato in casa, facendo appena pause tra una pubblicazione e l'altra.
Questo era iniziato come un progetto solista, registrando e pubblicando dischi nel salotto di John, nel corso degli anni Victory Kicks è arrivato a posizionarsi a metà strada tra quello e una band collaborativa con contributi regolari da parte di un cast a rotazione di amici e membri di altri artisti con sede a Londra.
Capitol Hill è una traccia dell'ultimo album "Free the Night". È il settimo album della band ed è il primo dall'acclamato Lovers in Peacetime degli anni 2020. Registrato inizialmente in una serie di sessioni notturne durante il culmine della pandemia, è stato rielaborato circa nell’anno successivo. Le sue dieci canzoni parlano di amore, perdita e baseball, ambientate sullo sfondo dei primi anni '20.