Nel Liber Potheris Brixiae fra i beni del comune di Rodendesco rivendicati da Brescia è nominato anche il "Nemus ad S. Firmum": è l'attuale parrocchia di San Fermo. Allora era rettoria dipendente dalla giurisdizione del Prevosto di Rodendesco. E' rimasta tale fino al 1582, quando il Visitatore Apostolico di Milano, san Carlo Borromeo, l'ha costituita "parrocchia indipendente" e non si spiega come, nel Sinodo del 1658, venga ancora denominata "rettoria parrocchiale".
Veniva chiamata "Nemus" perché attorno aveva un vastissimo bosco.
San Fermo, una frazione il cui territorio è posto sotto la giurisdizione amministrativa di tre comuni - Gazoldo, Piubega, Rodendesco - come organizzazione sociale ha saputo conservare autonomia e vivacità di iniziative.