Il borgo di Averara fiancheggia il fiume Brembo ed è caratterizzato per il suo impianto urbanistico sparso. Il nucleo centrale sorge a ridosso del fiume, mediante le più antiche costruzioni che si sviluppano lungo la famosa Via Porticata, i cui edifici si affiancano a partire dalla fine del Duecento; dal Trecento vennero edificate strutture di difesa di accesso al borgo. Sono numerosi gli stemmi delle famiglie che vi abitarono tra il XVII e il XVIII sec., tra cui quelli dei Baschenis, Mazzoleni e Guerinoni.
All’estremità nord del paese la strada si biforca, da una parte attraverso il fiume verso la frazione di Piazza Molini, da dove parte la strada che porta a Santa Brigida, dall’altra si dirige verso oriente, dove si apre la frazione Piazzola, per poi salire sul versante verso Costa e Castello; attraverso quest’ultima percorrenza si raggiungono le frazioni di Redivo, Valle-Bastianelli e Lavaggio. Più isolato rispetto al centro è il Nucleo di Valmoresca, la cui storia è poco leggibile dalle architetture conservate. Di fatto, quindi, Piazza Molini e Piazzola costituiscono le ramificazioni più ravvicinate al centro di Averara. La frazione Piazza Molini conserva architetture della fine del Trecento, ma soprattutto quattrocentesche, caratterizzate da imponenti edifici su più livelli. Troviamo anche tracce di residenze signorili, con fronti decorati, e di piccole stalle che confermano la natura rurale del contesto.
L’area del borgo oltre il fiume, era protetta dalla Torre Ovest, in comunicazione visiva con la torre Est su tutto il borgo nella sua porzione centrale. Nella contrada Piazzola, sede nel XV secolo della Dogana veneta, si trovano edifici con caratteri signorili (gli edifici CF 45 e 46) che svettano fino al 4° livello di altezza. Poco più a nord si trova la frazione Costa, dove sono edificate case in pietra di recupero o di raccolta di dissodamento dei campi, legata da abbondante malta e con portali archivoltati.
Poco più a sud, a partire dalla fine del Trecento in località Grasselli, si innalza il cosiddetto Castello, con funzione di residenza privilegiata più che di difesa, dato che la zona era protetta dalla Torre Est, fondata fin dalla fine del XII secolo e atta a protegge questo versante collinare. Tra le aree più antiche della zona, assieme ai complessi fortificati, c’è Redivo, un importante punto di aggregazione di questo territorio, grazie al passaggio della Via Mercatorum proprio nel centro dell’abitato. Qui sorge la chiesa di San Pantaleone, con il suo campanile forse della fine del XII secolo. Distaccate da Redivo si trova la frazione di Bastianelli, ora costituita da pochi edifici disposti sui pendii delle colline. Questi complessi sono realizzati con una modularità precisa che prevede il fronte principale verso Sud in affaccio alla strada laterale e con avvistamento lungo la via Mercatorum, dotato di aperture gemelle su tutti i livelli. Differente è l’organizzazione di Valle, un nucleo che si sviluppa attorno alla strada principale, dotato di struttura di difesa perché in angolo con il punto di passaggio con la Via Mercatorum; la frazione si origina nella seconda metà del Duecento, con un importante sviluppo tra la fine del secolo e l’inizio di Trecento. Anche qui si riscontrano tecniche costruttive di buon livello che, in parte, trovano affinità con i pochi edifici conservati di Lavaggio, frazione all’imbocco della Via Mercatorum. A Lavaggio si trova, in stato completamente diruto, un edificio di ampia metratura, con carattere fortificato, ma con destinazione probabilmente signorile, e pochi altri complessi. Per quanto riguarda le costruzioni dei fortilizi della Val Brembana oltre il Goggia non sono mai stati studiati in maniera unitaria e ad oggi non ci sono visioni di insieme che consentano di capire se fosse previsto un piano unitario di difesa della valle, oppure di difesa puntuale dei singoli abitati, vista l’ampia estensione della valle. La zona oltre il Goggia era di radicamento ghibellino e presenta di per sé pochi siti fortificati e diversi punti di avvistamento e protezione dell’intorno dei borghi. Non sono presenti fortificazioni dotate di fossati. Tra gli elementi da sottolineare è la funzione “pubblica” di un edificio fortificato di tipo privato: la torre della Fontana di Averara, utilizzata per scopi statali, pur essendo di proprietà privata.