Il restauro conservativo che si sta approntando da alcuni anni ha confermato alcune notizie storiche sull'edificazione del fortilizio. Pur non potendo con certezza delimitare i vari periodi di realizzazione dei diversi edifici si può tuttavia affermare che gran parte dell'aspetto attuale del castello porta ancora in sé alcune tipologie costruttive originali perché il maniero non ha subito nei secoli trasformazioni, ristrutturazioni e demolizioni perché non è stato interessato da eventi bellici. Ciò significa che, fatto salvo l'abbattimento delle due torri a sud nel XVI, la visita al castello di Pagazzano può diventare una documentazione originaria sull'edificazione di strutture difensive medioevali. In modo semplificato si può sintetizzare la presenza di almeno quattro diversi periodi di edificazione delle strutture anche se occorre aggiungere che non sempre è possibile definire un preciso gusto di una certa epoca a causa della commistione di molti stili architettonici.
Innanzitutto la parte meno visibile è la più vecchia: i grandi stanzoni e i sotterranei, composti da murature formate da mattoni misti a pietrame, fanno risalire la parte più antica del maniero almeno a prima del XV sec. se non addirittura all'XI. Il mastio con l'annesso "Palatium castri" è del periodo sforzesco ('300) mentre la parte esterna, cioè la costruzione che ogni giorno è visibile (scarpatura e controscarpa), si fa risalire al 1450-70. Internamente, a sud-ovest, un palazzetto denominato "Villa" è la testimonianza più recente, costruita da Galeazzo Visconti, arciprete di Pagazzano, dal 1553. Nel 1700 subì altri rifacimenti. All'interno è rimasto, testimonianza dei fasti passati, un camino cinquecentesco in arenaria che conserva ancora scolpiti i simboli e lo stemma dei Visconti.
Del '600 sono infine le parte colonica a sud est che sarà fatto oggetto di un prossimo restauro conservativo.
Nel '900 i nuovi proprietari e gli affittuari hanno spesso modificato gli interni ai gusti dell’epoca.
Se il castello di Pagazzano non ha subito ristrutturazioni militari radicali è perché è rimasto al di fuori delle grandi battaglie del suo tempo.
Pertanto si deve concludere che l'aspetto attuale del fortilizio suggerisca una sua utilizzazione diciamo "meno militare", ma più legata alle vicende di alcune famiglie nobili o alle peripezie di signorotti del posto, i quali tendevano certamente a spadroneggiare indisturbati sul territorio con le proprie orde di uomini malfamati, avendo a disposizione una costruzione in cui rifugiarsi dopo le innumerevoli scorribande.
In base alle caratteristiche costruttive, sembra (ma il dubbio è di dovere) che si possa attribuire la costruzione del castello all’architetto Gadio (colui che ha realizzato il maniero di Milano, di Soncino e Pandino).
Durante alcuni sopralluoghi per stabilire un prossimo intervento di restauro sono stati trovati nell'ala detta "Palazzetto" tra il maggio del 2001 e aprile del 2008 alcuni frammenti di dipinti la cui consistenza dovrà essere valutata in seguito.