Non esistono dati certi circa la fondazione, da parte della comunità montevarchina, di una congregazione legata al culto della Sacra Reliquia all'arrivo della stessa in Montevarchi. I locali archivi hanno infatti subito ripetute perdite e talora distruzioni, ma una parziale ricostruzione di una "storia" delle compagnie devozioni sorte ad onore del Sacro Latte di Maria risulta possibile dall'analisi di memorie manoscritte, come quelle tramandateci dai proposti. Prezioso notizie derivano poi dagli statuti di Montevarchi, ceduti alla città di Firenze in data 1273, quando cioè i territori montevarchini passano in mani fiorentine (il più antico di essi risale al 1375).
Dalla loro lettura si apprende ad esempio che ad una precedente "Congregazione di Uomini e Donne", sotto il controllo vescovile e con esclusive finalità culturali, si sostituisce una "Compagnia del Latte di Maria Vergine". Analizzando le fonti relative al XV secolo si rileva che, per lo svolgimento dei servizi religiosi della "Compagnia", viene estratto a sorte uno dei cappellani della canonica di S. Lorenzo. Sono citati inoltre i suoi obblighi, la durata del titolo (4 anni nello Statuto del 27 aprile 1463) e i compensi a lui spettanti.
Anno cruciale nella storia del culto del sacro Latte di Maria è però il 1516. Il consiglio generale infatti, per impulso del Comune, sancisce la nascita della "Fraternita del Latte".
Le motivazioni reali alla base della suddetta fondazione trovano riscontro nella forte volontà, da parte dell'oligarchia cittadina, di esercitare un controllo diretto sulla precedente struttura caritativa, e ancor più sui cospicui beni che essa doveva possedere grazie ai continui lasciti dei fedeli. Oltre ai possedimenti della compagnia religiosa, la Fraternita incamera quelli dell'ospedale della Madonna del Pellegrinaggio in via Cennano, assumendosi la gestione e il mantenimento dell'ospedale stesso.
La Fraternita del Latte si distingue anche nel ruolo di committente. L'istituzione, infatti, finanzia la creazione di numerose opere d'arte a partire dal XVI secolo. Familiari esempi sono rappresentati dal notissimo tempesto robbiano all'interno della Collegiata di San Lorenzo (compreso nel progetto di rifacimento del primitivo altare della Fraternita nella Cappella del Latte) e la Croce di Pietro di Martino Spigliati, allievo del Cellini.
Nel XVII secolo, per la precisione nell'anno 1639, la Fraternita contribuisce alla nascita dell'"Opera della Fabbrica di San Lorenzo nella Terra di Montevarchi", insieme al Comune e ad altre compagnie. L'Opera si occupa della direzione e della coordinazione dei lavori che per tutto il Settecento interessano l'ampliamento della Collegiata, ed è la Fraternita a rappresentare uno dei massimi finanziatori. (Ciavarella F., La Fraternita di Santa Maria del Latte in Montevarchi, in Pesci L., "La Collegiata di San Lorenze. Maestranze fiorentine a Montevarchi dal Rinascimento all'Ottocento", Industria grafica valdarnese, 20-21)
Nella sua memoria sulla reliquia, Carlo Bartoli scrive che "il Comune et Comunità di Montevarchi devutissimi di essa Santa Reliquia non solo ebbero cura particulare che fusse tenuta in ogni decorosità", ma aggiunge anche che la Fraternita "a fatto sempre abbellire la Cappella come seguì al tempo di Luca della Robbia che la fece tutta incrostare di marzacotti dalla sua Maestranza".
La cappella della reliquia era pertanto costituita da un altare addossato alla controfacciata, protetto da un baldacchino appoggiato alla parete contigua e a quella dell'altare che, attraverso un occhio ovale aperto sopra la mensa e schermato da una grata di rame, era in comunicazione con un piccolo vano retrostante con funzione di santuario (popolarmente detto "Stanzino delle Reliquie"), contenente la reliquia. Di seguito alcuni particolari del tempietto di Andrea della Robbia.
Alla sinistra di Maria, inserito in una nicchia dal fondo azzurro, si erge la figura di San Giovanni Battista. Il suo volto colpisce per la nobiltà di espressione, specialmente degli occhi, pervasi da una inquieta malinconia, che non sono rivolti al devoto, ma guardano verso un punto lontano dell'orizzonte, distaccandosi alquanto dalla voga devozione per privilegiare un'immagine che non ostenta sofferenza.
Alla destra, sempre in una nicchia azzurra, è posta la statua di san Sebastiano. La delicata proporzione del torso si compie "in contemplazione, abbassando dai fianchi l'intralcio dei panni", armonie che Carlo Del Bravo ritiene tratte dal Perugino col quale Andrea Della Robbia lavora nel 1495 per un altare in Santa Chiara.
Nella Pietà, così toccante agli occhi del devoto per la limpida percezione delle immagini, le figure eburnee di Maria e di Giovanni dolenti, disposte ai lati del Cristo morto nel sepolcro, emergono con straordinario nitore dal fondo azzurro. I caratteri stilistici, pur nella variazione sensibile degli atteggiamenti, si mostrano conformi all'imago pietatis che Andrea qualche anno prima aveva elaborato per il paliotto del tabernacolo marmoreo di Santa Maria delle Grazie in Arezzo.
Nel grande pannello con la consegna della reliquia, appaiono evidenti le sraordinarie doti narrative del modellatore: la donazione della reliquia avviene in uno spazio presso la cerchia delle mura di Montevarchi e la scena è scandita nei tre momenti in cui si svolge in successione la solenne cerimonia. Alla sinistra, sono accalcati i militari armati di lance al seguito del conte; al centro, un baldacchino protegge Guidoguerra inginocchiato in armatura che presenta la reliquia - contenuta in un reliquiario di rame dorato che corrisponde in parte a quello rinascimentale tutt'ora esistente - al priore di San Lorenzo, inginocchiato di fronte a lui; dietro a un cavaliere e a un chierico che regge il baldacchino è genuflesso un uomo barbato coperto da un manto decorato da gigli d'oro: Carlo d'Angiò, il primo donatore del sacro Latte; sulla destra del pannello, la solenne processione si appresta ad accedere dentro le mura di Montevarchi. Ben visibili su buona parte della superficie i segni delle commettiture che circoscrivono i diversi pezzi di cui il fregio si compone. (Pesci L., "La Collegiata di San Lorenze. Maestranze fiorentine a Montevarchi dal Rinascimento all'Ottocento", Industria grafica valdarnese, 27.33.35.38)