Le persone che conobbero Padre McGivney in questo periodo, rimasero colpite dalla sua energia e intensità. William Geary, uno dei primi membri dell'Ordine disse: "al primo incontro del Council del 1882 egli fu acclamato come fondatore da 24 uomini con i cuori pieni di gioia e di ringraziamento, riconoscendo che, senza il suo ottimismo, la sua volontà di successo, i suoi consigli e i suoi suggerimenti loro avrebbero fallito".
Padre McGivney aveva suggerito "Figli di Colombo" come nome dell'Ordine, in quanto ciò avrebbe unito il Cattolicesimo e l'Americanismo insieme attraverso la fede e la coraggiosa visione dello scopritore del nuovo mondo.
La parola "Cavalieri" rimpiazzò "Figli" perché alcuni Membri chiave dell'Organizzazione, che erano nativi dell'Irlanda e veterani della guerra civile, pensarono che avrebbe aiutato riunirsi intorno ad un nobile rituale in aiuto alla causa emergente della libertà Cattolica civile.
Il 29 marzo la legislatura del Connecticut assegnò un capitolo ai Cavalieri di Colombo riconoscendola formalmente come una corporazione legale.
I principi dell'Ordine furono, nel 1882, Unità e Carità, mentre i concetti della Fraternalità e Patriottismo furono aggiunti successivamente.
Ognuno di questi ideali giocò un ruolo importante nelle cerimonie fin dall'inizio. I temi collegati a Colombo, dice lo storico Christopher J. Kauffman, "si mostra con orgoglio nella promessa Americana di libertà, uguaglianza e opportunità". Dal Maggio 1883 il Council n°2 fu aperto nel Meriden, nel Connecticut ed il Vescovo McMahon, cosi impressionato dell'organizzazione, divenne un Membro del Council n° 11 nel 1884 e servì come Cappellano del Council.
Alla fine del 1885 c'erano 31 Council nel Connecticut. Nel Novembre 1884 McGivney fu nominato Pastore della Chiesa di St. Thomas in Thomaston, nel Connecticut, un villaggio industriale a 10 miglia dalla sua casa nativa.
Era una Parrocchia con gravi debiti che serviva dei parrocchiani della classe operaia con poche risorse oltre la loro fede. Durante la sua ultima Messa a St. Mary, la chiesa era piena di fedeli riconoscenti che si sentivano più vicini a Dio attraverso il suo ministero. I parrocchiani di New Haven dichiararono che: "Nonostante i problemi e le tristezze la sua cortesia, la sua gentilezza, la purezza della sua vita gli avevano assicurato l'amore e la fiducia della gente di St. Mary che lo avrebbe seguito in qualsiasi attività".
Nel corso dei sei anni passati a St. Thomas, padre McGivney fu un ammirevole pastore che strinse forti legami con i parrocchiani prendendosi cura del loro benessere spirituale e temporale. Continuò comunque a servire come Cappellano Supremo, aiutando personalmente ad aumentare il numero dei Cavalieri e confidando nei leader dell'Ordine a New Haven, affinché il lavoro che aveva cominciato venisse portato avanti anche oltre il Connecticut. Dal 1901 al 1939, anche i suoi fratelli più giovani Monsignor Patrick e John J. McGivney, servirono l'Ordine come Cappellani Supremi.