James Monroe przyszedł na świat 28 kwietnia 1758 r. w hrabstwie Westmoreland – miejscu dość niezwykłym w historii Ameryki. Tutaj bowiem 26 lat wcześniej urodził się Jerzy Waszyngton. James Monroe był najstarszym synem farmera, cieśli i sędziego okręgowego Spence'a Monroego. Jego pradziadek Patrick Andrew Monroe przybył do Wirginii w połowie XVII w. W 1650 r. kupił plantację w Washington Parish w hrabstwie Westmoreland. Z kolei rodzina pani Elizabeth Monroe z domu Jones pochodziła z Walii. Wśród przodków piątego prezydenta Stanów Zjednoczonych byli także francuscy hugenoci, którzy przybyli do Nowego Świata w XVII w., uciekając przed prześladowaniami ze strony katolików. Spence Monroe i Elizabeth Jones wzięli ślub w 1752 r., ale ich pierwsze dziecko – James – przyszło na świat dopiero sześć lat później. Sąsiedzi i znajomi państwa Monroe byli przekonani, że małżeństwo nie może mieć dzieci. Tymczasem James był pierwszym z pięciorga dzieci tej pary. Rodzina Monroe, podobnie jak większość rodów farmerskich Wirginii, należała do Kościoła episkopalnego. Nie byli to jednak ludzie przesadnie pobożni, o czym świadczyć może fakt, że późniejsze poglądy Jamesa na religię były zbliżone do liberalnego stanowiska reprezentowanego przez Thomasa Jeffersona.
Pierwszą nauczycielką Jamesa była jego matka. Dopiero w wieku 11 lat uzdolniony chłopak został przyjęty do Akademii Miejskiej Campbella, czyli lokalnej szkoły założonej i prowadzonej przez wielebnego pastora Archibalda Campbella z Washington Parish. W kronikach hrabstwa zachowały się dokumenty szkolne, z których wynika, że James Monroe wyróżniał się wśród innych uczniów w nauce łaciny i matematyki. Jego kolegą z ławki szkolnej był starszy o trzy lata John Marshall, który w 1801 r. zostanie mianowany przez prezydenta Johna Adamsa czwartym w historii prezesem Sądu Najwyższego Stanów Zjednoczonych. O czym mogli rozmawiać ci dwaj chłopcy, którzy każdego dnia pokonywali wspólnie kilkukilometrową drogę do szkoły? Czy chociaż przez moment przez ich dziecięce umysły przebiło się przeczucie, że pewnego dnia będą rządzić państwem, które wówczas jeszcze nie istniało?
Bohater wojny o niepodległość
Wspólne wędrówki do szkoły przyszłego prezydenta i prezesa Sądu Najwyższego Stanów Zjednoczonych zakończyły się w 1774 r., kiedy James Monroe wyjechał na studia do College of William & Mary w Wirginii. Rodziców Johna Marshalla nie stać było na dalszą edukację syna, mimo że chłopiec wykazywał niezwykłe zainteresowanie literaturą i naukami humanistycznymi.
James Monroe trafił do największej kuźni umysłów amerykańskiego Południa. Nazwana na cześć króla Williama III i królowej Marii II uczelnia Kościoła episkopalnego była, jak na owe czasy, szkołą bardzo postępową. Studiowali na niej bowiem nie tylko synowie kolonistów z Wirginii, ale także młodzi Indianie. Było to jedno z nielicznych miejsc, które traktowało zasymilowaną rdzenną ludność indiańską na równi z białymi obywatelami kolonii. Dopiero w 1786 r., kiedy za sprawą starań Jamesa Madisona stan Wirginii wprowadził wolność religii, uczelnia zmieniła się w szkołę o bardziej laickim profilu nauczania.
16 lutego 1774 r. zmarł Spence Monroe. Wszystko wskazywało, że zaledwie po roku studiów 17-letni James będzie musiał opuścić uczelnię. Na szczęście otrzymał wsparcie finansowe od swojego wuja, sędziego Josepha Jonesa. I to on prawdopodobnie zachęcił swojego siostrzeńca do wstąpienia w szeregi Armii Kontynentalnej. Wuj przyszłego prezydenta Stanów Zjednoczonych był postacią niezwykle barwną i zasłużoną dla walki o niepodległość. W 1751 r. ukończył studia prawnicze w Londynie i otrzymał stopień adwokata sądów gminnych, a już trzy lata później, w wieku 27 lat, został adwokatem królewskim w mieście Fredericksburg w Wirginii. Joseph Jones należał do grupy umiarkowanych patriotów, którzy w latach 1774–1775 stworzyli Komitet Bezpieczeństwa mający za zadanie kontrolować i koordynować proces rządzenia w 13 nowo utworzonych stanach Ameryki Północnej.