James Knox Polk urodził się 2 listopada 1795 r. na rodzinnej farmie w hrabstwie Mecklenburg w Karolinie Północnej jako pierwsze z dziesięciorga dzieci Samuela i Jane Polków. Jego ojciec pochodził z rodziny o irlandzko-szkockich korzeniach. Matka była potomkinią Johna Knoxa, wielkiego XVI-wiecznego teologa kalwińskiego, przywódcy brytyjskiego ruchu reformatorskiego i założyciela Kościoła prezbiteriańskiego w Szkocji. Jane Polk była dumna ze swojego przodka i starała się prowadzić dom w powściągliwym duchu jego nauczania zawartego w dwóch dziełach: „History of Reformation in Scotland” (Historia reformacji w Szkocji) i „The First Book of Discipline” (Pierwsza księga dyscypliny).
O ile matka przyszłego prezydenta USA była kobietą bardzo pobożną lub wręcz przejawiającą skrajną dewocję, o tyle jego ojciec był daleki od wszelkich przejawów religijności. Jego stosunek do Kościoła i surowych reguł prezbiterianizmu był obojętny lub wręcz wrogi. Do tego stopnia, że podczas chrztu swojego syna Jamesa ku rozpaczy żony odmówił wypowiedzenia obowiązkowej formuły wyznaniowej, że jest chrześcijaninem. W hrabstwie Mecklenburg krążyła plotka, że Samuel Polk pokłócił się wtedy z pastorem, ostro go zwyzywał i opuścił kościół, zanim syn został ochrzczony. James Knox Polk nigdy nie był pewien, czy w związku z tym incydentem w ogóle został ochrzczony. Chcąc jednak uniknąć niepewności, przyjął chrzest tuż przed śmiercią 53 lata później.
Ten zgoła niechętny stosunek do spraw wiary przejął Samuel Polk po swoim ojcu Ezekielu, który był zdeklarowanym deistą i zwolennikiem państwa wolnego światopoglądowego. Ta dziwna mieszanina religijności matki i niechęci ojca do Kościoła ukształtowała specyficzny stosunek Jamesa Knoxa Polka do spraw światopoglądowych.
Być może narastająca religijność przyszłego prezydenta USA była spowodowana jego wątłym zdrowiem i ciągłym balansowaniem na granicy życia i śmierci. Był człowiekiem chorowitym, ale nie słabym psychicznie. Wręcz przeciwnie, niewielu ludzi na świecie byłoby w stanie wytrzymać przeprowadzoną na kuchennym stole operację woreczka żółciowego, podczas której jedynym anestetykiem była szklanka mocnego alkoholu. James był chłopcem mizernym, lecz z determinacją walczył z własnymi słabościami. Jako najstarszy syn musiał nieustannie pomagać ojcu na farmie. Ta harówka ponad siły pozostawiła w nim na całe życie wielki szacunek dla ludzi ciężko pracujących fizycznie.
Przeciwnik pojedynków
W 1806 r. rodzina Polków przeniosła się do Tennessee, które wówczas było uznawane za pogranicze cywilizowanego świata. James miał 11 lat i był tak słaby, że ojciec postanowił odsunąć go od pracy fizycznej i przekazać mu prowadzenie części interesów rodzinnych. Dzisiaj wydaje się dziwne, że nastolatek prowadził rodzinną buchalterię, ale wówczas dzieciństwo kończyło się z dniem, kiedy dziecko było zdolne wykonywać pierwsze prace na farmie. James nie nadawał się jednak na farmera, dlatego wkrótce zaczął przygotowywać się do studiów prawniczych na University of North Carolina. Uczelnię tę ukończył z wyróżnieniem w 1818 r. i rozpoczął praktykę w firmie prawniczej Felixa Gruny’ego w Nashville. Dwa lata później założył własną kancelarię adwokacką w mieście Columbia w stanie Tennessee. Renoma dobrego adwokata otworzyła mu drzwi na salony. Wkrótce poznał tam Andrew Jacksona, przyjaciela swojego ojca. Ta znajomość miała się okazać kluczowa w jego karierze politycznej.