Pochodził ze zasymilowanej rodziny żydowskiej, pochodzenia aszkenazyjskiego. Jego dziadek Meier Halewi Marx był rabinem w Holandii, pełniąc tę funkcję od 1723 roku[4]. Jako pierwszy z rodziny świecką edukację otrzymał Heinrich Marx, ojciec Karla. Heinrich, aby uciec od antysemickich ograniczeń prawnych, z judaizmu przeszedł na dominujący w Niemczech luteranizm, zmieniając wówczas imię z pochodzącego z języka jidysz Herschela na niemieckiego Heinricha[5].
Ojciec Karla popierał liberalizm klasyczny i zainteresował się ideami filozofów Imanuela Kanta oraz Woltera. Brał udział w agitacji na rzecz wprowadzenia w Prusach konstytucji i reform, które ograniczyłyby monarchię absolutną[6]. W 1815 roku rozpoczął karierę adwokacką, a w 1819 roku wraz z rodziną wprowadził się do dziesięciopokojowego domu przy Simeongasse (obecnie Simeonstrasse 8) w pobliżu Porta Nigra[7]. Jego żona, Henrietta Pressburg była holenderską Żydówką, która pozostała przy judaizmie. Henrietta była bardzo opiekuńcza i religijna, co nie pozostało bez wpływu na jej dzieci[8].
Karl urodził się 5 maja 1818 roku w Trewirze, w budynku 664 przy Brückergasse[9]. W 1928 roku lokal został zakupiony przez Socjaldemokratyczną Partię Niemiec, a współcześnie mieści się tam muzeum poświęcone Marksowi[10].
Niewiele wiadomo o dzieciństwie Karla[11]. Był trzecim z dziewięciorga dzieci, najstarszym synem stał się, gdy w 1819 roku zmarł jego brat Moritz[12]. Karl w sierpniu 1824 roku został ochrzczony w Kościele luterańskim wraz z rodzeństwem: Sophie, Hermannem, Henriette, Louise, Emilie i Karoline[13]. Do 1830 roku miał prywatnego nauczyciela, kiedy rozpoczął naukę w nowo utworzonej szkole gimnazjalnej, której dyrektorem był przyjaciel jego ojca Hugo Wyttenbach. Zatrudniał on jako nauczycieli wielu liberalnych humanistów, co rozgniewało konserwatywny rząd. W 1832 roku policja zorganizowała nalot na szkołę i znalazła na miejscu literaturę głoszącą liberalizm. Władze zreorganizowały szkołę i wymieniły kilku pracowników[14].
W wieku 17 lat, w październiku 1835 roku, rozpoczął studia na Uniwersytecie w Bonn. Studiował filozofię i literaturę (choć jego ojciec nalegał na Karla, aby ten rozpoczął studia prawnicze)[15]. Kontynuował naukę, gdy udało mu się uniknąć służby wojskowej[16]. W Bonn dołączył do Klubu Poetów, grupy monitorowanej przez policję ze względu na radykalne poglądy polityczne niektórych uczestników[17]. Młody Marx dołączył też do klubu Landsmannschaft der Treveraner, którego został współprzewodniczącym[18]. W sierpniu 1836 roku odbył pojedynek z członkiem Korpusu Borussi[19]. Początkowo jego oceny na Uniwersytecie były dobre, ale stopniowo się pogarszały. Jego ojciec postanowił przenieść go na cieszący się lepszą renomą Uniwersytet Berliński[20].
