ANC został założony w bezpośredniej odpowiedzi na to, co było postrzegane jako niesprawiedliwość wobec czarnych mieszkańców RPA z rąk ich białego, w większości afrykanerskiego rządu. ANC miał swoje początki w wypowiedzi Pixley ka Isaka Seme, który powiedział w 1911 roku Zapomnij o wszystkich przeszłych różnicach między Afrykanami i zjednocz się w jednej narodowej organizacji. ANC został założony w następnym roku na 8 stycznia 1912.
Rząd nowo powstałego Związku Południowej Afryki rozpoczął systematyczny ucisk czarnych ludzi w RPA. W 1913 roku wydano ustawę o ziemi dla tubylców. Efektem tych ustaw było zmuszenie wielu nie-białych z ich farm do pracy w miastach i miasteczkach oraz ograniczenie ich przemieszczania się w obrębie RPA. Do 1919 roku ANC prowadził kampanię przeciwko przepustkom, a w 1929 roku ANC wsparł bojowy strajk górników.
W połowie lat dwudziestych ANC przeszedł w stan spoczynku. W tym czasie czarną ludność reprezentował również Związek Pracowników Przemysłowych i Handlowych oraz niegdyś wyłącznie biała partia komunistyczna. W 1927 r. J.T. Gumende (przewodniczący ANC) zaproponował współpracę z komunistami w celu ożywienia organizacji, ale w latach 30. został odsunięty od władzy. Doprowadziło to do tego, że ANC stał się w dużej mierze nieefektywny i nieaktywny, aż do połowy lat 40-tych, kiedy to ANC został przebudowany jako ruch masowy.
ANC reagował zbrojnie na ataki na prawa czarnych mieszkańców RPA, a także wzywał do strajków, bojkotów i oporu. Doprowadziło to do późniejszej Kampanii Defiance w latach 50-tych, masowego ruchu oporu wobec RPA pod rządami apartheidu. Rząd próbował powstrzymać ANC, zakazując działalności przywódcom partii i wprowadzając nowe prawa, które miały powstrzymać ANC, jednak te środki zawiodły.
W 1955 roku Kongres Ludu oficjalnie przyjął Kartę Wolności, określającą podstawowe zasady działania Sojuszu Kongresu Południowoafrykańskiego, w skład którego wchodził Afrykański Kongres Narodowy i jego sojusznicy: Południowoafrykański Kongres Indian, Południowoafrykański Kongres Demokratów i Kongres Ludności Kolorowej. Rząd twierdził, że jest to dokument komunistyczny i w konsekwencji przywódcy ANC i Kongresu zostali aresztowani. W 1960 r. doszło do masakry w Sharpeville, w której zginęło 69 osób, gdy policja otworzyła ogień do protestujących przeciw apartheidowi.
Biali w końcu przyłączyli się do walki z apartheidem, co doprowadziło do odłączenia się wielu czarnych supremacjonistów od ANC.
Umkhonto we Sizwe
Umkhonto we Sizwe (lub MK), w tłumaczeniu "Włócznia Narodu", było wojskowym skrzydłem ANC. Częściowo w odpowiedzi na masakrę w Sharpeville w 1960 roku, poszczególni członkowie ANC uważali, że przemoc jest potrzebna, ponieważ pokojowy, pasywny protest zawiódł. Istniała znaczna część ANC, która dlatego zwróciła się ku przemocy, aby osiągnąć swoje cele. Znaczna część przywódców ANC zgodziła się, że przemoc była potrzebna, aby zwalczyć rosnący odwet ze strony rządu.
Niektórzy członkowie ANC byli zdenerwowani działaniami MK i odmówili przyjęcia przemocy jako koniecznej dla zakończenia apartheidu, ale te osoby stały się mniejszością, ponieważ bojowniczy przywódcy, tacy jak Nelson Mandela, zyskali znaczną popularność. Wielu uważa ich działania za przestępcze, ale MK powiedział, że przemoc była usprawiedliwiona przez cel zakończenia apartheidu. Niektórzy członkowie MK popełniali akty terrorystyczne, aby osiągnąć swoje cele, a MK był odpowiedzialny za śmierć zarówno cywilów, jak i członków wojska. We współpracy z Południowoafrykańską Partią Komunistyczną, MK została założona w 1961 roku.