Historia dzieje się w czasie, gdy Hiszpania właśnie zbliża się do końca wojny z Francją. Oba kraje uzgodniły, że Don Carlos, następca tronu Hiszpanii, poślubi Elżbietę, córkę króla Francji.
Akt I
Don Carlos chce zobaczyć dziewczynę, którą ma poślubić. Jedzie do Francji i w tajemnicy przyłącza się do królewskiego polowania, w którym bierze udział Elżbieta. Elżbieta i jej strona są oddzielone od pozostałych. Carlos rozmawia z nią i proponuje zabrać ją do domu. Księżniczka pyta go o księcia, którego ma poślubić. Carlos mówi, że nie musi się martwić, bo książę jest w niej miły i zakochany. Następnie pokazuje Elżbiecie zdjęcie księcia, a potem Elżbieta oczywiście uświadamia sobie, że to z nim rozmawia. Śpiewają miłosny duet.
Niektórzy hiszpańscy urzędnicy przychodzą i mówią Elżbiecie, że zdecydowano, iż nie wyjdzie za księcia: ma wyjść za mąż za jego ojca, króla Hiszpanii. Ci dwaj kochankowie są przerażeni tą wiadomością. Tłum ludzi błaga Elżbietę, aby zgodziła się poślubić króla Hiszpanii, aby wojna się skończyła. W końcu się zgadza.
Akt II
Don Carlos poszedł do klasztoru, żeby być cicho w swojej nędzy. Jego dziadek, Charles V, spędził ostatnie dni w tym klasztorze. Rozmawia z nim zakonnik. Carlos uważa, że mnich wygląda jak jego dziadek.
Carlos jest pełen radości, gdy przychodzi jego przyjaciel Rodrigue. Właśnie wrócił z Flandrii, gdzie wciąż jest dużo walki. Carlos zdradza mu sekret: że jest zakochany w Elżbiecie, która wyszła za mąż za jego ojca i dlatego jest królową Hiszpanii. Rodrigue mówi mu, że powinien poświęcić swój czas na pomoc biednym mieszkańcom Flandrii. Król i królowa przechodzą przez grobowiec.
Kiedy królowa wychodzi z kościoła, idzie do ogrodu, gdzie czekają na nią jej panie. Posłaniec daje jej list od matki w Paryżu, ale w tym samym czasie potajemnie daje jej list od Carlosa. Rodrigue rozmawia po cichu z Eboli, damą królowej, która czeka, a królowa czyta listy. Rodrigue prosi królową, aby spróbowała przekonać króla, by pozwolił Carlosowi z nim porozmawiać. Eboli jest zakochana w Carlosie. Ona zauważyła, jak Carlos został wzburzony, gdy był w obecności królowej, i myśli, że to dlatego, że Carlos ją kocha (Eboli).
Carlos ma szansę spotkać się z Elżbietą prywatnie. Spokojnie pyta ją, czy mogłaby namówić króla, by wysłał go do Flandrii. Nie jest jednak spokojny i wkrótce zaczyna się na nią gniewać za to, że nie okazała wobec niego żadnych uczuć miłosnych. Mówi mu, że teraz, gdy jest królową, jest to jej obowiązek. Carlos rozumie, ale nadal jest w niej zakochany. Pada u jej stóp. Chwyta ją i deklaruje swoją miłość do niej, ale królowa wyrywa się od niego, a on pędzi w rozpaczy.
Królowie wychodzą z kościoła. Jest bardzo krzyżem, że jego żona została pozostawiona sama sobie. Mówi damie w oczekiwaniu, żeby odeszła. Królowa ją pociesza. Potem ona i jej damy idą.
Rodrigue prosi króla, aby przestał walczyć z ludem Flandrii, który nadal umiera i głoduje z głodu. Król mówi, że nie byli oni wierni i zasługują na karę. Mówi Rodrigue, że boi się tego, co dzieje się między Elżbietą a Carlosem. Mówi mu, żeby wiedział o Inkwizycji.
Akt III
W pałacu w Madrycie odbywa się bal maskowy. Carlos czeka w ogrodzie królowej. Do ogrodu przychodzi dama, ubrana w maskę, jak wszyscy. Myśli, że to królowa i mówi jej, jak ją kocha. Kiedy dama zdejmuje jej maskę, zdaje sobie sprawę, że to Eboni. Oskarża go o to, że kocha królową. W tym momencie przychodzi Rodrigue. Mówi Eboni, że Carlos nie czuje się dobrze i nie rozumie, o czym mówi. Ale Eboni nie jest oszukana i planuje zrujnować ich romans.
Druga scena aktu odbywa się na placu w Madrycie. Przygotowywany jest auto-da-fé. W czasie Inkwizycji Hiszpańskiej była to ceremonia, podczas której każdy, kto nie zgadzał się z kościołem rzymskokatolickim, został spalony na śmierć. Wchodzą mnisi, a następnie nieszczęśliwi ludzie, którzy mają zostać spaleni. Ludzie śpiewają o chwałach Hiszpanii. Pojawia się król Filip i powtarza, że będzie walczył z każdym, kto jest wrogiem Kościoła rzymskokatolickiego. Sześć osób, w tym Carlos, pojawia się i rzuca się do jego stóp, błagając go, aby powstrzymał swoje wojska przed zabiciem Flamandów. Król nie usłyszy o tym. Niektórzy z tłumu popierają króla, ale inni błagają go o litość. Następnie Carlos prosi ojca, by pozwolił mu rządzić dla niego Flandrią. Król nie pozwala na to, ponieważ zdaje sobie sprawę, że może to być okazja dla Carlosa i narodu flamandzkiego, by powstać przeciwko niemu. Carlos jest zdesperowany. Wyciąga swój miecz i mówi, że uratuje Flandrię. Tłumy są przerażone widząc go tak zachowującego się przed królem. Król rozkazuje swoim żołnierzom odebrać Carlosowi miecz, ale nikt mu nie posłuszny. W końcu Rodrigue (który zdaje sobie sprawę, że będzie to dla niego złe) ratuje sytuację, spokojnie prosząc Carlosa o miecz. On go wręcza, a Rodrigue daje go królowi. Mnisi postępują dalej, a głos z nieba obiecuje pokój na świecie.
ActIV
Król jest sam w kościele. We wspaniałej arii śpiewa o swoim smutku, że jego żona zdaje się go nie kochać. Wchodzi Wielki Inkwizytor. Jest bardzo stary, i ślepy. Król mówi mu o swoim synu i pyta Inkwizytora, czy Carlosowi należy wybaczyć, czy też skazać go na śmierć. Inkwizytor odpowiada, że to Rodrigue powinien zostać zabity. Król ośmiela się się nie zgodzić. Inkwizytor mówi królowi, że nie oddaje swego serca Bogu. Inkwizytor idzie.
Królowa wpada i prosi króla, aby pomógł jej poszukać szkatułki z klejnotami, które zniknęły z jej pokoju. Król pokazuje jej, że jest na stole. Mówi jej, że musi ją otworzyć. Ona to robi. Na górze jest portret Carlosa. Król jest bardzo zły i oskarża ją o cudzołóstwo. Ona zemdleje. Król wzywa Eboli i Rodrigue na pomoc. Król żałuje swoich podejrzeń, ale Eboli jeszcze bardziej żałuje, bo to ona wzięła trumnę, bo była zazdrosna o Carlosa i Elżbietę. To ona zasugerowała królowi, by zajrzał do szkatułki z klejnotami. Rodrigue uważa, że może uratować przyjaciela tylko przez ofiarowanie się na śmierć zamiast Carlosa. Król i Rodrigue odchodzą. Eboni rzuca się u stóp królowej, która teraz ożywiła się i przyznaje, że sama jest winna cudzołóstwa, ponieważ spała z królem. Elżbieta pozostaje spokojna, ale mówi Eboni, by odeszła od niej na zawsze i zamieszkała w klasztorze zakonnym. Kiedy Eboni zostaje sama, wyraża swoje uczucia straszliwej nędzy. Zanim pójdzie do klasztoru, ma jeszcze jedną rzecz do zrobienia: spróbować uratować Carlosa przed śmiercią.
Druga scena aktu przedstawia Carlosa w więzieniu. Rodrigue przychodzi do niego. Wie, że flamandzkie listy adresowane do Carlosa zostały znalezione w jego posiadaniu. Ktoś przychodzi i zabija Rodrigue'a. Gdy umiera, mówi Carlosowi, że królowa poczeka na niego następnego dnia poza klasztorem i zobaczy go po raz ostatni. On umiera.
Czasami akt IV kończy się tutaj, ale niektóre przedstawienia nadal pokazują scenę, w której król próbuje oddać miecz swojemu synowi, ale Carlos oskarża go o zamordowanie przyjaciela. Grupa ludzi, w tym Eboli, wchodzi do więzienia i płacze do króla, aby uwolnić Carlosa. Pojawia się Inkwizytor. Gniewa się na tłum, że są niegodziwi, by iść wbrew woli Boga. Mówi im wszystkim, by padli na kolana i pokutowali.
Akt V
Elżbieta klęka przed grobem Karola V. Śpiewa o swojej utraconej młodości we Francji (część muzyki z aktu I wraca tutaj). Modli się o pokój. Elżbieta i Carlos spotykają się wtedy po raz ostatni (ich trzeci duet w operze) i pragną szczęśliwszych czasów. Król i Inkwizytor ukrywają się. Teraz pojawiają się i chwytają Carlosa. Strażnicy mają go złapać, ale Carlos broni się. Nagle słyszy się głos Karola V (lub mnicha w przebraniu). Zabiera swojego wnuka w bezpieczne miejsce w klasztorze.
