Ο Κάρολος Παπούλιας γεννήθηκε στις 4 Ιουνίου 1929 στα Γιάννινα, γενέθλιο τόπο της μητέρας του. Ο πατέρας του, Υποστράτηγος Γρηγόρης Παπούλιας, Εύελπις της ηρωικής τάξεως του 1911, υπέκυψε το Σεπτέμβριο του 1936 στις κακουχίες της Μικρασιατικής εκστρατείας του 1921.
Τελείωσε το δημοτικό σχολείο Πωγωνιανής και εφοίτησε στα γυμνάσια Πωγωνιανής, Ζωσιμαίας Ιωαννίνων, Παλαιού Φαλήρου και 7ου Παγκρατίου Αθηνών. Η ναζιστική κατοχή τον βρήκε μαθητή του γυμνασίου Πωγωνιανής. Εντάχθηκε από τους πρώτους στην ένοπλη αντίσταση εναντίον των εισβολέων.
Δικηγόρος σπούδασε νομικά στα Πανεπιστήμια Αθηνών, Μιλάνου και Κολωνίας όπου και ανηγορεύθη διδάκτωρ της Νομικής Σχολής με θέμα, "Κτήση και Απώλεια της Νομής κατά το Ελληνικό και Γερμανικό Δίκαιο" υπό την επίβλεψη του διαπρεπούς νομομαθούς, καθηγητού του Ιδιωτικού Διεθνούς Δικαίου Gerhard Kegel.
Υπήρξε επιστημονικός συνεργάτης του Ινστιτούτου Νοτιοανατολικής Ευρώπης του Μονάχου. Έγραψε επιτομή της ελληνικής αντίστασης που κυκλοφόρησε στο γνωστό γερμανικό εκδοτικό οίκο Suhrkamp. Μελέτες και άρθρα του έχουν δημοσιευθεί σε ξένες εφημερίδες και περιοδικά.
Το στρατιωτικό πραξικόπημα του 1967 τον βρήκε στην Ομοσπονδιακή Γερμανία. Εκεί πρωτοστάτησε στην οργάνωση της Σοσιαλιστικής Δημοκρατικής Ενωσης Εξωτερικού, η οποία οργάνωσε και κινητοποίησε τους Ελληνες εργαζομένους, φοιτητές και επιστήμονες της Δυτικής Ευρώπης εναντίον της χούντας των συνταγματαρχών. Υπήρξε επίσης ιδρυτικό μέλος της πρώτης συνδικαλιστικής αντιστασιακής οργάνωσης και ήταν ένας από τους τακτικότερους συνεργάτες της Ντόϊτσε Βέλλε.
Από το Δεκέμβριο του 1974 εκλέγεται αδιαλείπτως μέλος της Κεντρικής Επιτροπής του ΠΑΣΟΚ. Υπήρξε μέλος του Συντονιστικού Συμβουλίου, μέλος του Εκτελεστικού Γραφείου και μέλος της Πολιτικής Γραμματείας, Γραμματέας της Επιτροπής Διεθνών Σχέσεων του ΠΑΣΟΚ από τον Απρίλη του 1975 μέχρι το 1985. Διετέλεσε επί σειρά ετών μέλος της συντονιστικής Επιτροπής των Σοσιαλιστικών και Προοδευτικών κομμάτων της Μεσογείου.
Το 1974 έλαβε μέρος στις εθνικές εκλογές ως υποψήφιος του ΠΑΣΟΚ στο Νομό Ιωαννίνων, δεν εξελέγη, αν και κατετάγη πρώτος σε αριθμό ψήφων του κόμματος του. Το 1977 εξελέγη για πρώτη φορά βουλευτής Ιωαννίνων και επανεκλεγόταν συνεχώς μέχρι τις εκλογές του 2004.
Από το 1981 έως το 1985, επί κυβερνήσεων Ανδρέα Παπανδρέου, διετέλεσε Υφυπουργός, Αναπληρωτής Υπουργός, και, από το 1985 έως 1989 και από το 1993 έως 1996, Υπουργός Εξωτερικών. Κατά τη διάρκεια της Οικουμενικής Κυβέρνησης διατέλεσε Υπουργός Αναπληρωτής Εθνικής Άμυνας (1989-1990). Επί πρωθυπουργίας του κ. Κ. Σημίτη διετέλεσε επί σειρά ετών, 1998 έως 2004, Πρόεδρος της Διαρκούς Επιτροπής Εθνικής Άμυνας και Εξωτερικών Υποθέσεων.
Κατά τη διάρκεια της μακρόχρονης υπουργικής του θητείας ταυτίστηκε με μια διορατική και πολυεπίπεδη εξωτερική πολιτική. Τη δεκαετία του 1980 πρωταγωνίστησε σε όλες τις προσπάθειες επίλυσης του μεσανατολικού ζητήματος με κορυφαίο γεγονός την επιτυχή διαμεσολάβηση του για την ασφαλή αποχώρηση των εγκλωβισμένων μαχητών της παλαιστινιακής αντίστασης και του ίδιου του Αραφάτ με ελληνικά πλοία από την Τρίπολη του Λιβάνου (1983).
Απέδωσε ιδιαίτερη σημασία στη δημιουργία στέρεων σχέσεων με τον αραβικό κόσμο, είναι δε ενδεικτική η εξομάλυνση των ελληνοαιγυπτιακών σχέσεων και η θεσμοθέτηση της τριμερούς συνεργασίας Ιράν-Αρμενίας-Ελλάδος. Συνομίλησε με δώδεκα συνολικά Υπουργούς Εξωτερικών της Τουρκίας και ήταν σταθερά προσανατολισμένος στη διαρκή και επίπονη προσπάθεια εξομάλυνσης των ελληνοτουρκικών σχέσεων. Η προσπάθεια αυτή κορυφώθηκε με την υπογραφή του Μνημονίου Παπούλια-Γιλμάζ το 1988. Υποστήριξε την ευρωπαϊκή προοπτική της Τουρκίας υπό τον όρο του σεβασμού του διεθνούς δικαίου και του κοινοτικού συστήματος αξιών. Την τριετία 1993-96 υπήρξε σημαντική η συμβολή του στην έναρξη των ενταξιακών συνομιλιών της Κυπριακής Δημοκρατίας, ιδιαίτερα στον καθοριστικό για την ένταξη της συμβούλιο κορυφής της Ευρωπαϊκής Ένωσης (ΕΕ) στο Εσσεν.
Ως προεδρεύων της ΕΕ 1994 και ως μέλος της Ομάδος Επαφής για την πρώην Γιουγκοσλαβία, μαζί με τους κ.κ. Κρίστοφερ, Κίνκελ, Ζιπέ, Κόζιρεφ και Βαν ντερ Μπρούκ, κατέβαλε κάθε δυνατή προσπάθεια για την υπέρβαση της κρίσης στη Βοσνία-Ερζεγοβίνη. Υπέγραψε την ενδιάμεση συμφωνία με την πρώην Γιουγκοσλαβική Δημοκρατία της Μακεδονίας (Σεπτέμβριος 1995).
Διατηρούσε ανοιχτούς διαύλους επικοινωνίας με όλους τους Βαλκάνιους ηγέτες και λειτούργησε κατ' επανάληψη ως μεσολαβητής της ΕΕ. Είχε έντονο ενδιαφέρον για τις σχέσεις Ελλάδος με τις βαλκανικές χώρες και με δική του πρωτοβουλία πραγματοποιήθηκε η πρώτη διαβαλκανική διάσκεψη Υπουργών Εξωτερικών στο Βελιγράδι (1988) όπου πέτυχε την έναρξη συνομιλιών με τη Βουλγαρία και την τότε ΕΣΣΔ για τον πετρελαιαγωγό Μπουργκάς-Αλεξανδρούπολης.
Προσπάθησε και επέτυχε την υπογραφή πρωτοκόλλου αμοιβαίας πολιτικοστρατιωτικής συνδρομής με τη Βουλγαρία μεσούντος του ψυχρού πολέμου. Απεκατέστησε σχέσεις φιλίας και καλής γειτονίας με την Αλβανία αίροντας την εμπόλεμο κατάσταση που μέχρι τότε επικρατούσε στις ελληνοαλβανικές σχέσεις.
Ο Κάρολος Παπούλιας υποστήριξε με αμείωτο ενδιαφέρον κάθε θετικό βήμα προς την κατεύθυνση της ύφεσης της ειρήνης και του αφοπλισμού. Στο πλαίσιο αυτό εντάσσονται: Η "πρωτοβουλία των έξη" για την ειρήνη και τον αφοπλισμό (Αλφονσίν, Ντελαντρίντ, Νυερέρε, Πάλμε, Γκάντι, Α. Παπανδρέου). Η συμμετοχή στη Διάσκεψη για τον αφοπλισμό και την ειρήνη στην Ευρώπη, στη Διάσκεψη για την κατάργηση των χημικών όπλων, οι προτάσεις για τη δημιουργία αποπυρηνικής ζώνης στα Βαλκάνια, η προώθηση της ιδέας για τη μετατροπή της Μεσογείου σε θάλασσα ειρήνης και συνεργασίας. Υπήρξε εμπνευστής της τριμερούς Διάσκεψης συνεργασίας Ελλάδος-Βουλγαρίας-Ρουμανίας (JANNINA 1) και ένθερμος υποστηρικτής της Διάσκεψης των παρευξεινίων χωρών, της οποίας διατέλεσε και πρόεδρος επί σειρά ετών. Την περίοδο 1997-2003 διετέλεσε Πρόεδρος της επιτροπής της Ελληνικής Βουλής για τον Οργανισμό Ασφάλειας και Συνεργασίας της Ευρώπης.
Με την επίσκεψή του στην Ουάσιγκτον το 1985 και την αντεπίσκεψη του τότε επικεφαλής του Στέϊτ Ντιπάρτμεντ Τζ. Σούλτς συνέβαλε σημαντικά στην επανατοποθέτηση και εξομάλυνση των ελληνοαμερικανικών σχέσεων που τα προηγούμενα χρόνια είχανε δοκιμαστεί σκληρά.
Υπήρξε πρωταθλητής Ελλάδος στο άλμα επί κοντώ, παίκτης της εθνικής ομάδος βόλεϊμπολ και πρόεδρος για είκοσι πέντε χρόνια του ιστορικού Σωματείου του Εθνικού Γυμναστικού Συλλόγου.
Γνωρίζει τρεις ξένες γλώσσες, γερμανικά, γαλλικά, ιταλικά.
Είναι παντρεμένος με τη Μαίη Πάνου και έχει τρεις κόρες.