Das Ferdinandeum ist ein großflächiges, viergeschossiges, 20-achsiges Gebäude, das zwei Innenhöfe mit Pfeilerarkaden umschließt. Im Kern befinden sich drei Anfang des 17. Jhts. zusammengebaute Häuser. Für die Bauarbeiten sind Candit Juliani und Domenico Torre überliefert.

Im 18. Jahrhundert wurde das Gebäude um ein viertes Haus erweitert und zu der bestehenden Form umgebaut.

1863 wurden die ursprünglich kleinen Erdgeschoßfenster einheitlich zu Geschäftstüren vergrößert.

1867/70 wurde das Gebäude durch Joseph Mixner um einen Stock erweitert. Oskar Sgustav adaptierte das Gebäude 1965/67 durch die Entkernung der Innenhöfe und Erneuerung der rückwärtigen Hofflügel für moderne schulische Zwecke.

Die vertikal gegliederte Plattenstilfassade wurde leicht verändert erneuert, die ersten beiden Obergeschoße mit geraden Verdachungen ausgestattet. Am linken Tor befindet sich eine Gedenktafel, die dem steirischen Barockkomponisten Johann Joseph Fux gewidmet ist, der als junger Musiker ab 1681 das unter der Leitung der Jesuiten stehende Seminar für arme Studenten besuchte.Entlang der nordwestlichen Gebäudeseite befindet sich das sogenannte Blutgässchen, entlang der Gebäuderückseite eine Doppelmauer über der mittelalterlichen Stadtmauer und eine bis zum zweiten Obergeschoß reichende Terrainstufe.

Alle Flügel haben Walmdächer und sind Teil der Dachlandschaft von Graz, die als UNESCO-Weltkulturerbe ausgezeichnet ist. Die zwei Höfe sind mit dreigeschoßigen Pfeilerarkaden ausgestattet. In den ersten beiden Obergeschoßen finden sich kreuzgratgewölbte Arkadengänge, in der Hausmitte bis zum zweiten Stock ein spätbarockes Stiegenhaus. Durch den Abriss der Färberkaserne 1904 und das Entstehen des Färberplatzes kommt der historisch wertvolle Bau des Ferdinandeums besser zur Geltung.

Das Ferdinandeum ist zu Recht denkmalgeschützt und zur Aufgabe der im Gebäude befindlichen Schulen zählt neben dem Erfüllen des Hauses mit Leben und Musik auch die Erhaltung der historischen Substanz.

Das Schulhaus wurde in den letzten Jahrzehnten unter großem Aufwand mehrfach renoviert und den Erfordernissen der Zeit angepasst.