Obwohl Hermitage lediglich 136 Hektar umfasst, gehört die Appellation zu den geologisch vielfältigsten Weinbergen Europas. Der steile Hang ist nach Süden ausgerichtet und profitiert von einer optimalen Sonneneinstrahlung. Gleichzeitig unterscheiden sich die Böden und Expositionen von Parzelle zu Parzelle erheblich.
Geologen unterscheiden vier große Einheiten, deren Ursprünge vom Präkambrium bis ins Känozoikum reichen. Kaum ein anderer berühmter Weinberg vereint Gesteine aus einem derart langen Zeitraum der Erdgeschichte. Entsprechend unterschiedlich präsentieren sich die einzelnen Terroirs.
Der Westen des Hügels ist vor allem von verwittertem Granit (oft als Granit de Tournon bezeichnet) mit Schiefer- und Gneis-Einschlüssen geprägt. Die dünne Oberbodenschicht ist extrem karg, sauer und sandig. Die Mitte bildet eine komplexe Mischung aus kalkhaltigem Tongestein, Kreide, Feuerstein (Silex) und großen, vom Fluss rund geschliffenen alpinen Kieselsteinen (Galets Roulés). Der Osten und die Hochplateaus bestehen im Wesentlichen aus tiefem, feinen Löss, sowie sandig-lehmigen Böden (Kaolin).
Winzer und Kenner sprechen heute von rund 20 bedeutenden lieux-dits, also historischen Einzellagen. Diese Vielfalt erklärt, warum Hermitage sowohl als Einzellagenwein als auch als Assemblage verschiedener Parzellen außergewöhnliche Ergebnisse hervorbringt.