Köklü bir geçmişi olan Cavourlar 16. yüzyıldan başlayarak asker ve memur olarak Savoia hanedanına hizmet etmişlerdi. Camillo'nun Cenevre doğumlu ve Kalvenci olan annesi, dönemin bütün siyasal, dinsel ve tolumsal akımlarına açık bir kent olan Cenevre'nin havasını aileye taşırken, babası Michele de, eski rejimle yakın bağlarından dolayı Fransız Devrimi'yle birlikte saygınlığı tehlikeye giren ailenin Napoleon döneminde yeniden seçkin bir konuma gelmesini sağlamıştı.

Cavour, on yaşında Torino Askeri Akademisi'ne girdi. Ailenin küçük oğlu olarak bir miras beklentisi olmadığından, önündeki tek seçenek Savoia ve Piemonte prensi Carlo Alberto'nun koruyuculuğu altında parlak bir makama ulaşmaktı. Daha öğrenciliği sırasında siyasal düşüncelere ilgi duymaya başladı. 18212deki meşrutiyetçi Piemonte devriminin askeri öğrencilere kadar yansıyan özgürlükçü ve ulusal yankılarından etkilendi. Aile içindeki konuşmalardan Bourbonların yeniden başa geçtiği Fransa'daki iç siyasal gelişmeler, Osmanlı yönetimine karşı Yunan ayaklanması, Rusya'daki özgürlükçü Dekabrist ayaklanması (1825) gibi güncel konuları yakından izledi.

Benjamin Franklin, Piemonte devriminin ünlü önderi ve uzak akrabası Santorre di Santarosa gibi kişilere ve liberallere duyduğu sempatiyi coşkulu bir biçimde açığa vurmaya başladı. Kendisinden üç yaş büyük bir askeri öğrenci olan Baron Severino Cassio'nun etkisiyle yurtsever düşüncelere yöneldi. Cumhuriyetçi olarak tanınan Cassio ile yakınlığından rahatsız olan ailesi bu ilişkiyi sona erdirmesini isteyince, büyük bir tepki gösterdi. Aileyi bu müdahaleye yönelten, Temmuz 1824'te kişisel hizmetine verildiği Prens Carlo Alberto'ya karşı takındığı ters tutumdu. Veliaht prensle arasının bozulmasına yol açan bu durum, saraydan uzaklaştırılmasına ve 20 yıl kadar hiçbir siyasal görev alamamasına neden oldu.