Nato a Gorizia nel 1934.
Conclusi gli studi universitari presso l'Università di
Pisa (1957), Rubbia si trasferì a New York, dove lavorò per circa un anno alla Columbia
University.
Proseguì le sue ricerche all'Università La Sapienza di Roma e nel 1960 divenne
ricercatore dell'Organizzazione europea per la ricerca nucleare, il CERN di Ginevra.
Dal 1971 al 1988 fu professore di fisica alla Harvard University, e dal 1990 al 1993
direttore generale del CERN.
Nel 1994 ha assunto la direzione dell'International Center for Theoretical Physics di Trieste.
La sua proposta di convertire il superprotosincrotrone del CERN in un anello di collisione per protoni e antiprotoni ha permesso di raggiungere energie sufficienti per osservare eventi in cui si producono i bosoni intermedi W e Z. La scoperta di queste particelle elementari, annunciata nel 1983, confermò l'unificazione delle forze elettromagnetiche e dell'interazione debole, costituendo un passo fondamentale nello sviluppo della fisica moderna. L'attività di ricerca di Rubbia ha coperto diversi campi della fisica, quali lo studio dei neutrini cosmici, l'analisi della stabilità del protone, il progetto di una fusione nucleare controllata, e il progetto di un reattore nucleare basato sull'utilizzo di torio come materiale radioattivo.
Rubbia ha ricevuto diversi riconoscimenti, tra i quali il premio Nobel per la fisica, che ha condiviso nel 1984 con il fisico olandese Simon van der Meer.