卡拉揚1908年出生于奧地利的薩爾茨堡，這里曾經誕生過世界上最偉大的天才作曲家莫扎特。卡拉揚的祖籍是希腊，他的前輩最初從希腊來到德國從事建筑設計，后來有一些親屬去維也納定居。卡拉揚的父親是一家醫院的院長，也是一名外科醫生，他愛好音樂，從小就想當一名樂手，可是最終沒有實現這個愿望，因此，卡拉揚去學習音樂使父親感到特別高興。卡拉揚的母親表面上不太懂音樂，但她卻能在內心感受音樂，她是一個瓦格納迷。
卡拉揚從4歲半就開始登台演奏，他的哥哥學習鋼琴比他早，可是他不能容忍哥哥比他強，于是就躲在鋼琴下面偷听哥哥彈琴。整整15天，卡拉揚一直听哥哥一遍又一遍地彈奏相同的曲子，這促使卡拉揚更加努力，過了兩個月之后，他就赶上了哥哥的彈奏水平。后來他獨自來到了維也納，遇到了一位非常优秀的老師，這位老師教了他三個月之后便對他說：“假如你感到你無法用兩只手來表達你心里的想法，就應當去做一名樂隊指揮，這樣才不會出現悲劇性的結果。”這位老師的教誨影響了卡拉揚的一生。后來卡拉揚在薩爾茨堡籌辦了一場音樂會，當時他只是想試探一下能否成功。
他從18歲就開始擔任樂隊的指揮，他首先在德國的烏爾姆市立歌劇院擔任常任指揮，后來又在亞琛市立歌劇院擔任音樂指導。他在這兩個小規模的歌劇院呆了16年，每年他都要背譜指揮演出5、6部歌劇。當時，他不僅要指揮樂隊演奏，還要指揮歌手以及合唱隊演唱。
卡拉揚在維也納音樂學院學習時，幸叩赜龅搅艘粋
