聖士提反書院的書院大樓不但是本港仍提供寄宿服務的校舍建築中歷史最悠久的一棟，亦是赤柱拘留營的少數遺址之一。
聖士提反書院由聖公會班為蘭會吏長，以及何啟爵士、曹善允博士等多位華人賢達所創立，祈能以教育救國。聖士提反書院最初於一九〇三年在西邊街建校。現時的赤柱校園於一九二八年施工，而書院大樓是最先落成的建築物，於一九三〇年三月二十五日開幕。
日軍於一九四一年入侵香港，並於同年聖誕節佔領了聖士提反書院，發動「聖士提反書院大屠殺」。日佔時期（一九四一至一九四五年），聖士提反書院連同鄰近的赤柱監獄守衛宿舍被用作赤柱拘留營。戰後，聖士提反書院於一九四七年重開。
書院大樓的建築具晚期過渡時期的工藝美術運動風格特色，同時受現代主義風格影響。大樓呈「H」形，包括東、西兩翼，由中座連接起來。大樓的粗灰批盪、寬闊懸挑的屋簷、拱形門窗和拱形迴廊均是典型的工藝美術風格建築特色。
聖士提反書院的書院大樓於二〇一一年列為古蹟。