清暑軒毗鄰覲廷書室，比書室稍遲落成，作為到訪賓客及鴻儒的下榻居所。清暑軒原指底層一間廂房，建築物本無名字。清暑軒的修繕工程於1993年底完竣，費用由香港賽馬會贊助。
清暑軒樓高兩層，呈曲尺形，雖是獨立建築，但第二層設有通道與覲廷書室相連。除廂房和大廳外，更設有浴室和廚房等。建築物由於用作客房，故裝飾華麗，其木刻、壁畫、灰塑、漏窗、斗栱等裝飾充分顯示出本地仕紳華宅的氣派。
開放時間： 每日上午9時至下午1時及下午2時至5時 農曆年初一至三休息
