舊三軍司令官邸建於一八四四至四六年間，是本港現存歷史最悠久的西式建築。這座大樓原名「司令總部大樓」，為德己立少將而建，約於一九三二年易名為「旗杆屋」。在一八四六年至一九七八年期間，除在日佔時期（一九四一至四五年）為日軍佔用外，均用作駐港英軍三軍司令的官邸及辦公大樓。
舊三軍司令官邸樓高兩層，屬希臘風格復興期的建築，又因應本港的氣候環境，建有寬闊的遊廊。在過去百多年間，建築物曾經多次修繕。前巿政局於一九八一年接管這座建築物後，便按照其十九世紀面貌重修，並改建為茶具文物館，於一九八四年開放供市民參觀。
舊三軍司令官邸於一九八九年列為古蹟。