旧三军司令官邸建于一八四四至四六年间，是本港现存历史最悠久的西式建筑。这座大楼原名「司令总部大楼」，为德己立少将而建，约于一九三二年易名为「旗杆屋」。在一八四六年至一九七八年期间，除在日占时期（一九四一至四五年）为日军占用外，均用作驻港英军三军司令的官邸及办公大楼。
旧三军司令官邸楼高两层，属希腊风格复兴期的建筑，又因应本港的气候环境，建有宽阔的游廊。在过去百多年间，建筑物曾经多次修缮。前巿政局于一九八一年接管这座建筑物后，便按照其十九世纪面貌重修，并改建为茶具文物馆，于一九八四年开放供市民参观。
旧三军司令官邸于一九八九年列为古迹。