甘棠第於一九一四年興建，以第一任屋主何甘棠的名字命名。何甘棠（一八六六至一九五〇年），別名何啟棠，又名何棣生，是何東爵士的胞弟。何甘棠不但是傑出的商人，而且也是著名的社區領袖和慈善家，在二十世紀初的華人及歐亞裔人商界中地位顯赫，是當時最具影響力的人物之一。
何氏家族一直居於甘棠第，直至一九六○年鄭姓商人購入該建築物為止。翌年，該建築物再轉售予耶穌基督後期聖徒教會。政府於二〇〇四年購得甘棠第，並將之改建為孫中山紀念館。該紀念館自二〇〇六年十二月起開放給公眾參觀。
甘棠第屬綜合古典風格的建築，這種風格在英皇愛德華時期的香港甚為流行。建築物的牆身由紅磚築砌，門窗四周飾有花崗石，露台建有精巧華麗的鐵製欄杆。甘棠第是本港最先以鋼架興建，並鋪設入牆電線的建築物之一。
建築物內部富麗堂皇，糅合了巴洛克及洛可可風格的建築特色。地庫至二樓以寬闊華麗的樓梯連接，梯上設有精緻的扶欄。主要房間的天花均飾有以金箔點綴的灰塑鑲板，而主樓梯及其他當眼位置亦裝設了色彩斑斕的玻璃窗，並以當時流行的新藝術風格圖案作為裝飾。
甘棠第於二〇一〇年列為古蹟。