馮平山樓原名馮平山圖書館，建於一九三一年，為香港大學的中文圖書館，由熱心推動本地華文教育的已故華商領袖及慈善家馮平山先生捐助興建，因而以其名字命名。大樓於一九三二年十二月十四日由當時香港總督貝璐爵士揭幕啟用。
二次世界大戰期間，大樓曾用作存放私人、學校及政府機構的藏書。一九五三年，中國藝術及考古學陳列所成立，在馮平山圖書館其中一房間舉行展覽。一九六二年，馮平山圖書館的藏書轉移至新建的香港大學圖書館總館，其後馮平山圖書館改作馮平山博物館，並於一九六四年向公眾開放；一九九四年更名為香港大學美術博物館，並於一九九六年新翼徐展堂樓建成後對外開放。馮平山博物館是本港同類型博物館中，歷史最悠久而持續運作的博物館。
馮平山樓由利安建築師事務所設計。這座建築樓高三層，設計對稱，平面布局呈扇形，中間設有弧形部分。立面主要以紅磚砌成，以巨型壁柱、窗框、三角楣飾、矮牆及帶飾線的簷口作裝飾。大樓中庭上層有一弧形展廳，以八角柱支撐，從屋頂中央的大型天窗採光。
香港大學馮平山樓外部於二〇一八年列為古蹟。