冯平山楼原名冯平山图书馆，建于一九三一年，为香港大学的中文图书馆，由热心推动本地华文教育的已故华商领袖及慈善家冯平山先生捐助兴建，因而以其名字命名。大楼于一九三二年十二月十四日由当时香港总督贝璐爵士揭幕启用。
二次世界大战期间，大楼曾用作存放私人、学校及政府机构的藏书。一九五三年，中国艺术及考古学陈列所成立，在冯平山图书馆其中一房间举行展览。一九六二年，冯平山图书馆的藏书转移至新建的香港大学图书馆总馆，其后冯平山图书馆改作冯平山博物馆，并于一九六四年向公众开放；一九九四年更名为香港大学美术博物馆，并于一九九六年新翼徐展堂楼建成后对外开放。冯平山博物馆是本港同类型博物馆中，历史最悠久而持续运作的博物馆。
冯平山楼由利安建筑师事务所设计。这座建筑楼高三层，设计对称，平面布局呈扇形，中间设有弧形部分。立面主要以红砖砌成，以巨型壁柱、窗框、三角楣饰、矮墙及带饰线的簷口作装饰。大楼中庭上层有一弧形展厅，以八角柱支撑，从屋顶中央的大型天窗采光。
香港大学冯平山楼外部于二〇一八年列为古迹。