鑑於香港開埠後鴉片走私活動猖獗，兩廣總督於同治七年（一八六八年）下令，於佛頭洲、長洲及汲水門（馬灣）設置稅關，對鴉片貿易抽取厘金。當新界租借予英國後，這些稅關於光緒二十四年（一八九九年）停止運作。
遺址於一九六二年發現。因遺址內先後發現由四闕斷碑組成的一通石碑，上刻︰「德懷交趾國貢賦遙通」，下刻︰「稅廠值理重修」，故被認為是一稅關遺址。
稅關遺址於一九八三年列為古蹟。
有關遺址的考古文物現於九龍尖沙咀漆咸道南100號香港歷史博物館保存。
