鉴于香港开埠后鸦片走私活动猖獗，两广总督于同治七年（一八六八年）下令，于佛头洲、长洲及汲水门（马湾）设置税关，对鸦片贸易抽取厘金。当新界租借予英国后，这些税关于光绪二十四年（一八九九年）停止运作。
遗址于一九六二年发现。因遗址内先后发现由四阙断碑组成的一通石碑，上刻︰「德怀交趾国贡赋遥通」，下刻︰「税厂值理重修」，故被认为是一税关遗址。
税关遗址于一九八三年列为古迹。
有关遗址的考古文物现于九龙尖沙咀漆咸道南100号香港历史博物馆保存。
