在潘家营村西侧的一片台地上，南北长约150米，东西宽30米。笔者在现场看到，这里荆棘、杂草丛生，地面残存着不同历史时期的砖瓦。其中，以一种正方形、表面有规则沟槽的砖块居多。同行的文物专家介绍，这种砖叫“沟纹砖”，通常是“六沟七棱” ，典型的辽金时代产物。地上还散布着不少土黄色的不规则瓦片，背面有明显的纹理。一段长约8米、宽5米、高3米的残存石墙正对虎峪河谷西侧，坐西朝东，建造年代及其作用有待进一步考证。
文物专家说，潘家营辽金遗址距虎峪战国古城仅3公里，距历代重兵把守的重要关隘———居庸关仅一山之隔。从战略意义上讲，这里历史上应有官兵守卫，但其战略地位比居庸、白羊等关次之，应为驻兵关卡。清军入主中原，该关卡失去了防守意义，由此荒废。