高霞山村位于邵阳县东南部，五峰铺镇的南部，距五峰铺镇政府所在地5公里，东邻本镇田东村，南界五峰铺林场大江村，西连黄旗村，北与楠木村相连。地处雪峰山余脉，高霞山脚下，属丘陵地带。 五峰铺镇至高霞山村村道为5.5米宽的硬化水泥路，交通便利。
      高霞山村共有18个自然院落，分别是长塘、艳塘、郭家、汪里、对门、大禾、仁禾、清水、卯公、喻家、新屋、大院、三房头、四房头、付家冲、吴家、瓦泥等，全村共有32个村民小组，人口较多的姓氏有：秦姓、吴姓、李姓。外出流动人口主要流向广东、上海、浙江经商和务工。
      高霞山村土地总面积约4.14平方公里，森林资源丰富，山地面积约1205亩，森林覆盖率达90%。其中，生态公益林960亩，经济林185亩，竹林60亩。境内有高霞山道观、李公真人遺迹、秦姓宗祠古建筑等
      村里的传统习俗主要是，村民们每年的农历三月十六日会上山朝拜供奉的李公真人像，祈求平安、丰收。