秦始皇时修建的长城，主要是利用战国时代秦国、赵国、燕国的长城而加以连接，有的地段则为当时所新建。秦代长城起自甘肃省岷县，经宁夏回族自治区境内北上，穿越乌兰布和沙漠北边的鸡鹿塞。进入内蒙古自治区后，逶迤在狼山北面的岗峦间，由石兰计北口东经固阳县北部，又经武川县南，沿大青山北，过集宁市境，由兴和县北部进入河北省围场县境。然后，又往东至内蒙古的赤峰市、敖汉旗、奈曼旗和辽宁省的阜新县一带。

西汉时，主要是沿用内蒙古自治区境内至辽宁省辽河以西的秦代长城而加以修缮。据文献记载，并结合实地勘察，可以说明汉武帝时在辽东又直接利用战国时代燕国长城的东段，而加以恢复。其线路是自辽宁省阜新市一带往东，经障武、法库、开源各县，然后折而向南，经新宾、宽甸县境，直至当时的傉水。另一方面，汉武帝以后又新筑了从内蒙古居延海附近到甘肃、新疆交界处的长城，其走向是沿额济纳河南下，然后沿疏勒河向西；在敦煌以西，长城的城墙基本上与当时通往西域的大道并行。汉代和秦代一样，城墙的修建因地制宜，平地用土夯筑，山间用石块垒砌，有的地段则是土石混合。汉代新筑的极西长城，多在夯土中夹芦苇。

汉代在长城沿线普遍设鄣塞和烽燧。从新疆的罗布泊、甘肃的敦煌至内蒙古额济纳河流域，到西起内蒙古潮格旗、东至奈曼旗的漫长地带上，已发现鄣塞和烽燧的遗迹达数百处之多。其中以内蒙古居延地区的发现为最重要。从居延海附近的索果诺尔沿额济纳河向南，至于金塔、毛目附近，在长近300公里的地段上，至少分布着鄣塞遗址十余处，烽燧遗址一百数十处。从1931年到1976年，先后发现木简达3万余枚。根据木简的记录，鄣塞和烽燧的组织体制是将大群的烽燧分为若干部分，由都尉管理。都尉以下设候官、候长和燧长，有时在候官与候长之间设鄣尉。每一鄣塞都筑有围墙，平面成方形。肩水都尉所在的大湾鄣塞面积较大，约为350米×250米。肩水候官所在的地湾鄣塞面积较小，约为50米×50米。甲渠候官所在的破城子鄣塞面积最小，约为23米×23米。鄣塞外筑土台，便是烽燧，由燧长主管，附近往往遗有执举的竹竿和燃火的苇束。