芷江歷史悠久，禹貢為荊州之域，戰國屬楚黔中地，秦為黔中郡地。漢高祖五年(公元前202年)稱無陽縣，晉改舞陽縣，隸屬武陵郡。唐設巫州，后改沅州，宋置盧陽縣，清乾隆元年(公元1736年)始稱芷江縣，屬湖南布政使司。民國11年，直隸于省。解放前屬湖南省第十行政督察區。新中國成立初，屬會同專區。1952年8月改屬芷江專署，是年12月屬黔陽專區。1981年至今改屬懷化地區。1986年9月，經國務院批準，廢芷江縣設芷江侗族自治縣。

芷江地處湖南西部，云貴高原東緣，地理座標為東經109°17’31"至109°54’49"，北緯27°04’12"至27°38’24"。東接懷化(至縣城直線平距26.7公里),西至貴州萬山、新晃(離縣城直線平距38.8公里),南與會同、貴州天柱相連(距縣城直線平距46.6公里)，北抵麻陽(距縣城直線平距23.8公里)，距省會長沙498公里(鐵路)。全境東西寬61.5公里,南北長63公里,總面積2098.89平方公里，約占全省總面積1％。整個地貌以丘陵為主，地勢由北向東南方向傾斜，四周高，中部低，形成盆地?？h境山地分南、北干支，北干支為米公山、西晃山，平均海撥1000米，南干支為天南山。最低點海撥208米，最高處海撥1045米。舞水是境內最大河流。