文昌塔又称文笔塔，一般高七层，塔内常供奉文昌帝君。相传文昌帝君是上界掌管文章之神，所以我国古代书院，也往往在供奉孔子的也供奉文昌帝君。《阳宅三要》曰“凡都省府厅州县，文人不利，不发科甲者，宜于甲、申、丙、丁四字上立一文笔塔，只要高过别山，即发科甲；或山上立文笔，或平地修高塔，皆为文峰”。 在“万般皆下品，唯有读书高”的古代，古人非常重视文昌，热衷于建文昌塔，以弥补本地文峰的不足，冀图多出文人才子，文化昌盛。
祁阳文昌塔建于明神宗万历元年（1573年），当时担任铜仁知府的祁阳籍官员邓球依形家之说，为使文风不泄，倡议在位于城东湘江岸边的“万卷书崖”上兴建文昌塔，以期祁阳人才辈出。塔从规划营造，到庀才鸠工，十年未就。至万历十二年，于建塔兴建书院。万历十六年书院落成，名曰“文昌书院”，提学使管大勋作《文昌书院记》，当年塔亦竣工。兹后，邓球复于塔之右侧筑小洞名梅花洞，读《易》其中，撰《理学宗旨》等书。
明熹宗天启年间，邑人陈荐（明朝后期官员，累官吏、刑、户部尚书，河漕总督）之子陈朝鼒见祁邑文风日盛，唯恐后世学子或将才超过其父，认为有损其父之声誉，扇动族人将塔拆毁，顷刻之间宝塔毁于一旦。清高宗乾隆十一年（1746年），祁阳贤达陈大受（清朝第一位湖南籍宰相）在安徽巡抚任上，一次回乡游万卷书崖，忧故园学风日下，说文昌塔“于阖邑文运有裨”，为振兴之计，概然捐助俸银1500两，嘱县令主其事，并向乡绅募捐重建文昌塔。聘衡阳大匠王宪章等详细规划，精巧设计，于是年二月动工兴建。塔身采用衡阳特产毛砂石，塔基用祁阳本地青石。经全县官民同心协力，至乾隆十三年（1748年）十二月竣工，历时三年建成。
古塔怀幽
祁阳文昌塔是国内文昌塔中保存较为完好、文化功能非常具有代表性的一处，也是湖南省内仅有的四面抱厦式结构的砖石塔。文昌塔座东南朝西北，为七级八面楼阁式砖石结构，高36.68米，基座直径18.2米，每边长7米，底层以青石为基，二层以上为青砖砌筑，从下而上，逐层内收，内为拱顶。各层高度不等，每层各设四真四假共8门。全塔有巷26条，死巷1条，通门51条，假门2条，石阶环绕曲折，有如设计精巧的迷宫，初游者进入塔内，常常会迷路而找不到下上塔的出入口，从而使登塔游览变得趣味盎然。
全塔门楣及各处神龛均有精细浮雕，一层正门嵌“二龙戏珠”立体镂空浮雕石刻，上刻“文昌塔”三字，其余各层也均在内壁上嵌有对联、建塔记等碑刻。二至四层外有八方走廊，围以沙石栏杆，石栏上刻有鳌、虎的头形。其余设腰檐。各层的台边缘堞垛翘角，并塑有石龙，口含铜铃，风起时便发出叮当叮当的响声，悠扬悦耳，传至很远。塔内有中心厅六层，均置神龛。塔顶有宝葫芦相轮，用铁铸成，重11吨。整座塔拱斗出檐，石栏石瓦，具有典型的明代风格。因年久失修，塔身已向东倾斜，2002年经过大修之后，目前保存状况完好。
文气汇聚
塔内一到六层中心厅分别供奉着文昌帝君、观音菩萨、太上老君、文财神、关帝君、魁星六位主宰文运或与文章兴衰有关的神明，故而自古以来一直是当地文人士子或者家中有学子者顶礼膜拜的圣地。文昌塔高高矗立于江畔高阜之上，每逢晚霞朝晖，云起月落，远远望见，雄浑灵动，让人神往。塔身所矗立的高耸石崖被称为“万卷书崖”，这是因为从湘江上向此崖望去，就好似看见浩瀚如烟的书卷一本本堆叠砌累成一座高崖。相传当年有风水家建言在此书崖上建塔，使塔镇书卷，让文气不泄，可保祁阳文风昌盛，人才永兴。更奇的是，塔的左前方，“万卷书崖”临近江边之处，一座矗立其上的正方形巨石中央天然凹陷成一个规则的方形大坑，像极了一尊巨大的砚台，上面有后世加刻的“不磨砚”三字。故而，这里一直有着被当地人津津乐道的鬼斧神工般形成的“文房四宝”——湘江为墨，巨石为砚，高塔为笔，书崖为纸；世代不竭地书写经天纬地的大文章。塔的右前方一面长方形巨石上刻有书家题写的“书岩天榜”四个大字，天地造化、文气汇聚的豪气可见一斑。塔畔树木葱郁，佳气清秀，山石或俊秀挺拔，或妙趣横生，近揖江水，拍岸生涛，是难得的乘凉恬栖的好去处。塔下书崖内暗藏有梅花古洞，相传先贤邓球曾在洞中研读《周易》，在此著有《理学宗旨》等书。
祁阳崇文兴教的风气很盛，英才辈出；科举时代，全县进士及第就多达142人。建塔以来，先后出现过明户部尚书及河槽总督陈荐、清军机大臣陈大受、抗法名将欧阳利见等著名人物。现代以来，这里又涌现了中共杰出领导人陶铸以及刘金轩、周玉成将军等一代名人。