在繁昌城南门河畔，城关幼儿园（原城关一小）校内，有一座宏伟轩昂，瑰丽庄重的古建筑——夫子庙，它也是繁昌现存唯一一处明代建筑遗存。
夫子庙即孔庙，也是古代学宫所在地。学宫，是古代地方官学所在地，县级就是县学，因学舍多与孔庙建在一起，所以称学宫。繁昌有史料记载最早的县学始于南唐。到了宋仁宗庆历七年（1047年），县令夏希道重修学宫，并请王安石作记。王安石在《县学记》中，对夏希道建学宫修孔庙的兴学之举十分赞赏：“其不可以无传也。”
南宋绍兴二十九年（1159年），曾觉到任繁昌县令时，学宫被火烧毁已有一段时间了。每年春秋两季举行祭奠先圣先师礼时，只能将其牌位设在其他地方，祭品都是临时取用。生员人数不够，就让县吏拿着祭祀器物，常被人讥笑，实在不像样子。曾觉是福建晋江人，北宋宰相曾公亮后裔，他了解情况后，率先捐出自己的薪水，生员们都跟着出资捐助。
宋宁宗庆元四年（1198年）夏，县令赵汝积重建学宫，并建三贤祠，用来祭祀曾巩、王安石和蔡确，这三人或曾经记述繁昌县城修造，或记述繁昌县学创建，或曾经担任过繁昌县令，都是当时有名望的权贵。
明嘉靖四十五年（1566年）春，太平府推官邱渐代理县事，因自1534年后科第寥落，遵照本县人士少司徒徐贡元的建议，将学宫迁至县城西南峨溪河畔（即今夫子庙大成殿所在地）。巡按御史董绲、宋纁都赞赏迁址，并相继捐资修建，于1569年冬落成。这是县治迁址以来，学宫第五次迁址。学宫迁到这里之后，一直到现在，没有再迁址。
繁昌夫子庙大成殿迁址新建的学宫，规模宏大，东至街巷，西至学河，南至汤李强的地块，北至云路街，东北至江、于二姓地块。
繁昌学宫坐东朝西，垣墙环绕，平面呈一长方形院落。其中大成殿一座，位于东西中轴线上，为庙内主体建筑。殿门上方牌额，竖书“大成殿”三字，殿内正中悬挂“至圣先师”横匾一方，神龛内供奉孔子朱地金书木主；两旁有四配（颜回、曾参、子思、孟轲）；十二哲（子骞、仲弓、子贡、子路、子夏、子若、冉耕、宰予、冉求、子游、子张、朱熹）赤地墨书木主。
全盛时期，大成殿左右廊庑各七间，有孔门弟子及历代先贤七十七人、先师五十一人木主。殿前首置有大棹楔三座，左“德配天地”、右“道冠古今”、中曰“泮宫”。棂星门一座，左义路门旁魁星阁一座；右礼门旁魁星楼一座。迎门五龙影壁一方；石筑二柱单间牌坊五座；内泮池一湾。戟门五间，左名宦祠，右乡贤祠。殿后明伦堂三间，东正心斋，西诚意斋各三间；南土地祠、北天马祠各一间；堂后尊经阁五间。殿左崇圣祠三间，祠前敬一亭一座，殿右馔堂、祭器库以及嵌壁石刻历代重修夫子庙记碑碣十余通。学宫占地面积三十余亩。
学宫正南官山顶有文峰塔一座；外泮河左文星阁一座，学宫南有文奎桥，学宫北有武奎桥。整个学宫结构严谨，布局合理，规模宏大，气象万千。
1949年时，学宫建筑基本已废圮殆尽，仅存大成殿也残破不堪。后在有关方面的关心重视下，对大成殿进行了多次大规模修整，让这座古老的建筑焕发了新的生命力。