孔冈，又名夫子山，位于隆尧县的尧山西侧山脚下。公元前493年，孔子带领弟子离开卫国来到晋国的柏人，时值晋国内乱，兵民们正在忙着修筑战地工事，孔子见此便领着弟子渡过泜河到尧山脚下的一座小山上歇脚，无意中发现了这座小山全是五色彩石，很感兴趣，于是孔子就命弟子们在山上搭建了临时住处住了下来，在此期间，他和弟子们整理了自周游列国以来的经验资料，并让弟子们把资料内容刻在五色彩石上留给后人。后因晋国战争所迫离开这里又返回了卫国，后来人们知道了此事，为了纪念孔子便把这座小山称之为孔冈。
孔子姓孔名丘，字仲尼，是鲁国陬邑(今山东曲阜)人，生于鲁襄公二十二年(公元前551年)，孔子因在鲁国实行“堕三都”而失败，为此失去了信心，于是在公元前496年，带领众弟子开始了他周游列国的生涯，他先到卫国，受到卫灵公的重用，后来有人谗言，灵公生疑，孔子怕获罪只待了六个月就离开卫国。去陈国的路上在匡地被围了五天，绕到蒲地又返回卫国，卫灵公的夫人南子把孔子引见给灵公。孔子因看不惯卫灵公与南子坐在一辆车上，自叹道：“吾未见好德如好色者也。”遂又离开卫国去了曹国，从曹国到宋国，从宋国到郑国与弟子们失散，在陈国与弟子们重逢，待了三年。时正值晋楚争强，他又离开陈国返回卫国。孔子让灵公伐蒲，灵公明应暗不从。孔子说：“如果按照我的策划来，保证卫国一个月内就有起色，三年必大见成效。”灵公没有采纳。离开卫国没有了去处，不得已到晋国来见赵简子，到了柏人终因“君子讳伤其类”而改变了去见赵简子的主意。原因是昭公二十九年（公元前513年），赵简子、荀寅占领汝滨，令晋国国民鼓石为铁以铸刑鼎，上刻“夷鬼立法”，其核心是倡导“法治”，以法作为社会的行为规范，与孔子倡导的“礼治”相违背，孔子对此大加贬责，孔子为此北渡泜水宿于尧山，之后，因晋国内战加剧又返回了卫国。
公元1135年金熙宗诏令天下建立孔庙，孔璠来到孔冈建造圣祠，立孔子及其弟子圣像供奉其内。孔璠，字文老，孔子四十九代孙，孔端操之次子，阜昌三年补迪功郎，袭封衍圣公，天眷三年加承奉郎，皇统三年卒。《唐山县志》又载元孔璠随父迁唐山事。元代至元年间又有叫孔璠的，字诚甫，随父迁来唐山，遂为唐山人，自幼识度不凡，精水利，至正四年（公元1344年），授陕西规措河渠副使、凿郑国渠溉田4500顷，迁徽州路总管府判官，后以南阳知府致仕，于孔冈重修圣祠曰：“奉圣祠”。书载元代许衡曾在奉圣祠前建书院教学，明知州马健曾为记至圣文宣王（孔子封号）之先德遂著《孔冈集》数十卷。并赋诗感叹：
孔辙周流日，尧山有路通。行尘清化雨，马足步春风。过化侔堪舆，存神即化工。往来山下石，文采尚葱茏。
中华诗词学会理事、隆尧县诗词学会会长国印周看到昔日圣祠已荡然无存，遂以泪和诗：
孔子停骖处，祠堂何处寻。疾风吹碎瓦，枯草长荒岑。凛凛匡民志，殷殷劝学心。奈何荒废久，至此泪沾襟。