据宋代《鹤林玉露》记载，南宋理学家陆九渊少年时经常在临安（今杭州）的大街上看人下棋，后来他买了一副棋具挂在室内，呆呆地盯着棋盘、棋子看了两天，忽然好像大彻大悟地喊道：“此河图数也。”于是他跑到大街上，挑战临安第一围棋高手，连胜两局，大笑而去。故事虽然夸张，但陆九渊对围棋的认知一定是经过理性的思考才获得的。
明朝第一才子解缙在《观弈棋》中有“河洛千条待整治，吴图万里需修容”的诗句。这里的“河洛”，即是围棋的别称。清朝著名围棋国手施襄夏在他的《弈理指归》序言中说：“弈之为道，数叶天垣，理参河洛。”
古人很早就认识到，围棋的起源与河图洛书有着密切的联系。
众所周知，河图洛书是中华文明的滥觞，蕴藏着无穷的奥秘，而“河出图，洛出书”就发生在尧、舜时期的洛阳。相传，上古伏羲氏时，洛阳孟津境内的黄河中浮出龙马，龙马背负“河图”，献给伏羲，伏羲依此而演成八卦。又相传，大禹时，洛阳洛宁的洛河中浮出神龟，神龟背驮“洛书”，献给大禹，大禹依此治水成功，遂划天下为九州，并依此定九章大法，治理社会。
在河图上，人们可以看到排列成数阵的黑点和白点；在洛书上，人们会发现纵、横、斜的三条线上，三个点数的和皆等于15。这二者“方圆相藏，阴阳相抱”，十分奇妙。先是伏羲受此启发，画出了八卦，后来又有了周文王的“拘而演周易”。
而围棋的棋盘和棋子，与河图洛书的方形图案及黑点、白点颇为神似。它的下法变化多端，玄妙莫测，与易理也有许多相通之处。比如，古代围棋有黑白四“座子”，象征了四季；以白子先行，黑子后行，象征以白昼开始，夜晚结束。白子代表的其实就是《周易》中的阳，黑子代表的是《周易》中的阴。黑白两色棋子与阴阳相对应，象征了黑夜与白昼的交替。
也有人认为，围棋盘的格子古称“罫（guǎi）”，这个字的意思就是在网格（棋盘）里边摆卦。易有太极，围棋有天元；易有八卦，围棋有八个星位对应……这些现象应该不完全是巧合，围棋与《周易》乃至河图洛书，有着密不可分的联系。
围棋大师吴清源认为，围棋与《周易》及天文有着很深的关联。他认为在古代，围棋是研究天文或年历的道具，棋盘即宇宙。他在所著的《“中”的精神》一书中写道：“阴阳思想的最高境界是阴和阳的中和，所以围棋的目标也应该是中和。只有发挥出棋盘上所有棋子效率的那一手才是最佳的一手，那就是中和的意思。每一手必须考虑全盘整体的平衡去下——这就是‘六合之棋’。”
所谓“六合”，表示东西南北四方和上下天地，在古文里即表示宇宙。
吴清源所倡导的围棋“中”的精神与《周易》所强调的“中”不谋而合。清代学者李光地在其《周易折中·义例》中说：“唯中与正，则无有不善者。然正尤不如中之善，故程子曰‘正未必中，中则无不正也。’”
围棋中把平易而正确的着法称为正着。围棋变化浩繁，即使是在围棋人工智能大大超越了人类顶尖棋手的今天，也无法认为围棋人工智能的每一着都是正着，更多的是接近最佳一手“中”的一手。“正未必中，中则无不正也”，这就是围棋富有哲理之处吧。
宋人的《棋经十三篇》中多处引用《周易》中的语句，如“穷则变，变则通、通则久”“师出以律，否臧凶”“非天下之至精，孰能与于此”“君子安而不忘危，存而不忘亡”，足见围棋棋理与《周易》之理在很多方面是相通的。
2012年高考语文试卷（山东卷）选取了中国围棋协会主席林建超所著《围棋与国家》中的一段，其中也称：“围棋起源于中国，是黄河文明的产物，其形制弈法等都饱含着文明母体的基因和特征。围棋极可能源自上古时期的结绳而治、河图洛书和《周易》，因为其形制、内涵与中华文明的源头相符。”