谈太极八卦，我们还不能不提到河图（图1-5）、洛书（图1-6）。
河图，洛书是由黑白数点组成的两幅数图，先秦典籍多有提及。比如：《尚书·顾命篇》中说，“大玉、夷玉、天球、河图在东序”；《周易·系辞》中说，“河出图，洛出书，圣人则之”。《周易·系辞》中还说：“天一、地二；天三，地四；天五，地六；天七，地八；天九，地十。天数五，地数五……”这里说的也是河图。
但虽然典籍多有记载，在宋以前人们却并未见到过河图、洛书及先天图的具体样子。直到宋时理学家朱熹派其学生蔡元定入蜀从隐者手中购得河图、洛书、先天八卦图等易图并将其收入到其所著《周易本义》前面（不含先天太极图），这才将易图与易学著作首次结合起来，使这些图开始广为流传起来。
河图有一些明显的特点，比如：河图由一至十十个数组成，十个数奇偶搭配分成五组分置东西南北中五个位置上，每一组数的差均为五；河图中，奇偶数都按从小到大的顺序沿顺时针方向旋转……
洛书也有一些明显的特点，比如：洛书由一至九九个数组成，其中的五置于中间的位置，其余八个数分置周围八个方向上，无论纵、横或斜的方向上的三个数字之和都为十五；八个方向上的数字每相邻的两个为一组，则每组数字间的差都为五……
“河出图，洛出书”是关于河图、洛书最初来源的传说：伏曦时代，有龙马自河南孟津一带的黄河中出，背上点状旋毛构成一副数图，这就是河图；同样是伏曦时代，有龟自黄河的支流洛河中出，背上的纹理也构成一副数图，这就是洛书。
河图、洛书、先天八卦图等易图在宋代以后的流行，促使了象数、义理两大学派以外的一个新的易学派别即图书派易学的形成，但同时也引发了一场关于“易”与“河图、洛书”间关系的激烈的持久争论。赞同者或者认为河图、洛书为易前之易，八卦乃据之而作，或相反认为河图、洛书乃导源于八卦；而反对者则认为河图、洛书乃至先天八卦俱是陈抟伪造的。
关于河图、洛书乃至先天八卦是否确是陈抟伪造的，这场争论一直持续了八九百年，直到1977年在安徽阜阳相关出土文物的出现才证明河图、洛书至少在汉时确已有之，并非陈抟伪造，这也才结束了易学史上的一段公案。
河图、洛书来源的传说终归是传说，河图、洛书也并非后人伪造，这些都是可以肯定的。但问题是，河图、洛书究竟为何物，河图、洛书与八卦究竟有怎样的关系？
对河图、洛书“历来看法不一，管仲说是祥瑞，郑云说是帝王受命之符，俞琰说是宝器，薛季宣说是上古地图，毛奇龄说是典籍，还有人说是符录、谶纬……现代人亦是各依其理，各持一说，更有人干脆以今解古，猜测为雨水、罗盘、气象图等等。学界主流看法，以为河图、洛书是星图，这是比较合乎上古实际的……”（赵向阳著《易数解碼》，内蒙古文化出版社，2003，第一版，89页）
张其成在其所著《易图探密》中还列举、分析了古今其它一些对河图、洛书真相的所谓的“破译”，认为都是不能成立的，都不是真正的破译。
张其成还认为人们一直前仆后继，不遗余力地对河图、洛书的起源之谜进行“破译”，实际上是没有意义，没有必要的，认为只有揭示这些易图中蕴含的意义就可以了。张其成认为，河图、洛书是“宇宙生命规律的数量模型”，反映了“宇宙生命的结构位次”和“宇宙生命‘气’的流行”。显然，他这是在批判其他人的种种“破译”的同时又在进行新的的“破译”，他的“破译”又能在多大程度上令人信服呢？
在河图、洛书与八卦的关系问题上，古代的一些图书派易学家是为了说明“易为卜筮之源，乃书天书而来”，是为了寻找能预测客观世界的万能公式，才坚持认为八卦导源于河图、洛书，河图、洛书具有易上之易的地位。而今天由于不知道河图、洛书与八卦的真相，也还有人相信它们之间有因果关系，不断试图从河图、洛书中推出八卦。其作法当然也都是不能令人信服的。
总的来说，河图、洛书究竟是什么至今无人能说清楚，而八卦与二者的关系问题也同样依旧被迷雾所笼罩着。
