西周初年，周公在洛阳制礼作乐，就诞生了官办的学校教育。但在春秋战国时期，官办学校教育逐渐荒废。汉武帝加强中央集权的历史背景下，于元朔五年（公元前124年）创办了太学。不过，西汉太学在很长时期内，规模都不大，一直到王莽时期，太学才达到空前的万人规模。但随着王莽的败亡，长安的太学如同昙花一现，随即被毁。
东汉王朝的建立者光武帝刘秀君臣具有较高的儒学素养，光武帝本人早年曾在长安的太学中学习。光武帝深知文化的重要性，东汉建立后不久，当时天下尚未统一，建武五年（公元29年），东汉王朝就在洛阳城南开阳门外兴建太学。当年秋天太学建成，东征归来的光武帝亲自到太学视察。
尊师重道
太学作为官办学校，太学教师博士官是正式官员，其级别虽仅为比六百石，但为彰显尊师重道，博士官可以戴两梁进贤冠，参加朝会时的位置也很靠前。太学博士都是硕学鸿儒，朝廷非常看重太学博士的选拔，太仆朱浮向光武帝建议，扩大太学博士的选拔范围，在全天下范围内选取学术名家。
光武帝非常关怀博士官，每年腊祭后，都会赏给博士一只羊。《礼记·王制》说：“诸侯无故不杀牛，大夫无故不杀羊。”一只羊在当时也是很贵重的礼物。有一次朝廷赏赐的羊有肥有瘦，大家商议着要不把羊杀了分肉吧。博士甄宇非常生气，直接牵走了最瘦的一只，大家也就不再争论什么了。后来有一次上朝，光武帝询问：“瘦羊博士在哪里呢？”一时传为美谈。
光武帝之后，汉明帝、汉章帝也都重视太学。东汉太学达到中国古代教育史上前所未有的巅峰。皇帝都曾多次亲临太学，以表示对文教的重视。汉明帝“游意经艺，每飨射礼毕，正坐自讲，诸儒并听，四方欣欣”。范晔《后汉书》称赞道：“济济焉，洋洋焉，盛于永平（汉明帝年号）矣！”甚至匈奴都派子弟来洛阳学习。
有教无类
太学的招生没有身份限制，只要没有违法乱纪的记录，都可到太学学习。太学招生也没有明显的年龄下限，见于记载，很多人十三四岁都到太学学习了。比如，著名学者崔骃“年十三，能通《诗》《易》《春秋》，博学有伟才，尽通古今训诂百家之言，善属文，少游太学，与班固、傅毅同时齐名，常以典籍为业”。
太学不收取学费，而且当皇帝遇到喜事，或者亲临太学视察时，还会给太学生以赏赐。比如，汉章帝元和二年（公元85年）因为出现“祥瑞”，皇帝龙心大悦，下令赏赐“博士员弟子见在太学者布，人三匹”。汉和帝永元十二年（公元100年），朝廷下诏：“赐博士员弟子在太学者布，人三匹。”
太学生中有不少平民子弟，有些人家境贫寒，在太学学习之余还要靠帮佣来解决生活所需。一个叫庾乘的儒生，家境贫寒，来到太学学习的同时，“遂为诸生佣”。之后，庾乘学业不断精进，“后能讲论”。但是他觉着自己给别人做帮佣，身份卑微，于是在每次大家在一起讨论学术的时候，他就坐在下坐。然而，不仅同学，包括太学博士，也都到他前面请教问题，“由是学中以下坐为贵”。当时太学中仅有十四位博士，学生众多，老师不得不请一些高才弟子帮助自己教学，被称为都讲。当然，给老师做都讲，肯定不是免费的。这也成为一些贫寒学生解决在太学求学费用的重要渠道。
相对于平民子弟，权贵子弟完全可以在家中得到很好的教育，但是，也有很多权贵子弟到太学学习。比如，司徒李郃之子李固早年曾在太学学习，但他并不张扬，刻意隐瞒自己的家世，“密入公府，定省父母，不令同业诸生知其为郃子也”。后来，汉桓帝初年梁太后下诏要求所有中高级官员的子弟都要到太学就学，“大将军下至六百石，悉遣子就学”。在这一时期东汉太学的规模也达到顶峰，学生有三万多人。
课试选士
太学所传授的是《诗》《书》《礼》《易》《春秋》等经典。为方便学生学习，熹平四年（公元175年）政府将这些经典文本刻石，一共刻了46块石碑，立于太学门外。因为是熹平四年所刻，所以被称为熹平石经。
东汉帝王多数能够给太学较好的教学条件。朝廷曾多次下令修缮太学房舍。汉顺帝继位后采纳翟酺建议，修缮太学，开拓房舍，一共修建二百四十房，一千八百五十室，其讲堂长十丈、广二丈（一说三丈）。
太学从建立之初就确立了考试制度，此后长达两三百年的发展过程中，太学考试制度不断完善。
首先，学生在太学学习满二年后，经过考试能通两部儒家经典，就可补文学掌故的缺额。其次，担任文学掌故两年后，如果经过考试能通三经，可以任命为太子舍人。再次，担任太子舍人两年后，如果经过考试能通四部经典，可以任命为郎中。最后，担任郎中两年后，经过考试能通五部经典，就可以任命为正式的政府官员。以上这些考试，如果当年不能通过，都可以随着下一届学生参加考试，考试合格同样录用。
太学生人数众多，真正能通过考试谋取出身的只是少数。更多的太学生在太学学习以后，都回归乡里，教师职业成为他们的第一选择。比如，王充从太学回乡后就靠授徒为生。也有一些人通过在太学里获取的名声，回到乡里后受到地方政府的重视，被征辟为地方官吏，或者通过察举成为孝廉而进入仕途。东汉时期，不少公卿都有游学太学的履历，比如曾位居三公的鲁恭、李固等人。
当然，太学也培养出一大批的学者，贾逵、崔骃、张衡、王充、郑玄等人，都是太学生的佼佼者。
清流风骨
东汉的太学生在学习之余也关注现实政治，成为东汉政坛不可忽视的政治力量。从汉章帝去世后，东汉政坛日益黑暗，宦官和外戚交替专权。东汉中后期，大批青年学子团结在正直的士大夫周围，与各种黑恶势力展开了激烈的斗争。这种斗争，最初的表现形式是通过舆论的力量，对公卿大夫进行品评，从而在太学中形成了一股清议之风。
而且，东汉太学生也多次参与到实际政治斗争中。永兴元年（公元153年），冀州刺史朱穆因打击横行州郡的权贵和宦官，被汉桓帝罚做刑徒服劳役。太学生刘陶等数千人上书朝廷，替朱穆伸冤，汉桓帝不得不赦免朱穆。延熹五年（公元162年），皇甫规被任命为议郎，论功应当封爵。中常侍徐璜、左悺等人欲向他索贿，皇甫规坚决不向宦官妥协而得罪宦官，被判处送往左校署服劳役（输左校）。正直官员和太学生张凤等三百余人前往朝廷营救，皇甫规获得赦免。但掌握朝政的宦官与外戚，并不甘于就此俯首，而是进行了激烈反扑，终于酿成后来的党锢之祸。
党锢之祸中，宦官势力的疯狂反扑，很多太学生遭到镇压。但太学生对黑恶势力的抗争，在中国历史上书写了辉煌的一页，成为宝贵的精神财富，激励了一代又一代的仁人志士为伸张正义而前赴后继。明末清初顾炎武在《日知录》中说道：“三代以下风俗之美，无尚于东京（代指东汉）者。”
东汉太学在中国古代教育史上影响深远。但是，在东汉末年董卓之乱中，洛阳城遭受空前劫难，辉煌一时的太学也毁于一旦。直到曹魏建立，魏文帝曹丕才重建洛阳太学。