舒氏并非东阳土著。康熙《新修东阳县志》、道光《东阳县志》、《双岩舒氏宗谱》（光绪丙子重修）均记载，隋末舒绰从京兆（今西安）迁至东阳斯孝乡，是为东阳舒氏始迁祖。第六代舒恒任武昌军将校。作为舒恒的长子，出生于唐贞元七年（791）的舒元舆，手中所握并非好牌，《新唐书》称其“地寒，不与士齿”。出身寒微的他不被当时士人群体列为同好，因此发奋读书。机警聪明的他15岁就通晓经书，又继续求学，遍览群书。后追随父亲足迹去了江夏（今湖北武昌），时任鄂州观察使的郗士美惊异于他突出的才能，屡屡为他扬名。
唐元和八年（813），舒元舆赴京应试。与所有应试贡士一样，他肩挑手提笔砚、餐具、蜡烛、炭火等，听到试院胥吏拖长声音高呼姓名后匆匆入内。没想到一入试院就被重重棘篱围住，席地分坐于廊庑之下。其时，寒风凛冽，大雪纷飞，座席单薄，人皆苦不堪言。想到唐尧虞舜广开贤路，三代贡举士人，从未有过如此轻慢简待的情形，“意不平”的舒元舆在考试结束后就写了《上论贡士书》：“有司坐举子于寒庑冷地，是比仆隶以下，非所以见征贤之意也；施棘围以截遮，是疑之若贼奸徒党，非所以示忠直之节也；试甲赋律诗，以待之以雕虫微技，非所以观人文化成之道也。”在他看来，朝廷如此取士，乃是将天下士人视为仆隶奸徒，所考的“甲赋律试”只是雕虫小技而非治国之策。因为礼部招录贡士的条例得不到很好的执行，招致不学无术之辈和朋党势力喧哗鼓噪、冲突不断，且每年预先固定招录人数，多者不过三十人，少时不满二十人，不符合天子拔录优秀士子的本意，建议改革取士标准，恢复尊贤古礼。
才华是最好的敲门砖，兼以唐宪宗大力倡导直言极谏且虚心纳谏，舒元舆并未因此事惹祸上身，反而喜登进士第，任陕西户县尉。其间，他因处事干练而得宰相裴度赏识，调任兴元军节度使掌书记，“文檄豪健，一时推许”，后又迁任监察御史、刑部员外郎。
唐太和五年（831），舒元舆已在京五年，仕途未有进展。他上了洋洋洒洒八万字的自荐文给唐文宗，希望得到重用，但被压下不报，遂再次上书，称自己前次所上八万言“出入今古，皆可以辅教化”，可助朝廷选拔更多人才。文宗很是欣赏他昂扬振奋的精神，宰相李宗闵却认为他过于浮浪，安排任著作郎并分派到东都洛阳，后又迁任左司郎中。所幸他又遇“贵人”御史大夫李固言，经其上表推荐担任了侍御史知杂事，不久后兼任御史中丞。唐文宗复核审录在押犯，舒元舆奏辨明审，不到三个月就理清真相，于是又兼任刑部侍郎。
太和九年（835）九月，舒元舆被提拔为同中书门下平章事，成为东阳有史以来首位宰相。
康熙《新修东阳县志》转载了《前定录》中的一桩逸事：李固言在中书省期间，舒元舆请假归家迁葬祖墓。李固言告诉他，有一位僧人说某地有吉壤，如果能葬入此地，则后代可位极人臣。舒元舆以家贫推辞。某日僧人又遇到李固言，说该吉壤已被用。一问居然是舒元舆！
其实，舒元舆能成为宰相，是因为他在洛阳期间与李训交好。李训担任宰相后，遂向唐文宗大力推荐舒元舆，使其成为自己的得力助手。