这种目无余子的人很难在人人都自视甚高的大宋官场混明白，姚嗣宗最后也没能显贵。
张青年和吴青年也没能通达，科举屡屡碰壁，因此郁闷至极，他们经常借酒消愁，然后写诗发泄怨气，姚嗣宗诗曰：“踏破贺兰石，扫清西海尘。布衣有此志，可惜作穷鳞。”张元也曾作咏鹦鹉诗：“好着金笼收拾取，莫教飞去别人家。”此中已有另攀高枝之意。
但他们不甘就这样灰熘熘地离开母国，还想最后一搏，便学班超去投笔从戎。当时正值元昊加紧称帝建国的步伐，宋朝也嗅出了不安的味道，西北边境也在准备应变，自负有王佐之才的张、吴二青年想抓住这个机会谋取晋身。
来到边境，心高气傲的二人不甘心低声下气地去拜见官员，就找人刻了块石碑，凿上自己写的诗，僱人拉着成天在大街上转悠，想以此来造成轰动效应，引起边防高官的注意。还别说，这招挺好使，边帅还真召见他们了，但谈了一番话之后就没了下文。
张、吴这二位，干等了好多天，知道不是科举出身的自己不受重视，想在大宋出人头地是没指望了，最后下定了投奔西夏的决心。但人都是有感情的，故国难离，他二人在项羽庙泪如雨下，高歌三天，慷慨悲凉的歌声绕樑不绝。
正所谓亦哭亦歌奇男子，两人自负奇才，却屡次不被赏识，不知道是二人的不幸还是大宋的不幸。
痛哭一场之后，二人偷渡边关，进入西夏，一路跋山涉水，在景祐四年（1037）来到西夏都城兴庆府。二人故伎重演，不去求见西夏高官，而是成天在城外的一家酒店酗酒，喝得昏天黑地之后就在墙上来点“涂鸦”，写上“张元吴昊到此一游”之类的东西。
此时他们已把姓名改为张元、吴昊，故意用了元昊的名讳，再加上他们到处在墙上题名，果然引来了西夏人的注意。不过，他们不是被客客气气请去的，而是被巡查的西夏大兵一根绳绑到了官府。
元昊听说有如此胆大妄为的人，就想亲自见见，见到这二位后，元昊斥责他们：“好大的胆子，竟敢触犯我的名讳，你们看来是活腻了吧？”
张元、吴昊并没有像元昊想像的那样害怕，反而冷笑两声，说道：“你连祖宗留给你的姓都不在意，怎么就在意自己的名字呢？”
这话一入耳，元昊僵在了当场，因为他此时还在姓宋朝赐给他的赵姓。元昊毕竟是一代枭雄，很快就恢复常态，微笑着看这两位，他已经明白这二位是有为而来。
元昊留下张元、吴昊长谈一番，觉得二人确实不凡，就马上赏下官职，二人梦寐以求的富贵，终于在西北边陲到手了。时间不久，元昊还派人偷偷地把二人的家眷接到西夏，二人对元昊更是感激。
被宋朝弃置不用的这二人，不过是许多有类似经历的人的一个缩影，元昊在这些汉族人才的辅助下，在第二年称帝，他称帝建国不久，就任命张元为中书令，吴昊也被重用。
要说西夏的中书令有职有权，相当于宋朝的参知政事，不像宋朝只是一个荣誉虚衔。张元当上了副宰相，一步登天的他对元昊感激涕零，从此就把自己彻彻底底、从里到外地卖给了党项西夏。
张、吴二人对元昊在大政方针的制定上，起了极为重要的作用，史称“夏人以为谋主，凡立国规模，入寇方略，多二人导之”。这二位对宋朝不重用自己，始终窝着一肚子的邪火，总想狠狠报复一下，能把大宋灭了最好。
他们竭力鼓动元昊独立，给他讲历史上匈奴人刘元海、前秦氐族苻坚和鲜卑北魏的功业，其实不用他们说，元昊早就有这个心思，但他们的话也起到了火上浇油的效果。
张元不仅在语言上煽动元昊称帝自立、夺取宋朝领土，还亲自操刀制定了对付宋朝的战略方针。他对元昊说：“先夺取关中，据山河雄关之险，对宋可攻可守，大占主动。然后再联合契丹，让他们进军河北，我们两面夹攻，宋朝首尾难顾，只好听任我们的宰割。”这条计策绝对称得上狠毒阴险，假如辽国撕毁和约挥兵南下，党项西夏兵锋东指，整天不思武备的宋朝存亡还真就难说，也许靖康的那一幕就会提前上演。
张元、吴昊的遭遇本来让人扼腕嘆惜，可他们在投靠异族之后，竟想用一个国家和民族的灾难为代价，来发泄自己的个人怨恨，这种做法实在是十足的小人行径。
元昊的野心再加上张、吴的策动，夏宋战端再起。
刀剑铿锵中，流血的不仅是宋朝，西夏也在不停地流血。
张元还曾亲临前线出谋划策，在1041年（宋庆历元年，夏天授礼法延祚四年）的好水川之战中，他还跟随元昊参与机谋。这一战宋军损失惨重，大将任福以下几十名将校全部战死，而战后张元在界上寺壁题诗：“夏竦何曾耸，韩琦未足奇。满川龙虎辇，犹自说兵机。”极尽讽刺嘲弄之能事。面对同胞为保卫家园而流淌的遍地鲜血，张元洋洋得意地在诗后署名：“太师、尚书令、兼中书令张元随大驾至此。”
有人替张元辩解，说他不是汉奸，对比流血牺牲的大宋将士，真不知道张元不是汉奸还能算是什么东西！
好水川之战后，张元建议元昊出兵渭州，深入关中，待机攻取长安，他说：“宋朝最精锐的部队都部署在边境一线，关中地区并没有防备。我们以大量的部队沿边骚扰，使宋军精锐不敢离城，然后寻找时机大胆穿插，只要取得潼关便可关门打狗，长安则唾手可得。”