李绩不想参与到结党营私当中，只想坐山观虎斗。对李治，他心存感激，但也觉得这不过是李世民与李治的帝王之术，并无多少感激在里面。
他果真在褚遂良与长孙无忌离去之后，便写了辞呈，递交了上去。
李治一再的挽留，李绩一再的坚持。
最后，于永徽元年（650年）十月初三，李治解除李绩的尚书左仆射职务，仍任开府仪同三司、同中书门下三品。
李绩还显得一副很是无奈的样子：“哎，老臣老矣，也不得清闲。”
关于这个信息，长孙无忌觉得，就算没拉拢李绩，看到李绩抽身世外，倒也不错。
而褚遂良，继续调查着皇上去感业寺的真实目的。这看似忠诚的臣子，心里到底在想什么，谁又知道呢？
李绩的事情少了，也有了空闲，便抽身前往感业寺。他回到京城才得知武媚已经奉先帝旨意出家为尼，心中很是不解先帝的所为。
他也听说了一些有关皇上和武媚的传闻，难道这就是先帝一定要让武媚出家的原因吗？虽是继母，武媚与新皇可是年龄相当。
李绩虽是富家出生，也是当过土匪的，他的思想不拘泥于传统。这也造成了他明明看出了长孙无忌的阴谋，却也不愿意插手的原因。他觉得，虽是新皇真有心于武媚，就应该给她一个名份，一个可以遮风避雨的窝。他瞧不起这个连自己心爱的女人都保护不了的新皇。可他哪里知道李治的难处？
他是一个知恩图报的人，当年出征高句丽，是武媚救了他一命，他一直谨记于心。
他身穿便服，单独来到了感业寺，会见了武媚：“武才人，您清瘦了许多。”
武媚淡然的一笑：“李大人今日为何能得空闲，来看望贫尼？”
李绩看了看四周，并无外人：“武才人，老夫如今辞去了尚书左仆射的职务，空挂着开府仪同三司之职。三司之事，自有长孙大人和褚大人操心。我自是清闲了不少。”
武媚眉头紧锁：“李大人，朝廷正是用人之际，你怎可只图自己清闲？新皇登基，朝政之事，必是需要你的。”
李绩脸色有些难看：“皇上可是倾心于您？”
李绩如此直白的问话，让武媚吃惊不小：“啊？这，这……”
李绩又看了看四周：“这里并无旁人，武才人也不必隐瞒于老夫。您曾经救过老夫一命，老夫从未忘记，必不会做出伤害您的事情来。”
武媚坦然：“嗯，贫尼是与皇上两心相印。只是，贫尼并不想让皇上为了贫尼，而在朝堂上难做。”
李绩不解：“皇上往后宫添个妃子而已，有那么难吗？”
武媚的脸色暗下来：“皇上也不是那么好当的。初登大宝，政局不稳，就算是无关紧要的小事，也有可能被有心的人利用。”
武媚的话，让李绩想起了褚遂良与长孙无忌，是那么的挖空心思，要调查皇上与武媚的事情，低下头，沉思了片刻，心中盘算着怎么样才能成全了皇上与武媚的事情。
随后，李绩起身：“武才人且安心静养，自有雨过天晴的那一天。”
武媚将李绩送走，不管他是否能帮到自己，她的心里也是很感激的。当年她救他，完全是一种巧合。换了别人，她依然会救，谁让她本就善良呢？
李绩回去之后，就开始命人调查朝中大臣，看看谁是与长孙无忌和褚遂良不合的。
调查之后，发现一个很有意思的事情，那就是，长孙无忌和褚遂良都是关陇门阀，对他们不满的都是一些受关陇士族所打压的寒门子弟。
李绩悄悄的派人给皇上送了一个口信：“如今关陇门阀独揽朝政，长此下去，终将一发不可收拾。望陛下能重用寒门子弟，以达到制衡关陇门阀的效果。”
他不能写奏折，以免被长孙无忌等关陇门阀中人看到。
李治得到这个消息，很是欣喜，心想：“李大人并没有置朕于不顾，或许暂时的退缩，只是为了麻痹需要对付的人。朕又何尝不知，要想制衡关陇门阀，就得要提携寒门子弟，才能让朕有朝一日能乾纲独断。只是，一切都需要时机。”
为了麻痹褚遂良与长孙无忌，李治从登基之后，就假装着很听话，一切都听之任之。小试牛刀，让洛阳百姓李弘泰（内卫假扮）诬告长孙无忌谋反。一是想试探长孙无忌的反应，二是当他不问其真假就立即下令将其处斩，以博得长孙无忌的信奈。这也让长孙无忌很是满意。
李绩等不了皇上出马，私下找了李义府。
此时的李义府只是一个中书舍人（任起草诏令之职），并无什么实权。他得知李绩找他私下会面，岂有不去之礼。
李义府毕恭毕敬的给李绩行礼：“不知开府仪同三司找鄙人有何事？您若有吩咐，差人送个口信，鄙人定会效劳。”出身寒门，没有背景，想要在仕途上走得更远，怎么会放过任何一个攀附的机会？
李绩看了看李义府那副小人的模样，本想转身离去，心又想：“或许，对付关陇门阀，还就得这样的小人。”
于是，李绩沉默了片刻，小声说道：“你讨好我，还不如想办法讨好皇上。如果能讨好皇上，你还愁没有更好的发展吗？”
李义府两眼发光：“请赐教。”
李绩看了看四周，他好像总是这样警惕，也许是身为将军，多年征战，养成的习惯：“褚遂良与长孙无忌，时常为难皇上，想办法搞倒他们。怎么搞，你自己想办法。但，有言在先，你若成功，自然会让你的将来前途无量。你若是失败了，也得能承担得起后果。”
李义府奸笑着：“鄙人没什么好怕的，正所谓光脚不怕穿鞋的。本就一无所有，没有什么是输不起的了。”
李绩离开，心想：“呵呵……看来小人还是不好得罪的。”
李义府一刻也没闲着，摸着黑，就去找了监察御史韦思谦。
李义府早年以荐举入仕，历任门下典仪、监察御史、太子舍人、中书舍人。他与韦思谦曾经在一处办公，有些交情。
韦思谦拉着李义府的手：“老兄好久没来寒舍小坐了。”
李义府把眼珠子转了一圈，韦思谦一看就明折，将下人都退了下去：“是什么要紧的事？”
李义府表情很是严肃：“可有办法参奏褚遂良和长孙无忌？”
韦思谦有些为难，皱着眉头：“那可是两位顾命大臣。洛阳百姓李弘泰曾状告长孙无忌谋反，皇上连审都没审问，就直接将其斩首了。”
李义府眼神坚定：“此一时，彼一时。历代皇上，有谁愿意一直被大臣控制着？皇上已经有心除掉他们，此时参奏，不会有事。”
韦思谦先是吃惊，心想：“莫非是皇上让他来找我的？皇上有什么事，为何还要绕这么大个弯子呢？”后又想：“只怕是我性格鲠直的原因。他说得也没错，历代以来，没有哪个皇上愿意屈居于大臣之下。”
他皱着眉头想了一会儿，露出笑颜：“正好有人想弹劾褚遂良，倒是一个机会。”
李义府很是满意的离开。
此时的褚遂良还并不知道有祸事临头，派人去调查皇上去感业寺的最终目的。
此事，被安排在感业寺保护武媚的内卫发现了，禀报了李治。
李治气得把茶杯都摔地上了：“混蛋，做为一个大臣，居然明目张胆的调查起朕的事情来了。这简直是荒唐至极。”
生气之下，李治还想不到办法如何处理。
次日【永徽元年（650年）十月十二日】，韦思谦上奏疏弹劾中书令褚遂良压价购买中书省翻译人员的土地。
这可是让李治抓住了惩治褚遂良的机会，正想下令，大理寺少卿张睿册走了出来：“褚大人是依估定价格购买，何罪之有？”
李治心想：“看来这张睿册是得了褚遂良的好处了，更或是说什么好处都没有得到，只是想借机向褚遂良卖个好靠拢。”
韦思谦正想着，莫不是皇上又得护着褚遂良吧？李治就递了一个眼神给韦思谦。
韦思谦心里有了底：“设置估定价格，是预备国家需要时征收用的，臣下之间的交易，怎么能够按照估定的价格呢？睿册利用文书舞弊，附和臣下，欺罔皇上，按其罪行应当处死。”
当天，李治将褚遂良降职为同州刺史，张睿册降为遁州刺史。
长孙无忌很奇怪，他只是眼睁睁的看着一切的发生，并没有说半个字。
这让李治也感觉到奇怪，心想：“褚遂良被贬，对长孙无忌的独揽大权，多多少少都是有影响的。为何他只是看着？”
或许是因为证据确凿，无可辩解，或许还有别的原因吧？
不管怎么样，李治的心里放下了一块大石头。武媚的安危，是他最牵挂的。没了美人，要江山何用？
事后，李绩派人给李义府送去了不少的金银，并代话：“此事办得不错。这些金银，你可以用来笼络寒门子弟，将来好更有利的扳倒长孙无忌。”
