在山涛走后，司马炎越发感觉别人选拔上来的人才不遂自己的意，就又给在老家的山涛发下诏书，希望他压制自己失去母亲的悲痛，赶紧出山，但是山涛仍然不肯出来，一直等到公元274年，司马炎的皇后杨艳死了以后，山涛去参加葬礼，这才回到了洛阳。司马炎一见山涛，就立刻留下他，死活都不肯放他走，最后，山涛只好再次出山担任了吏部尚书（人事部长）。
之后的山涛，仍然以高龄继续升官，他先后担任了太子司马衷的少傅（太子老师），又兼任散骑常侍（皇帝骑马侍从官）；不久又担任了尚书仆射，兼任侍中（皇帝高级顾问）。在这段时间里，山涛始终兼管吏部，其他人根本插不上手。但是，山涛好像并不乐意这种专宠的生活，他以年老多病为由，先后几十次给司马炎写信，而且不经同意，就擅自离任回家养老去了。
山涛这种行为，立刻遭到他的下属、尚书左丞白褒弹劾，但是司马炎非常大度的原谅了他，还说山涛擅自离任是自己的过错，自己和山涛不分上下，不要怪罪他。山涛听说这个消息以后，也反省出了自己这么无纪律的危险性，他立刻给司马炎写信赔罪。司马炎一看山涛给自己台阶下，立刻写诏书让他再次出山，但是山涛又以给弟媳妇办丧事当做借口，又擅自回到自己在洛阳别处的别墅去了，司马炎第三次给山涛写下出山诏书，山涛实在推脱不掉，只好又出来继续做官。他的工作，还是主管官吏选举。
自从这一次出山以后，山涛的名声也更牛了，因为大家都知道，皇帝司马炎离不开他，他就是皇帝的眼睛，皇帝想要用人就离不开他。就这样，山涛一直主管官吏选拔，这一管就又是将近十年。
很多人都在好奇，为什么司马炎这么喜欢山涛，为什么在人事选拔这方面，别人就根本插不上手？
我可以负责任的说，山涛是有诀窍的。
如果我们站在思想体系的角度去看待山涛的行为，我们就会发现山涛其实是一个真正融合了儒道两种思想的儒道合体实践家。他的行为，既遵循了儒家伦理道德中的忠君和孝道，又融合了道家思想中最重要的清静无为和道法自然的从政准则。
山涛对司马炎的尊敬非常能够体现出儒家所推崇的忠君思想。他相当忠于司马炎，至少是表现得特别忠诚。按照当时的规定，吏部尚书的职责就是根据各州、各郡的中正们对所推荐的人的评价，判定被推荐人今后的去向。也就是说，吏部尚书选拔人的标准是中正们的评价，而不是皇帝的评价。但是在山涛任职的时候，每一次有官职出现空位，他都要事先拟定几个人，然后在暗地里送给司马炎内定，司马炎钟意谁，山涛就顺着他的心意公开优先推荐谁。于是，有很多次，山涛优先推荐的人都不是中正们优先推荐的人，这样是非常不符合当时惯例的。
山涛的这种行为，曾经多次遭到人们的弹劾，司马炎怕别人说三道四，就发下诏书告诫山涛推荐人要公平，但山涛非常明白司马炎这是害怕舆论做做样子。因为但凡一个皇帝，哪有不愿意自己说了算的呢？而且在那个时代，皇帝在士族心中只是盟主而不是主人，他在用人方面几乎被士族所控制，所以，山涛的这种做法，无疑让司马炎感到万分欣慰。于是，山涛仍然在暗地里去向司马炎汇报人选，人们再怎么告状都没有用，因为司马炎感觉很舒服，所以就没人能扳得倒他，山涛在用人方面的专宠，也就能经久不衰。就在当时，人们还专门把山涛前前后后十多年评价人物的奏章分门别类，然后编成了一本书，书名就叫《山公启事》，把山涛用人的故事当做经典范例流传后世。
对于山涛屡次辞职的行为，不同时代的不同人则有不同的看法。以司马炎为代表的主流看法认为，山涛辞职，是因为他淳朴厚道，认为自己确实应该给后来的人腾位置；但也有一些人认为山涛辞职是故意捞取名声，所以当时就有很多人弹劾山涛无组织无纪律的行为，再比如距离山涛那个年代并不久的西晋、东晋交际的士族子弟孙绰，就非常鄙视山涛，对别人说：“山涛这个人我非常困惑，官员不像官员，隐士不像隐士，如果他要是一条跳龙门的鲤鱼，一定会当头把额头的鱼鳞撞得稀烂。”于是我们就看出来了，即使在当时人的眼中，山涛也并不是一个完美的人，甚至有些人认为他很虚伪，不值得学习。
不过我倒是认为，刨去早期为了避祸逃跑的那次辞职，山涛后期的辞职行为，体现出了他对道家思想精髓的深刻认识，这就是清静无为和道法自然。
道家所说的清静无为，并不是让人们不要有所作为，而是要顺应环境、因势利导，去科学的作为，不要陷入主观的狂热中去。功成身退，是道家非常重要的做官准则，道家认为，做官也就像山峦起伏、潮水涨落一样，有山顶也就有谷底，有高潮也就有低潮，没有人在官场里是不倒翁，一辈子都能在一线晃悠。对于辉煌过的人来说，只要辉煌过就行了，不要总是妄想保持这种辉煌。山涛前前后后、断断续续独揽全国人事二十多年，声望和宠爱已经达到顶点，所以山涛害怕遭人嫉妒，害怕成为别人的靶子，所以坚决希望离开是非之地，安安静静的享受晚年的幸福生活。所以我认为，他后来的辞职并全不是虚伪，而确实是希望退出。
在那个官员普遍挥金如土、灯红酒绿、互相攀比的年代里，山涛算是个好官了，据说他生活十分节俭，而且十分专情。当初过穷日子的时候，山涛和老婆开玩笑：“现在日子穷点儿不要紧，我将来肯定是要做一品大官儿的人，就是不知道你有没有那个福气！”后来山涛果真发达了，也没有再娶小老婆，而且经常把家里的钱拿来分给亲戚朋友。
这么看来，山涛是一个好下属、好官员、好丈夫，除了捞取但是随后逐渐被揭发出来的两件事，却让我们不经意的看出了山涛的另一面。
就在西晋王朝建立第三年，也就是公元267年，司隶校尉（首都军区司令）李憙（西）给司马炎写信，弹劾前任立进县长（今地不详）刘友、前任尚书仆射武陔（该）、中山王司马睦，还有历来号称清正廉明的山涛，私自侵占国家的公田。当时武陔已经去世，刘友已经离职，李憙就请求司马炎罢免山涛、司马睦的官职爵位。
经过查证，李憙弹劾的事情全部属实，这个消息，对于司马炎和山涛等人来说，无疑于当头棒喝。这种行为，不管怎么说也是犯罪。但是，这些人中，一个是号称道德模范、总管全国管理选拔的朝廷重臣，一个是皇族的王爷，居然和别人合伙侵占公田，这种消息传出去？形象受损不仅仅是山涛和司马睦，还有用人不善的司马炎本人。更何况，司马炎好不容易才培养出一个听话的人事总管，自然不愿意因为这点儿罪行就把山涛和司马睦绳之以法，最后，司马炎颁布诏书，表彰李憙秉公办事，将刘友严惩，然后狠狠的对山涛和司马睦提出严厉批评。山涛就这样，逃脱了法律的制裁。
还有一件事。当初陈郡人（河南淮阳）袁毅曾经担任过鬲（格）县县令（山东德州南），为了向上爬，像当时很多人一样，他大肆贪污，然后用这些钱财来贿赂中央大臣，很多人都受过他的好处，其中山涛也收过他的一百斤丝绸。后来东窗事发，袁毅被扔进廷尉（司法部）法办，凡是接受贿赂的人，都被查了出来然后受到追究，山涛的这一百斤丝绸，也被查获。但是，山涛却辩解说，他是因为不想让大家觉得他不近人情才受的贿，丝绸放在阁楼里那么多年都没开封，那不正表示自己的清廉吗？
但仔细想想，这个理由其实是说不通，因为从古至今，受贿都是拿了贿赂就算数，你说你根本不会用，谁知道你是真不用，还是没舍得用、忘了用呢？但是由于司马炎的保护，山涛再一次逃脱了法律的惩罚，依旧保持高位。
山涛确实是有很大瑕疵的，无论从哪方面来说。他也利用职权去捞取好处，他也利用选拔人才去取悦皇帝，他也选拔了很多很有问题的人做官，但和西晋后来那些主管官员选拔的大臣们相比，他却又是最优秀的。因为，西晋官场的环境是一年不如一年，选出来的人也是一代不如一代，从这个角度来看，山涛还算有优点，起码他没有明着败坏官场风气，他对西晋还是有贡献的，算是一个毁誉参半的政客，但不是政治家，因为他的贡献没有大过他的索取。
在以后的日子里，我们还会看到山涛在西晋时代的身影，随着西晋的辉煌，而走向辉煌，直至走向死亡。
而另一个热心做官的七贤王戎，和山涛简直是完全相反，几乎没有什么道德感和责任感，一生都像一展浮萍，随着西晋王朝而起起落落、生生死死。但是我们现在不说他，因为他将作为整个西晋王朝历史的见证者，作为“竹林七贤”去世最晚的一个标志性人物，用他的所作所为、所见所闻，为我们展示一个色彩斑斓的西晋时代。
