司马懿对曹操说：“刘备用诡计俘虏刘璋，蜀人未归附而又争夺遥远的江陵，这是破蜀的机会，不可错过。今若在汉中陈兵示威，益州就会震动不安，再进兵威逼，蜀兵势必瓦解，趁这个好机会，事情是可以成功的。圣人不能违时，也不能失时。”
曹操说：“人苦于不知足，既得陇右，复欲得蜀。”未从其计。
建安二十二年（公元217年），曹丕被封魏王太子。建安二十四年（公元219年），司马懿升任太子中庶子，佐助曹丕。时司马懿“每与大谋，辄有奇策”，为曹丕所信任和重用。司马懿与陈群、吴质、朱铄并称“四友”。
延康元年（公元220年），曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然。
同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。当时孙权正率军向西。朝臣们认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城。
黄初元年（公元220年）十一月，曹丕登皇帝位，史称魏文帝。登基后，任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。
黄初二年（公元221年），免去督军官职，升任侍中、尚书右仆射。
黄初三年（公元222年）和黄初五年（公元224年），曹丕两次伐吴，都以司马懿镇守许昌，并改封司马懿为向乡侯。
黄初六年（公元225年）二月，转任抚军大将军、假节，领兵五千，加给事中、录尚书事。司马懿辞让，曹丕说：“吾于庶事，以夜继昼，无须臾宁息。此非以为荣，乃分忧耳。”
同年，曹丕又大兴水军攻吴，仍命司马懿留守，“内镇百姓，外供军资”。临行，下诏书给司马懿说：“吾深以后事为念，故以委卿。曹参虽有战功，而萧何为重。使吾无西顾之忧，不亦可乎！”后曹丕由广陵回师洛阳，又下诏对司马懿说：“吾东，抚军当总西事；吾西，抚军当总东事。”于是司马懿留镇许昌。
黄初七年（公元226年）五月，曹丕驾崩，享年四十岁。临终时，令司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。
孙权得知魏文帝去世后，于八月出兵攻魏。命诸葛瑾、张霸兵分两路进攻襄阳，亲自率军进攻江夏郡。司马懿击退了孙权，又击败诸葛瑾，并斩杀张霸，斩首千余级。十二月，升任骠骑将军。
太和元年（公元227年）六月，魏明帝命司马懿驻扎宛城，加督荆、豫二州诸军事。蜀将孟达降魏时，魏朝待其甚厚，司马懿认为他言行倾巧，不可信任。但皇帝不听，任命孟达领新城太守，封侯，假节。
曹丕死后，孟达失宠，蜀丞相诸葛亮即暗中与之通信，图谋叛魏。诸葛亮恐他言行反复无常，想促他速叛，知魏兴太守申仪和他有矛盾，便派郭模到申仪处诈降，有意泄露其事。孟达闻此泄露，准备马上起兵。
上庸城三面环水，孟达在城外树立木栅，加固城防。司马懿挥师渡水，毁其木栅，直逼城下。太和二年（公元228年）正月，司马懿兵分八路攻城，仅十六天，孟达的外甥邓贤、部将李辅开城投降。魏军入城，擒斩孟达，传首京师，俘获万余人。司马懿回军，仍驻宛城，奖劝农桑，禁止浪费。南方吏民心悦诚服。
太和三年（公元229年），蜀丞相诸葛亮第三次出兵攻魏，并占据武都、阴平二郡。
太和四年（公元230年），魏明帝决定兴师伐蜀。升司马懿任大将军、加大都督、假黄钺，与大司马曹真一起伐蜀。
八月，魏明帝命曹真率主力由长安入子午谷，左将军张出斜谷，司马懿自荆州溯汉水出西城，将兵分三路会攻汉中。司马懿从西城开拓道路，水陆并进，沿着沔水逆流而上，直达朐忍，攻克新丰县，驻军丹口，后遇雨班师。
太和五年（公元231年）二月，蜀汉丞相诸葛亮率军第四出进攻魏，包围祁山贾嗣、魏平部，并以木牛流马运输粮草。
青龙元年（公元233年），安定保塞匈奴大人胡薄居姿职等叛，司马懿派遣胡遵等追讨并破降。
青龙二年（公元234年）二月，诸葛亮率军十万出斜谷攻魏。四月，诸葛亮至县，进驻渭水之南。司马懿率军渡渭水，背水筑垒阻击。
青龙三年（公元235年），司马懿升任太尉，累增封邑。蜀将马岱入境侵扰，司马懿派牛金迎击，斩蜀军千余人。武都氐王苻双和强端率领其属下六千余人来降。
东汉末年军阀混战时，公孙度据有辽东。这个割据势力对曹魏一直时叛时降，保持着半独立的地位。公孙渊继为辽东太守后，对魏更加不逊。
魏明帝震怒，派荆州刺史丘俭出任幽州刺史，时辽水大涨，丘俭不利而还。丘俭讨伐受阻，使公孙渊更加得意。景初元年（237年），原魏辽东太守公孙渊背叛魏国，自立为燕王，置列百官，定都襄平。渊遣使南通孙权，封拜边民，诱呼鲜卑，侵扰北方。
于是，景初二年（公元238年）正月，魏明帝召回司马懿，命他率兵讨伐。
当天，魏明帝去世。时为公元239年（景初三年）正月。
齐王曹芳年仅八岁，司马懿乃与大将军曹爽一起接受遗诏辅佐少主。齐王即位，司马懿任侍中、持节、都督中外诸军、录尚书事，和曹爽各统精兵三千人，共执朝政。
曹爽欲排挤司马懿，想让尚书奏事先通过自己，以便专权，向天子进言，改任司