兴平元年{公元194年}，马腾有私事求于李傕，没有得到应允，于是率兵相攻。汉献帝派使者劝解，没有成功，随后屯于金城的韩遂率兵前来劝解，继而与马腾联合，一起进攻李傕。朝臣种邵、马宇、刘范欲诛杀李傕等人，于是秘密与马腾联系，愿为内应，但因事情败露，只得逃奔槐里。
建安七年{公元202年}，袁绍病逝，其子袁尚欲与马腾、韩遂联合，马腾假装答应了他。后来，曹操派钟繇与袁尚所置的河东太守郭援以及匈奴南单于在平阳交战，在曹操使者张既、傅干等人的劝说下，马腾决定帮助曹军，派儿子马超带领万余人去帮助钟繇，击败了郭援军，马超的部下庞德在战场上亲手杀死了郭援。曹操表拜马腾为征南将军，韩遂为征西将军，俱开府。
张既劝说马腾放弃部队，入朝为官，马腾一度犹豫，但迫于压力，最终答应，来到邺城。曹操上表封马腾为卫尉，封其子马超为偏将军，代替马腾统领部队，屯于原地，又封其子马休为奉车都尉，马铁为骑都尉，同其余家属徙往邺城。