柔然的兴起，源于北魏的叛乱，后来，三国纷争，八王之乱，五胡乱中华，南北朝的分裂等社会大动荡，中原大地被视为“怨毒无聊，祸乱并起，中国扰攘，四夷侵叛”，当时北方各游牧民族的生活应该是充满诗情画意的，在辽阔的敕勒大草原，阴山脚下，汉初的民歌唱道：“敕勒川，阴山下，天似穹庐，笼盖四野，天苍苍，野茫茫，风吹草低见牛羊”。
当时，北方各游牧民族的生活应该是满足而富有诗意的，在这个时候，北魏（386-557年）是由鲜卑族拓跋氏建立的封建王朝，北魏是一个分裂后的南北朝的第一个政权，439年起，北魏的孝文帝，拓跋宏意识到自己政权面临严重的危机，北面有对手柔然、高车等，南边与经济文化先进的南朝对峙，北魏采取了一系列措施来改变这些情况。
拓跋宏认为只有变革才能生存，才能对抗危机，他在北魏实行了一系列改革，改变游牧民族的各种弊端，学习汉族先进的文化和农业技术，改革遇到了贵族阶层的强烈反抗，拓跋宏决定要杀掉阻碍改革的太子，这项改革才得以继续进行，太和二十三年四月初一（499年4月26日），拓跋宏去世，享年三十五岁。
北魏边防部队爆发骚乱，导致强大的北魏分裂成东魏和西魏，加上柔然，东魏派结盟的方式与柔然签订了协议，柔然抓住这次机会开始整顿官员的陋习，学习中原文化的先进技术和农耕技术，还派遣外交使团到南方寻求技术援助，但遭到拒绝，柔然进入了封建社会，柔然的地盘东至易水，西至宁夏固原，公元546年，西魏大统十二年，向柔然求婚不成的突厥趁机击败另一小国高车，孤立了柔然，并杀害了柔然的使者，随后联合失败的高车国共同攻打柔然，柔然可汗阿那环兵败自杀。
残部在其子庵罗辰的带领下逃离北齐，余部一分为二，东部立铁伐为统帅，西部立邓叔子为统帅，公元555年（北齐文宣帝天保六年），突厥木杆可汗最后击溃东柔然，西魏忍受不住突厥的威胁，交出在此躲避的西柔然首领邓叔子，突厥人将邓叔子余部三千多人中的成年男子全部杀死，其余人分配给王公贵族为奴役。
柔然国自此正式退出历史舞台，由于柔然短促的存在，使得在历史上鲜为人知，但是柔然一度是北朝的劲敌，如果北朝渡江进攻南朝，柔然就会使它们后院起火，北朝不发兵而让步，这为南朝赢得了苟安的局面。