Со смертью Харуна ар-Рашида былое единство Аббасидского государства оказалось нарушенным. Роковую роль сыграло решение Харуна ар-Рашида о преемнике. У халифа было два сына: Мухаммад — от жены из знатного арабского хашимидского рода по имени Зубайда и Абдаллах — от персидской наложницы. В 782 году Харун назначил младшего сына Мухаммада под именем аль-Амин своим первым наследником, а в 799 году старшего сына Абдаллаха под именем аль-Мамун следующим после аль-Амина наследником. В 802 году Харун дополнил свое решение, назначив аль-Мамуна, второго наследника престола, несменяемым правителем Хорасана.Следует отметить, что расправа над Бармакидами вызвала большое недовольство в иранских провинциях империи. От открытого мятежа восточных провинций империю спасло лишь то обстоятельство, что примерно за год до свержения Бармакидов xaлиф назначил в Хорасан правителя наполовину персидского происхождения, что, по понятиям хорасанцев, означало предоставление им некоторой автономии.
Аль-Мамун был наделен почти неограниченными полномочиями. В 802 году во время паломничества в Мекку, у стен Каабы оба брата торжественным актом, поклялись уважать решение отца, и контракт о наследовании был широко обнародован в Мекке. Таким образом, мусульманская империя оказалась разделенной на две части на время, пока у власти находился аль-Амин. Решение о преемниках Харун ар-Рашид сформулировал не слишком удачно, и после его смерти между сыновьями началась борьба за власть.
Под влиянием вазира аль-Фадла ибн ар-Раби и аль-Амин в 809 году, вступив на трон, объявил наследником собственного сына, а получив послание аль-Мамуна, возражавшего против этого решения, вовсе лишил его права на наследование власти в Халифате.Аль-Амин прекрасно понимал, что аль-Мамун не примирится с его решением, и двинулся против брата с армией, в которой важную роль играли образованные еще Харуном ар-Рашидом отряды тюркских наемников, на чью преданность халиф мог вполне положиться. Несмотря на чистоту арабской крови, аль-Амин снискал себе славу дурного правителя и не вызывал особой симпатии ни у арабов, ни у персов. Это был слабый и легкомысленный человек, пренебрегавший государственными делами, проводивший время в развлечениях и предоставивший дурным советникам вершить все государственные дела.
Он восхищался поэзией Абу Нуваса, прославлявшего в стихах винные радости и любовные похождения, в том числе и с мальчиками, и сделал его своим другом.Положение аль-Мамуна было более выигрышным. В своих действиях он следовал законным решениям Харуна, которые были подтверждены взаимными клятвами. Его активно поддерживали и армия, и жители Хорасана, поскольку им импонировали его происхождение и четкие проиранские установки. Аль-Мамун получил хорошее образование под руководством перса аль-Фадла ибн Сахла, назначенного ему в наставники отцом еще в 803 году, вскоре после падения Бармакидов.
Для этого аль-Фадлу пришлось публично отказаться от зороастризма и перейти в ислам. Аль-Фадл ибн Сахл и его брат аль-Хасан играли при аль-Мамуне ту же роль, какую в свое время при Харуне ар-Рашиде играл Джафар.Получив пост правителя Хорасана, аль-Мамун мог бы оставаться в Багдаде, поручив наблюдение за провинцией своей администрации, но по совету аль-Фадла он отправился в Хорасан, где создал для себя прочную базу. Он сопровождал отца во время поездки Харуна на восток в 803 году и сумел сразу же после его смерти взять в свои руки все управление провинцией.
После смерти Харуна ар-Рашида в 809 году один из его военачальников в Мавараннахре Рафи ибн Лайс отказался подчиняться багдадской власти и овладел Самаркандом. Халиф выслал против него войско во главе с эмиром Харсамой, который осадил Самарканд и, взяв город в 811 году, казнил мятежника. После усмирения восстания визир аль-Амина аль-Фадл ибн ар-Раби приказал войску Харсамы возвратиться в Багдад. Это, по мнению аль-Мамуна, считавшего, что оно должно остаться под его командованием, противоречило распоряжению покойного Харуна о его суверенитете в Хорасане. По совету аль-Фадла ибн Сахла он отказался отправить войско в Багдад. Так началась война между двумя братьями.Аль-Амин отправил войско против непокорного брата, но небольшая армия аль-Мамуна под командованием Харсамы и хорасанца Тахира в 811 году нанесла поражение иракской армии и двинулась на запад.
Война продолжалась два года. Армия аль-Мамуна заняла весь Западный Иран и подошла к Багдаду. Осада города продолжалась около года. Сторонники аль-Амина при поддержке горожан, боявшихся хорасанской армии и рассматривавших ее приход почти как иноземное вторжение, яростно сопротивлялись. В 813 году город пал, аль-Амин был убит солдатами Тахира, а аль-Мамун был провозглашен халифом (813—833).Постепенно и западные провинции Халифата объявили о своей лояльности новому халифу. Аль-Мамун поручил правление Ираком Тахиру, а сам решил поселиться в Мерве, который собирался сделать столицей государства. Позднее он доверил управление Ираком брату аль-Фадла — аль-Хасану ибн Сахлу, в прошлом зороастрийцу — и взял в жены одну из его дочерей.
