Ujście rzeki Don jest bardzo ważne od czasów starożytnych. Było ono ważne ze względów kulturowych i handlowych. Była tam grecka kolonia Tanais, a także fort Genueńczyków Tana. Później Imperium Osmańskie zbudowało tam fort. Ta forteca nosiła nazwę Azov.
Rostów nad Donem został założony w 1749 roku. W tym samym roku na Donie zbudowano komorę celną. Później powstała duża twierdza. Nazwano ją imieniem świętego Dimitrija z Rostowa. Dimitrij z Rostowa był biskupem ze starego północnego miasta Rostów Wielki. Z czasem znaczenie twierdzy Asov stawało się coraz mniejsze. Osada w pobliżu twierdzy stała się ważniejsza od twierdzy. Było to centrum handlowe regionu. W 1796 roku osada uzyskała prawa miejskie i zmieniła nazwę na Rostów nad Donem.
Rzeka Don, którą miasto nazywa się afrer, jest głównym szlakiem żeglugowym. Łączy on południowo-zachodnią Rosję z regionami na północy. Rostów nad Donem jest ważnym portem rzecznym zarówno dla ludzi jak i dla żeglugi przemysłowej. Dzięki tak dobremu położeniu geograficznemu, miasto szybko się rozwijało. Jest to najbardziej uprzemysłowione miasto południowej Rosji. Z tego powodu miasto spowodowało duży problem pomiędzy Białymi a Bolszewikami w czasie wojny domowej. Do 1928 roku władze regionalne zostały przeniesione ze starej stolicy kozackiej - Nowoczerkasku do Rostowa. Pobliskie ormiańskie miasto Nor Nakhijevan stało się częścią miasta.
W latach sowieckich bolszewicy zniszczyli dwa główne zabytki Rostowa - Sobór św. Aleksandra Newskiego (1908) i Sobór św. Jerzego w Nachiczewach (1783-1807). Duża część miasta została zniszczona przez wojska niemieckie, które opanowały ją trzykrotnie - w latach 1918, 1941 i 1942. Dzisiaj najbardziej znaczącą częścią historycznego miasta jest bardzo duża Katedra Narodzenia NMP (1860-87), zaprojektowana przez Konstantina Thona.
Miasto było również siedzibą najbardziej znanego rosyjskiego seryjnego zabójcy Andrieja Chikatilo, ale tak naprawdę nie urodził się tam.
W ostatnich latach w Rostowie nad Donem nastąpił znaczny wzrost gospodarczy. Częściowo dlatego, że gospodarka rosyjska jest coraz silniejsza. Wiele nowych firm wybudowało w mieście swoje siedziby. Ludzie mieszkający w mieście zarabiają więcej pieniędzy niż w przeszłości. Miasto zmienia się z miejsca wyrzuconego w czasie przez upadek komunizmu w nowoczesne, przemysłowe i bogate w technologie miasto.