Po ukończeniu szkoły średniej w 1944 r. Davis przeniósł się do Nowego Jorku, by studiować w Juilliard School of Music.
Kiedy przybył do Nowego Jorku, większość czasu spędzał na próbach nawiązania kontaktu z Charlie Parkerem, mimo że niektórzy mówili mu, że nie powinien tego robić. Kiedy znalazł Parkera, Davis zaangażował się w jam sessions, które odbywały się co wieczór w dwóch nocnych klubach Harlemu, Minton's Playhouse i Monroe's. W sesjach tych brali również udział inni słynni muzycy, jak Thelonious Monk i Kenny Clarke.
Davis wcześnie opuścił Juilliard, uprzednio prosząc o zgodę ojca. Nie podobały mu się zajęcia w Juilliard, ponieważ uważał, że za bardzo skupiają się na klasycznej muzyce europejskiej i "białej". Mówił też, że zajęcia w Juilliard pomogły mu zrozumieć teorię muzyki.
Zaczął grać zawodowo w wielu grupach jazzowych, występując w kilku klubach 52nd Street z Colemanem Hawkinsem i Eddiem "Lockjawem" Davisem. W 1945 roku po raz pierwszy wszedł do studia nagraniowego, jako członek grupy Herbiego Fieldsa. W 1946 roku dokonał pierwszego nagrania jako bandleader, z grupą "Miles Davis Sextet plus Earl Coleman and Ann Hathaway". W tym czasie nie dokonał już wielu nagrań jako bandleader.
Około 1945 roku Dizzy Gillespie przestał współpracować z Parkerem, a Parker zatrudnił Davisa jako zastępcę Gillespiego w swoim kwintecie. W skład grupy wchodzili także Max Roach na perkusji, Al Haig (zastąpiony później przez Sir Charlesa Thompsona i Duke'a Jordana) na fortepianie oraz Curley Russell (zastąpiony później przez Tommy'ego Pottera i Leonarda Gaskina) jako basista.
Z kwintetem Parkera Davis nagrywał kilkakrotnie. Jego solówka znalazła się w utworze Parkera "Now's the Time". Solo to dało początek stylowi jazzu zwanemu "cool jazz". Grupa odbyła również tournée po Stanach Zjednoczonych. Podczas trasy koncertowej w Los Angeles Parker przeszedł załamanie nerwowe i trafił na kilka miesięcy do stanowego szpitala psychiatrycznego w Camarillo. Davis utknął w L.A. Zamieszkał u Charlesa Mingusa i grał z nim muzykę. Później dostał pracę u Billy'ego Eckstine'a na trasie koncertowej po Kalifornii, która sprowadziła go z powrotem do Nowego Jorku. W 1948 roku Parker powrócił z Los Angeles, a Davis ponownie dołączył do jego grupy.
Muzycy z grupy Parkera nie dogadywali się zbyt dobrze. Zachowanie Parkera było nieprzewidywalne z powodu jego uzależnienia od narkotyków. Davis i Roach nie zgadzali się na zatrudnianie przez Parkera Duke'a Jordana jako pianisty i woleliby Buda Powella). W grudniu 1948 roku Davis opuścił grupę po kłótni z Parkerem w Royal Roost. Zaczął pracować bardziej niezależnie z różnymi grupami w Nowym Jorku.