Japonia była pierwszym krajem, który zbudował linie kolejowe do szybkich podróży. Ponieważ w Japonii jest wiele gór, istniejąca sieć kolejowa składała się z linii wąskotorowych o rozstawie torów 1067 mm (3'6"), które miały tendencję do wybierania nieprostych tras i nie mogły być przystosowane do większych prędkości. Z tego powodu Japonia miała większe zapotrzebowanie na nowe linie dużych prędkości niż kraje, w których istniejący system kolei normalnotorowych lub szerokotorowych można było łatwo zmodernizować. W przeciwieństwie do starszych linii, linie Shinkansen mają standardowy rozstaw torów i wykorzystują tunele i wiadukty, aby przejeżdżać przez przeszkody i nad nimi, a nie wokół nich.
Budowa pierwszego odcinka Tokaido Shinkansen pomiędzy Tokio a Osaką rozpoczęła się w 1959 roku. Linia została otwarta 1 października 1964 r., w samą porę przed Olimpiadą w Tokio. Linia odniosła natychmiastowy sukces, osiągając liczbę 100 milionów pasażerów w ciągu niespełna trzech lat, 13 lipca 1967 roku, oraz miliard pasażerów w 1976 roku.
Pierwsze pociągi Shinkansen jeździły z prędkością do 200 km/h (125 mph), później zwiększoną do 220 km/h (135 mph). Niektóre z tych pociągów, o klasycznym wyglądzie pocisku, są nadal używane do obsługi połączeń między Hakatą a Osaką. Wagon napędowy z jednego z oryginalnych pociągów znajduje się obecnie w Brytyjskim Narodowym Muzeum Kolejnictwa w Yorku.
Wiele bardziej zaawansowanych modeli pociągów podążyło za pierwszym typem, z reguły każdy z nich ma swój własny, charakterystyczny wygląd. Pociągi Shinkansen jeżdżą obecnie regularnie z prędkością do 300 km/h (185 mph), co stawia je wśród najszybszych pociągów na świecie, obok francuskich TGV i niemieckich ICE.
Pierwotnie linie Shinkansen miały służyć do przewozu pociągów pasażerskich i towarowych w dzień i w nocy, obecnie kursują na nich tylko pociągi pasażerskie. System jest zamykany codziennie między północą a 6:00, aby umożliwić konserwację, w tym prowadzenie pociągów testowych Doctor Yellow. Nieliczne pociągi nocne, które nadal kursują w Japonii, jeżdżą na starej sieci wąskotorowej, do której równolegle kursuje Shinkansen.
W 2003 roku JR Tokai podało, że średni czas przyjazdu Shinkansena mieścił się w granicach 6 sekund od planowanego czasu. Obejmuje to wszystkie naturalne i ludzkie wypadki i błędy i jest obliczane na podstawie około 160 000 podróży Shinkansen wykonane. Poprzedni rekord pochodził z 1997 roku i wynosił 18 sekund.
Pierwsze wykolejenie pociągu Shinkansen w ruchu pasażerskim miało miejsce podczas trzęsienia ziemi w Chuetsu 23 października 2004 roku. 6 z 8 wagonów pociągu Joetsu Shinkansen wykoleiło się w pobliżu stacji Nagaoka w Nagaoka, Niigata.