Namanya semakin dikenang akibat kematian tragis yang dialaminya, yaitu kecelakaan dengan mobil Porsche miliknya. Mobil Porsche jenis Spyder tersebut (Porsche 550 Spyders) dibeli saat pembuatan film Rebel Without a Cause.Mobil yang oleh James diberi julukan “Little” (atau “Little Bastard”) ini kemudian dikostumasi ulang oleh George Barris – desainer Batmobile milik tokoh rekaan Batman.
