Детство и юность Джеймс родился в Калифорнии. Его мать была писательницей, а отец бизнесменом. У него есть двое младших братьев – Том и Дэвид, который тоже актером.