Carlos es hijo de Luis I, duque de Orleans, hermano del rey Carlos VI de Francia. Su infancia estuvo marcada por el conflicto entre su padre y Jean sans Peur, duque de Borgoña, conflicto que estuvo en el origen de la guerra civil entre armañacs y borgoñones. Su padre fue asesinado por orden del duqu