Kit Carson no recibió una educación formal en una escuela. Creció en una zona rural de Kentucky y sus primeros años de vida estuvieron marcados por la pobreza y las dificultades. El padre de Carson murió cuando él era joven y su madre se volvió a casar con un hombre llamado David Workman, que era cazador y trampero.
Carson pasó la mayor parte de su tiempo al aire libre, aprendiendo de su padrastro a cazar y atrapar trampas. Se convirtió en un tirador experto y desarrolló un profundo conocimiento de la naturaleza.
Aunque no asistió a la escuela, Carson aprendía rápido y tenía una curiosidad natural por el mundo que lo rodeaba. Aprendió por sí mismo a leer y escribir y se convirtió en un ávido lector, particularmente de libros sobre historia y exploración. Carson también desarrolló un amor por la narración de historias y se hizo conocido por sus vívidas descripciones de sus aventuras.