Los sureños blancos que poseían esclavos constituían una pequeña minoría de la población blanca. En 1860, sólo 1 de cada 4 familias blancas del Sur poseía esclavos. La gran mayoría de los sureños blancos eran agricultores pobres que no tenían esclavos y a menudo luchaban para llegar a fin de mes.