Una razón fue que algunos trabajadores temían que si los esclavos eran liberados, vendrían al Norte y competirían con ellos por puestos de trabajo. Les preocupaba que esta competencia hiciera bajar los salarios y les hiciera más difícil mantener a sus familias. Los trabajadores del norte a veces se amotinaban por la competencia que enfrentaban por parte de los inmigrantes recién llegados, y podían temer que los esclavos liberados enfrentaran prejuicios y agresiones similares.
Otra razón fue que algunos trabajadores creían que la esclavitud era necesaria para la economía. Pensaban que la economía del sur colapsaría si se aboliera la esclavitud y que esto tendría un impacto negativo en la economía nacional. Les preocupaba perder sus propios empleos si el país entraba en una recesión económica como resultado del fin de la esclavitud.
En tercer lugar, algunos trabajadores no sentían que la cuestión de la esclavitud afectara directamente sus vidas. Especialmente en la década de 1830, hubo varios grupos de defensores del "trabajo libre" dentro del movimiento obrero que adoptaron posturas contra la esclavitud basándose en principios económicos o filosóficos. Estos grupos de "mano de obra libre" eran más prominentes entre los artesanos de la ciudad de Nueva York, el centro metropolitano más grande de Estados Unidos en ese momento. Sin embargo, el movimiento laboral en general estuvo a menudo menos involucrado en el activismo contra la esclavitud.
Por supuesto, es importante recordar que no todos los trabajadores del norte se opusieron a la abolición de la esclavitud. Muchos trabajadores blancos del Norte apoyaron el movimiento abolicionista y trabajaron para acabar con la esclavitud.