Los propietarios de esclavos procedían de todos los ámbitos de la vida, pero tendían a ser más ricos que los no propietarios de esclavos. En los Estados Unidos, los propietarios de esclavos incluían propietarios de plantaciones, agricultores, comerciantes e incluso algunos profesionales. En América del Sur, entre los propietarios de esclavos se encontraban terratenientes ricos, así como miembros del clero y funcionarios gubernamentales. En África, los propietarios de esclavos eran a menudo reyes, jefes y líderes tribales. Además, algunos esclavos eran propiedad de otros esclavos. Finalmente, hubo individuos de menor posición socioeconómica que optaron por comprar y/o mantener esclavos o sirvientes humanos incluso sin la aceptación social, el beneficio económico o el poder.