Sus opiniones extremas :Las opiniones de Brown sobre la raza también fueron controvertidas. Creía que la única manera de establecer la igualdad racial en Estados Unidos era mediante una revolución violenta. También fue un firme defensor de los derechos de los nativos americanos y creía que se les debía devolver sus tierras.
Sus conexiones con grupos abolicionistas :La afiliación de Brown con varios grupos abolicionistas lo convirtió en blanco de críticas. Muchas personas en Estados Unidos se opusieron firmemente a los grupos abolicionistas, quienes vieron sus esfuerzos como disruptivos y peligrosos. Las conexiones de Brown con estos grupos lo convirtieron en una figura aún más controvertida.
Su impacto en la Guerra Civil :Muchos historiadores consideran que la incursión de Brown en Harpers Ferry fue un catalizador de la Guerra Civil. La incursión aumentó las tensiones entre el Norte y el Sur y ayudó a acercar a las dos partes a la guerra. Por lo tanto, algunos ven a Brown como una figura controvertida por desempeñar un papel en el inicio de la Guerra Civil.