Al principio de su carrera, Brearley expresó su apoyo a la institución de la esclavitud. En una carta de 1774, escribió que "la esclavitud no es un mal, sino una bendición". Sostuvo que la esclavitud era necesaria para la prosperidad económica de Estados Unidos y que proporcionaba a los afroamericanos una vida mejor que la que habrían tenido en África.
Sin embargo, las opiniones de Brearley sobre la esclavitud comenzaron a cambiar a finales de la década de 1770. Fue influenciado por el creciente movimiento a favor de la abolición y llegó a creer que la esclavitud era moralmente incorrecta. En 1780, escribió que "la esclavitud es una institución monstruosa, repugnante a los principios de la humanidad".
Las opiniones cambiantes de Brearley sobre la esclavitud son evidentes en sus acciones como político. En 1787, se desempeñó como presidente de la Convención Constitucional del Estado de Pensilvania. Ayudó a redactar una constitución estatal que incluía una disposición que prohibía la importación de nuevos esclavos a Pensilvania. En 1788, se desempeñó como delegado de la Convención Constitucional de Estados Unidos. Apoyó la inclusión de una cláusula en la Constitución que prohibía al gobierno federal abolir la esclavitud en los estados del sur.
Las opiniones de Brearley sobre la esclavitud fueron moldeadas en última instancia por sus complejas experiencias personales y por el cambiante clima social y político de finales del siglo XVIII. Pasó de ser un partidario de la esclavitud a un opositor, y sus acciones ayudaron a sentar las bases para la eventual abolición de la esclavitud en los Estados Unidos.
