La propiedad de esclavos por parte de Key ha sido objeto de debate, ya que está en desacuerdo con su imagen como héroe patriótico estadounidense. Algunas personas argumentan que Key no debería ser honrado por sus vínculos con la esclavitud, mientras que otros creen que sus contribuciones al país no deberían verse eclipsadas por este aspecto de su vida.