Andersonville era un campo de prisioneros confederado conocido por sus duras condiciones. Los prisioneros fueron recluidos en condiciones insalubres y hacinadas y se les dio poca comida y agua. Muchos murieron por enfermedades, hambre o exposición. Josiah Quincy fue uno de los afortunados que sobrevivió. Fue liberado de Andersonville en febrero de 1865 y regresó a su casa en Boston.
La experiencia de Josiah Quincy en Andersonville tuvo un profundo impacto en su vida. Escribió un libro sobre sus experiencias, que se publicó en 1866. El libro fue un éxito de ventas y ayudó a crear conciencia sobre las condiciones en las prisiones confederadas. Quincy también se convirtió en un defensor de la reforma penitenciaria y trabajó para mejorar las condiciones de los prisioneros de guerra.