Tras la Conferencia de la Mesa Redonda, Mahatma Gandhi se reunió en Londres con Hoare, Ministro de Asuntos de la India, y le solicitó una solución al problema del país. Hoare respondió sin rodeos que no se les concedería nada y que, además, ni siquiera permitirían la supervivencia del Congreso.
Así, el 28 de diciembre de 1931 Gandhi volvió a los portones de la autoridad británica con las manos vacías. El nuevo virrey, Lord Willingdon, declaró al Congreso como una organización ilegal. El 4 de enero de 1932 el gobierno encarceló sin justificación a Sardar Vallabhbhai Patel y a Gandhi en la cárcel de Yerwada. Patel pasó 16 meses junto a Gandhi, quien durante su internamiento dejó de consumir té y arroz.
Durante ese mismo período Patel también se abstuvo de tomar té y comer arroz, dedicándose por completo al cuidado de Gandhi y realizando sus pequeñas tareas cotidianas. Ambos se levantaban a las cuatro de la mañana; si Gandhi se despertaba antes, Patel lo hacía al mismo tiempo, y cuando Gandhi sugería dormir un poco más, Patel replicaba: «¿Cómo puedes tú dormir y yo estar despierto?» Tras su liberación, Gandhi anotó en su diario que el servicio de Patel en la cárcel le recordó a su propia madre.
La madre de Patel falleció poco después de su internamiento. El gobierno ofreció su libertad bajo ciertas condiciones, pero Patel exigió una liberación incondicional, lo cual fue rechazado. Así, el propio Patel lloró la pérdida de su madre dentro de la cárcel.
En 1933 llegó la noticia de que su antepasado Vithalbhai había muerto en el extranjero y su cuerpo fue repatriado a Bombay para los ritos funerarios. A pesar de la presión para que Vallabhbhai asistiera al funeral, el gobierno volvió a proponer una liberación condicionada, la que él rechazó nuevamente. Las autoridades aún no comprendían que aquel hombre estaba hecho de hierro, no de carne y hueso.
La salud de Patel se fue deteriorando en la prisión; un intenso dolor nasal le dificultaba la respiración. Un equipo médico recomendó una operación de inmediato. Finalmente, el gobierno británico aceptó conceder una liberación sin condiciones. En 1934 Patel fue puesto en libertad, viajó a Bombay desde Yerwada y se sometió a la operación requerida en su nariz.
