La salud de Patel se deterioró drásticamente en el verano de 1950. Tosía con sangre. Maniben redujo las reuniones y las horas de trabajo de Patel, y se nombró personal médico personal para cuidar de la salud de Patel. El ministro principal de Bengala Occidental, Bidhan Roy, que también era médico, se enteró de que Patel ahora estaba bromeando sobre su muerte cercana y le preguntó a su colega ministro N.V. Se ha dicho antes que Gadgil que ahora no vivirá por mucho tiempo. La salud de Patel se deterioró el 2 de noviembre de 1950. Comenzó a desmayarse una y otra vez. Fue llevado a Delhi el 12 de diciembre de 1950.
Ese día Nehru, Rajagopalachari, Rajendra Prasad y Menon fueron a despedirlo al aeropuerto de Delhi. Patel se había vuelto muy débil. Lo subieron al avión junto con la silla. Una gran multitud se levantó para darle la bienvenida en el aeropuerto de Santa Cruz en Bombay. Patel aterrizó en el aeropuerto de Juhu para evitar tensiones. Aquí le dieron la bienvenida el Ministro Principal B. Jeetra Kher y Morarji Desai.
El coche del gobernador de Bombay había venido a recogerlo y desde allí llegó a Birla House. El 15 de diciembre de 1950 sufrió un segundo infarto agudo y murió. El día después de su muerte, más de mil quinientos agentes de los servicios civiles indios y del servicio de policía indio acudieron a la residencia de Patel en Delhi y le rindieron homenaje. Prestó juramento de plena devoción a la Madre India. Nunca antes se había visto una escena así en la historia de la India. El gobierno de Bombay planeaba realizar sus últimos ritos en Girgaum Chowpatty, pero Maniben dijo que Sardar deseaba que sus últimos ritos se realizaran en Sonapur como un hombre común.
Ahora este lugar se llama Marine Lines. El hermano de Patel y la esposa de Patel fueron incinerados en este lugar. Un millón de personas asistieron a su funeral. También estuvieron presentes el Primer Ministro Nehru, Rajagopalachari y el Presidente Dr. Rajendra Prasad. A su muerte, el Manchester Guardian escribió que la misma persona rara vez triunfaba como rebelde y estadista, pero Patel fue una excepción en este sentido.
