Deterioro de su salud en el verano de 1950
En el verano de 1950 la salud de Patel se deterioró rápidamente; comenzó a toser con sangre. Maniben, su esposa, redujo sus reuniones y horas de trabajo y contrató personal médico personal para atenderlo. El jefe de gobierno de Bengala Occidental, Bidhan Roy, médico de profesión, se enteró de que Patel hacía bromas sobre su inminente fallecimiento y, junto al ministro N.V. Gadgil, le advirtió que no le quedaba mucho tiempo.
Últimos días y traslado a Delhi
El 2 de noviembre de 1950 su estado se agravó: sufrió varios desmayos. El 12 de diciembre fue trasladado a Delhi. En el aeropuerto de la capital lo recibieron Jawaharlal Nehru, C. Rajagopalachari, Rajendra Prasad y V. K. Menon. Patel estaba tan débil que tuvo que viajar sentado en una silla.
Recepción en Bombay y fallecimiento
Al aterrizar en el aeropuerto de Juhu, para evitar tensiones, fue recibido por el jefe de gobierno B. Jeetra Kher y por Morarji Desai. Posteriormente el gobernador de Bombay lo llevó a la residencia Birla House. El 15 de diciembre de 1950 sufrió un segundo infarto agudo y falleció.
Homenaje nacional
Al día siguiente más de mil quinientos funcionarios del Servicio Civil y de la Policía India acudieron a su domicilio en Delhi para rendirle tributo. El gobierno de Bombay había previsto realizar sus últimos ritos en Girgaum Chowpatty, pero Maniben informó que el Sardar había deseado ser cremado como un hombre sencillo en Sonapur (actualmente Marine Lines). Allí, junto a su hermano, se llevó a cabo la cremación, a la que asistieron alrededor de un millón de personas, entre ellas el primer ministro Nehru, C. Rajagopalachari y el presidente Dr. Rajendra Prasad.
Reconocimiento internacional
Tras su muerte, el Manchester Guardian escribió que rara vez una persona logra combinar la rebeldía y la estadía, pero Patel era una excepción.