Don't throw the baby out with the bath water.

Maksud : Jangan membuang sesuatu yang berguna atau berharga hanya kerana kita tergesa-gesa hendak membuang sesuatu yang tidak berguna lagi kepada kita.