Dirigir DragLeave para la etiqueta y en ese tratante fijar el color trasero de nuevo al defecto como:
AnyLabel_DragLeave vacío privado (remitente del objeto, EventArgs e)
{
Lbl de la etiqueta = remitente (de la etiqueta);
lbl.BackColor = defaultLabelBackColor;
}