Ich würde den Gingko (und auch den Sommerflieder, wenn Du ihn behalten willst) mal weiter beobachten und evtl. mal in einen der unteren Zweige nahe am Stamm reinschneiden. Solange es noch grün oder saftig aussieht, ist noch nicht alles verloren.