Hab mich bisschen weiter eingelesen und habe erfahren, dass Input.GetMouseButtonDown für einen ganzen Frame true bleibt. Da ich zwei solcher If-Statements verwende, was ich am Anfang blöder weise nicht erwähnt habe, habe ich jetzt vor der While-Schleife yield return null hinzugefügt. Ist von der Performance wahrscheinlich nicht die beste Möglichkeit, allerdings ist das Spiel, was ich zurzeit entwickle, definitiv nicht anspruchsvoll und es gibt keine aktiven Figuren oder sonstiges.