Ich weiss woran es liegt. Und zwar ist das der Default Contact Offset in den Physics2D Einstellungen.
Ich habe vor Jahren mal ein kleines Video dazu gemacht und da das bei den heutigen Unityversionen immer noch so ist, kannst du da ruhig mal rein schauen.
Bei Minute 15 kommt das Entscheidende.