Ja, darfst du verweigern. Deine Befunde gehen den SB nichts an, sondern nur das Ergebnis, also ob du Erwerbfähig bist oder nicht oder welche Einschränkungen vorliegen.
Und nur das genannte Gesamtergebnis geht zurück an den SB.
Deine kompletten Unterlagen gehen von Arzt zu Arzt oder von dir zum Arzt.
Und wenn überhaupt könntest du beim SB abgeben aber nur in einem als Vertrauliche Arztsache gekennzeichneten und verschlossenen Umschlag.