Du bewirbst dich dann ja auf neue Stelle nicht aus einem aktiven Beamtenverhältnis heraus, so dass niemand eine Personalakte anfordern kann. Pack dein Dienstzeugnis, was hoffentlich dementsprechend noch positiv ausfallen wird mit in die Bewerbungsunterlagen, mehr hast du ja erst mal nicht.
Alles andere wirst du in den jeweiligen Bewerbungstest zu leisten haben oder in einem Interview. Und wenn dann ein Arbeitgeber zu finden ist, der dich haben will, steht dem nichts entgegen. Mir ist nichts bekannt, dass dann ein alter Dienst hier angeschrieben wird, um die Personalakte zu übermitteln.
Rein theoretisch könntest du dich ja auch erst in zehn Jahren wieder im öffentlichen Dienst bewerben und muss zwischenzeitlich was in der Privatwirtschaft. Da wird niemand auf die Idee kommen, bei dem alten Diensten anzufragen.
Trotzdem schade, dass das Finanzamt dich nicht haben will, obwohl die sicherlich Bedarf haben.