Вы можете сделать это, используя команду branch filter:
branch filter
git filter-branch --tree-filter 'rm -rf path/to/your/file' HEAD