После git push heroku -загруженные файлы на Heroku теряются

Мое довольно простое приложение позволяет пользователям загружать аватары.

Приложение развернуто на Heroku с

$ git add.
$ git commit -m "description"
$ git checkout master
$ git merge my-cool-new-feature
$ git push heroku

Проблема в том, что каждый раз, когда я вношу изменения в Heroku, все файлы, загруженные в Heroku, теряются. Я думал, что проблема в том, что папка/файлы находятся под контролем версий, поэтому я добавил папку в.gitignore

# Ignore User generated files
/public/system/*

и удалил файлы из репозитория.

$ git rm -rf --cached public/system

Но проблема сохраняется. Можете ли вы указать мне правильное направление?