У сервера Webpack Dev есть возможность включить это. Откройте package.json и добавьте --history-api-fallback. Эти решения работали для меня.
package.json
--history-api-fallback
https://github.com/reactjs/react-router-tutorial/tree/master/lessons/10-clean-urls#configuring-your-server