Попытайтесь связать ширину FlowDocument (один путь) к ширине контейнерного RichTextBox.
Работавший для меня...
Я копирую, вставил Ваш код и не в отдельном столбце, у Вас есть ширина где-нибудь, которая мала? Возможно, определенный на коде позади, например.
Это подтвержденная ошибка WPF RichTextBox. Чтобы исправить это, свяжите PageWidth FlowDocument с шириной RichTextBox, то есть
<RichTextBox Name="rtb">
<FlowDocument Name="rtbFlowDoc" PageWidth="{Binding ElementName=rtb, Path=ActualWidth}" />
</RichTextBox>
EDIT: Дайте FlowDocument имя, чтобы вы могли получить к нему доступ в коде позади и никогда не создавали документ потока в коде.