Если никаких столкновений не происходит, вы всегда можете добавить оба направления к одному и тому же HashMap: -)