Вам нужно разделить значение maxdistance на 111.12 (один градус приблизительно 111.12 километра), чтобы преобразовать радиус степени в км.
, чтобы вы могли попробовать это
RentModel.find({prop_location : { $near : [msg.lat, msg.lng], $maxDistance : 500/111.2}})
Но те же самые разные работы - это сферические запросы, там вам нужно разделить радиус степени радиус земли 6371 для работы с значениями km