Хорошая запись трудностей этой проблемы можно найти здесь: http://www.quirksmode.org/js/events_properties.html#position
Использование описанная там техника, вы можете найти положение мыши в документе. Затем вы просто проверяете, находится ли он в ограничивающей рамке вашего элемента, который вы можете найти, вызвав element.getBoundingClientRect (), который вернет объект со следующими свойствами: {снизу, высота, левая, правая, верхняя, ширина }. Оттуда тривиально выяснить, произошло ли даже внутри вашего элемента или нет.