получите среднюю Дату и время от DB и вычтите одну Дату от другого

Я бы предпочел получать данные из базы данных, а затем выполнять среднюю функцию в памяти. Хотя я не уверен, что может повлиять на производительность ...

            List<Visit> visits = myentitys.Visits.ToList();//Get the Visits entities you need in memory,
                                           //of course,you can filter it here
            var uQuery =
            from visit in visits
            group visit by visit.ArrivalTime.Value.Day into g
            select new
            {
                Day = g.Key,
                Hours = g.Average(visit => (visit.LeaveTime.Value - visit.ArrivalTime.Value).TotalMinutes)
            };

Этот вид арифметических операций невозможно преобразовать в запрос sql (например, в исключении говорится: аргументы DbArithmeticExpression должны иметь общий числовой тип), но это возможно с объектами в памяти.

Надеюсь, это поможет.

Вот как вы это делаете, предполагая, что ваше резервное хранилище - SQL Сервер. Кстати, я исправил то, что, как я полагал, было опечаткой - вы указываете общее количество минут в поле с названием Часы.