отсчитать элемент сетки, не перемещая элемент

Вы можете использовать свойство css grid-template-areas:, чтобы указать, какие элементы должны появляться и где.

Пример использования вашего кода:

#diagram-times {grid-area: topleft}
.main-diagram-1 {grid-area: topright;}
.main-diagram-2 {grid-area: botleft;}
.main-diagram-3 {grid-area: botright;}

.container {
  display: grid;
  grid-template-columns: 100px 100px;
  grid-template-rows: auto;
  grid-template-areas: 
  "topleft topright"
  "botleft botright"
}

Отличное руководство по сетке.