ggplot2 : Add a gradient colored square according to values

У меня непростой вопрос относительно того, что я пытаюсь сделать. У меня есть график с двумя линиями (среднее значение двух условий) на нем. Я хочу добавить на этот же график квадрат, отражающий t-значения (и окрашенный в соответствии с этими значениями градиентным способом). Как я могу добавить этот квадрат?

Ну, поскольку я не знаю, ясно ли я выразился, вот рисунок того, чего я пытаюсь достичь.

Спасибо за любую помощь!