Причина такого поведения заключается в том, что VTK использует нормализованные значения цвета.
Таким образом, решение очень просто: мы должны разделить значение на 255
[...]
double r = 146.0 / 255.0;
double g = 110.0 / 255.0;
double b = 218.0 / 255.0;
vtkProperty property = new vtkProperty();
property.SetColor(r, g, b);
lineActor.SetProperty(property);