Как создать контур изображения, если я знаю цвет фона?

Я хочу создать простую программу, в которой вы открываете любое изображение и выбираете 2 цвета:BackgroundColorи OutlineColor. Затем сделайте контур вокруг «объекта».

Вот мой код на данный момент:

        for (int y = 1; y < height - 1; y++) //iterate trough every pixel 
        {                                    //in my bitmap
            for (int x = 1; x < width - 1; x++)
            {
                //i want to put a pixel only if the the curent pixel is background
                if (bitmap.GetPixel(x, y) != BackgroundColor)
                    continue;

                var right = bitmap.GetPixel(x + 1, y);
                var down = bitmap.GetPixel(x, y + 1);
                var up = bitmap.GetPixel(x, y - 1);
                var left = bitmap.GetPixel(x - 1, y);
                //get the nearby pixels
                var neibours = new List<Color> {up, down, left, right};

                var nonBackgroundPix = 0;
                //then count how many are not outline nor background color
                foreach (Color neibour in neibours)
                {
                    if (neibour != BackgroundColor && neibour != OutlineColor)
                    {
                        nonBackgroundPix++;
                    }
                }
                //finaly put an outline pixel only if there are 1,2 or 3 non bg pixels
                if (nonBackgroundPix > 0 && nonBackgroundPix < 4)
                {
                    bitmap.SetPixel(x, y, OutlineColor);
                }
            }
        }

И вот возникает проблема, когда я запускаю свой код и ввожу я получил

И то, что я хочу, это

Если вы обнаружите проблему в моем коде, лучше знаете алгоритм для этого или каким-то образом сможете это сделать, просто скажите мне. Заранее спасибо, ребята!