Я пытаюсь написать немного кода для алгоритма градиентного спуска, объясненного в лекции Стэнфордского машинного обучения ( лекция 2 примерно в 25:00 ). Ниже представлена реализация, которую я использовал вначале, и я думаю, что она правильно скопирована из лекции, но она не сходится, когда я добавляю большие числа (> 8
) в обучающий набор.
Я ввожу число X
, а точка (X, X)
добавляется в обучающий набор, поэтому на данный момент я только пытаюсь получить он сходится к y = ax + b
, где a = 1 = theta \ [1 \]
и b = 0 = theta \ [0 \]
.
Обучающий набор - это массив x
и y
, где (x [i], y [i])
- точка.
void train()
{
double delta;
for (int i = 0; i < x.size(); i++)
{
delta = y[i]-hypothesis(x[i]);
theta[1] += alpha*delta*x[i];
theta[0] += alpha*delta*1;
}
}
void C_Approx::display()
{
std::cout<
некоторые из результатов, которые я получаю:
Я ввожу число, он запускает train ()
несколько раз, затем display ()
1
0.33616x + 0.33616 f(x)=0.67232
1
0.482408x + 0.482408 f(x)=0.964816
1
0.499381x + 0.499381 f(x)=0.998762
1
0.499993x + 0.499993 f(x)=0.999986
1
0.5x + 0.5 f(x)=1
Пример он расходится после прохождения 8
:
1
0.33616x + 0.33616 f(x)=0.67232
2
0.705508x + 0.509914 f(x)=1.21542
3
0.850024x + 0.449928 f(x)=1.29995
4
0.936062x + 0.330346 f(x)=1.26641
5
0.951346x + 0.231295 f(x)=1.18264
6
0.992876x + 0.137739 f(x)=1.13062
7
0.932206x + 0.127372 f(x)=1.05958
8
1.00077x + 0.000493063 f(x)=1.00126
9
-0.689325x + -0.0714712 f(x)=-0.760797
10
4.10321e+08x + 4.365e+07 f(x)=4.53971e+08
11
1.79968e+22x + 1.61125e+21 f(x)=1.9608e+22
12
-3.9452e+41x + -3.26957e+40 f(x)=-4.27216e+41
Я попробовал предложенное здесь решение масштабирования шага и получил аналогичные результаты. Что я делаю не так?