градиентный спуск, кажется, терпит неудачу

Я реализовал алгоритм градиентного спуска для минимизации функции стоимости, чтобы получить гипотезу для определения того, имеет ли изображение хорошее качество. Я так делал в Октаве. Идея каким-то образом основана на алгоритме из класса машинного обучения Эндрю Нг

. Поэтому у меня есть 880 значений "y", которые содержат значения от 0,5 до ~12. И у меня есть 880 значений от От 50 до 300 в «X», что должно предсказать качество изображения.

К сожалению, кажется, что алгоритм терпит неудачу, после некоторых итераций значение для тета настолько мало, что тета0 и тета1 становятся «NaN». И моя кривая линейной регрессии имеет странные значения...

вот код алгоритма градиентного спуска: (theta = zeros(2, 1);, alpha= 0.01, iterations=1500)

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters)

m = length(y); % number of training examples
J_history = zeros(num_iters, 1);

for iter = 1:num_iters


    tmp_j1=0;
for i=1:m, 
    tmp_j1 = tmp_j1+ ((theta (1,1) + theta (2,1)*X(i,2)) - y(i));
end

    tmp_j2=0;
for i=1:m, 
    tmp_j2 = tmp_j2+ (((theta (1,1) + theta (2,1)*X(i,2)) - y(i)) *X(i,2)); 
end

    tmp1= theta(1,1) - (alpha *  ((1/m) * tmp_j1))  
    tmp2= theta(2,1) - (alpha *  ((1/m) * tmp_j2))  

    theta(1,1)=tmp1
    theta(2,1)=tmp2

    % ============================================================

    % Save the cost J in every iteration    
    J_history(iter) = computeCost(X, y, theta);
end
end

А вот вычисление функции стоимости:

function J = computeCost(X, y, theta)   %

m = length(y); % number of training examples
J = 0;
tmp=0;
for i=1:m, 
    tmp = tmp+ (theta (1,1) + theta (2,1)*X(i,2) - y(i))^2; %differenzberechnung
end
J= (1/(2*m)) * tmp
end

26
задан Edwin Ikechukwu 18 May 2018 в 09:52
поделиться