матрицы не выровнены Ошибка: Python SciPy fmin_bfgs
Краткое описание проблемы: При попытке использовать функцию минимизации (оптимизации) scipy.optimize.fmin_bfgs функция выдает
derphi0 = np.dot (gfk, pk) ValueError: матрицы не выровнены
ошибка. Согласно моей проверке ошибок, это происходит в самом конце первой итерации через fmin_bfgs - непосредственно перед тем, как будут возвращены какие-либо значения или какие-либо вызовы обратного вызова.
Конфигурация: Виндоус виста Python 3.2.2 SciPy 0.10 IDE = Eclipse с PyDev
Подробное описание: Я использую scipy.optimize.fmin_bfgs, чтобы минимизировать стоимость простой реализации логистической регрессии (преобразование из Octave в Python / SciPy). По сути, функция стоимости называется функцией cost_arr, а градиентный спуск находится в функции gradient_descent_arr.
Я вручную протестировал и полностью подтвердил, что * cost_arr * и * gradient_descent_arr * работают правильно и правильно возвращают все значения. Я также протестировал, чтобы убедиться, что в функцию * fmin_bfgs * передаются правильные параметры. Тем не менее, при запуске я получаю ValueError: матрицы не выровнены. Согласно обзору источника, точная ошибка возникает в
def line_search_wolfe1 функция в строке Вульфа # Minpack и скалярный поиск, поставляемый пакетами scipy.
Примечательно, что если я использую scipy.optimize.fmin вместо этого функция fmin выполняется до завершения.
Точная ошибка:
файл "D: \ Users \ Shannon \ Programming \ Eclipse \ workspace \ SBML \ sbml \ LogisticRegression.py", строка 395, в fminunc_opt
optcost = scipy.optimize.fmin_bfgs (self.cost_arr, initialtheta, fprime = self.gradient_descent_arr, args = myargs, maxiter = maxnumit, callback = self.callback_fmin_bfgs, retall = True)Файл "C: \ Python32x32 \ lib \ site-packages \ scipy \ optimize \ optimize.py", строка 533, в fmin_bfgs old_fval, old_old_fval)
Файл "C: \ Python32x32 \ lib \ site-packages \ scipy \ optimize \ linesearch.py", строка 76, в line_search_wolfe1 derphi0 = np.dot (gfk, pk) ValueError: матрицы не выровнены
Я вызываю функцию оптимизации с помощью: optcost = scipy.optimize.fmin_bfgs (self.cost_arr, initialtheta, fprime = self.gradient_descent_arr, args = myargs, maxiter = maxnumit, callback = self.callback_fmin_bfgs, retall = True)
Я потратил несколько дней, пытаясь исправить это и, похоже, не может определить, что является причиной ошибки несогласованности матриц .
ДОБАВЛЕНИЕ: 2012-01-08 Я работал с этим намного больше и, похоже, сузил проблемы (но не понимаю, как их исправить). Во-первых, fmin (используя только fmin) работает с использованием этих функций - стоимости, градиента. Во-вторых, функции стоимости и градиента точно возвращают ожидаемые значения при тестировании в одной итерации в ручной реализации (НЕ с использованием fmin_bfgs). В-третьих, я добавил код ошибки в optimize.linsearch, и кажется, что ошибка возникает в def line_search_wolfe1 в строке: derphi0 = np.dot (gfk, pk). Вот, согласно моим тестам, scipy.optimize.optimize pk = [[12.00921659] [11.26284221]] pk type = и scipy.optimize.optimizegfk = [[-12.00921659] [-11.26284221]] gfk type = Примечание: согласно моим тестам, ошибка возникает на самой первой итерации через fmin_bfgs (т.е. fmin_bfgs никогда даже не завершает ни одной итерации или обновления).
Я ценю ЛЮБОЕ руководство или идеи.
Мой код ниже (ведение журнала, документация удалена): Предположим, что theta = 2x1 ndarray (Фактическое: theta Info Size = (2, 1) Type =) Предположим, X = 100x2 ndarray (Фактический: X Размер информации = (2, 100) Тип =) Предположим, y = 100x1 ndarray (Actual: y Info Size = (100, 1) Type =)
def cost_arr(self, theta, X, y):
theta = scipy.resize(theta,(2,1))
m = scipy.shape(X)
m = 1 / m[1] # Use m[1] because this is the length of X
logging.info(__name__ + "cost_arr reports m = " + str(m))
z = scipy.dot(theta.T, X) # Must transpose the vector theta
hypthetax = self.sigmoid(z)
yones = scipy.ones(scipy.shape(y))
hypthetaxones = scipy.ones(scipy.shape(hypthetax))
costright = scipy.dot((yones - y).T, ((scipy.log(hypthetaxones - hypthetax)).T))
costleft = scipy.dot((-1 * y).T, ((scipy.log(hypthetax)).T))
def gradient_descent_arr(self, theta, X, y):
theta = scipy.resize(theta,(2,1))
m = scipy.shape(X)
m = 1 / m[1] # Use m[1] because this is the length of X
x = scipy.dot(theta.T, X) # Must transpose the vector theta
sig = self.sigmoid(x)
sig = sig.T - y
grad = scipy.dot(X,sig)
grad = m * grad
return grad
def fminunc_opt_bfgs(self, initialtheta, X, y, maxnumit):
myargs= (X,y)
optcost = scipy.optimize.fmin_bfgs(self.cost_arr, initialtheta, fprime=self.gradient_descent_arr, args=myargs, maxiter=maxnumit, retall=True, full_output=True)
return optcost