Псевдокод оценки максимального правдоподобия

Я только что столкнулся с этим, и я знаю его старое, но я надеюсь, что кто-то еще извлекает выгоду из этого. Хотя предыдущие комментарии давали довольно хорошее описание того, что такое оптимизация ML, никто не давал псевдокод для ее реализации. Python имеет минимизатор в Scipy, который сделает это. Вот псевдокод для линейной регрессии.

# import the packages
import numpy as np
from scipy.optimize import minimize
import scipy.stats as stats
import time

# Set up your x values
x = np.linspace(0, 100, num=100)

# Set up your observed y values with a known slope (2.4), intercept (5), and sd (4)
yObs = 5 + 2.4*x + np.random.normal(0, 4, 100)

# Define the likelihood function where params is a list of initial parameter estimates
def regressLL(params):
    # Resave the initial parameter guesses
    b0 = params[0]
    b1 = params[1]
    sd = params[2]

    # Calculate the predicted values from the initial parameter guesses
    yPred = b0 + b1*x

    # Calculate the negative log-likelihood as the negative sum of the log of a normal
    # PDF where the observed values are normally distributed around the mean (yPred)
    # with a standard deviation of sd
    logLik = -np.sum( stats.norm.logpdf(yObs, loc=yPred, scale=sd) )

    # Tell the function to return the NLL (this is what will be minimized)
    return(logLik)

# Make a list of initial parameter guesses (b0, b1, sd)    
initParams = [1, 1, 1]

# Run the minimizer
results = minimize(regressLL, initParams, method='nelder-mead')

# Print the results. They should be really close to your actual values
print results.x

Это прекрасно работает для меня. Конечно, это только основы. Он не профилирует и не дает CI на оценках параметров, но это начало. Вы также можете использовать методы ML, чтобы найти оценки, скажем, для ОДУ и других моделей, как я описываю здесь .

Я знаю, что этот вопрос был старым, надеюсь, вы поняли его с тех пор, но, надеюсь, кому-то еще будет полезен.

Вам нужна процедура численной оптимизации. Не уверен, что что-то реализовано в Python, но если это так, то это будет в numpy или scipy и друзья.

Ищите такие вещи, как «алгоритм Нелдера-Мида» или «BFGS». Если ничего не помогает, используйте Rpy и вызовите функцию R 'optim ()'.

Эти функции работают путем поиска в пространстве функций и определения того, где находится максимум. Представьте, что вы пытаетесь найти вершину холма в тумане. Вы могли бы просто попытаться всегда идти самым крутым путем. Или вы могли бы отправить некоторых друзей с радио и GPS-приемниками и сделать небольшую съемку. Любой метод может привести вас к ложной вершине, поэтому вам часто приходится делать это несколько раз, начиная с разных точек. В противном случае вы можете подумать, что южная вершина является самой высокой, когда над ней скрывается массивная северная вершина.

Как сказал Джоран, оценки максимального правдоподобия для нормального распределения можно рассчитать аналитически. Ответы найдены путем нахождения частных производных логарифмической функции правдоподобия по параметрам, установки каждого на ноль и последующего решения обоих уравнений одновременно.

В случае нормального распределения вы должны получить логарифмическую вероятность по среднему значению (mu), а затем получить по дисперсии (sigma ^ 2), чтобы получить два уравнения, оба равных нулю. Решив уравнения для mu и sigma ^ 2, вы получите выборочное среднее и выборочную дисперсию в качестве ответов.

См. страницу википедии для более подробной информации.