Если, IIf () и если ()

Во многих случаях, особенно с классификацией текста, недостаточно просто хранить классификатор, но вам также нужно будет хранить векторизатор, чтобы вы могли векторизовать свой ввод в будущем.

import pickle
with open('model.pkl', 'wb') as fout:
  pickle.dump((vectorizer, clf), fout)

будущий вариант использования:

with open('model.pkl', 'rb') as fin:
  vectorizer, clf = pickle.load(fin)

X_new = vectorizer.transform(new_samples)
X_new_preds = clf.predict(X_new)

Перед тем, как сбросить векторизатор, можно удалить свойство stop_words_ векторика:

vectorizer.stop_words_ = None

, чтобы сделать демпинг более эффективным. Также, если параметры вашего классификатора разрежены (как в большинстве примеров классификации текста), вы можете преобразовать параметры от плотного к разреженному, что будет иметь огромное значение с точки зрения потребления памяти, загрузки и сброса. Сдвиньте модель:

clf.sparsify()

, которая будет автоматически работать для SGDClassifier , но в случае, если вы знаете, что ваша модель разрежена (много нулей в clf .coef_), тогда вы можете вручную преобразовать clf.coef_ в csr scipy разреженную матрицу с помощью:

clf.coef_ = scipy.sparse.csr_matrix(clf.coef_)

, а затем вы можете сохранить ее более эффективно.