Эффективный пороговый фильтр массива с numpy

Мне нужно отфильтровать массив, чтобы удалить элементы, которые ниже определенного порога. Мой текущий код выглядит примерно так:

threshold = 5
a = numpy.array(range(10)) # testing data
b = numpy.array(filter(lambda x: x >= threshold, a))

Проблема в том, что это создает временный список, используя фильтр с лямбда-функцией (медленно).

Поскольку это довольно простая операция, возможно, есть функция numpy, которая делает это в эффективный способ, но мне не удалось его найти.

Я подумал, что другим способом добиться этого может быть сортировка массива, поиск индекса порога и возврат фрагмента из этого индекса и далее, но даже если это будет быстрее для небольших входных данных (и в любом случае это будет незаметно), это определенно асимптотически менее эффективно по мере увеличения размера входных данных.

Есть идеи? Спасибо!

Обновление : Я тоже провел некоторые измерения , а сортировка + нарезка все еще была вдвое быстрее, чем чистый фильтр Python, когда вход был 100 000 000 записей.

In [321]: r = numpy.random.uniform(0, 1, 100000000)

In [322]: %timeit test1(r) # filter
1 loops, best of 3: 21.3 s per loop

In [323]: %timeit test2(r) # sort and slice
1 loops, best of 3: 11.1 s per loop

In [324]: %timeit test3(r) # boolean indexing
1 loops, best of 3: 1.26 s per loop
74
задан Garrett 20 October 2014 в 06:02
поделиться