Мне нужно отфильтровать массив, чтобы удалить элементы, которые ниже определенного порога. Мой текущий код выглядит примерно так:
threshold = 5
a = numpy.array(range(10)) # testing data
b = numpy.array(filter(lambda x: x >= threshold, a))
Проблема в том, что это создает временный список, используя фильтр с лямбда-функцией (медленно).
Поскольку это довольно простая операция, возможно, есть функция numpy, которая делает это в эффективный способ, но мне не удалось его найти.
Я подумал, что другим способом добиться этого может быть сортировка массива, поиск индекса порога и возврат фрагмента из этого индекса и далее, но даже если это будет быстрее для небольших входных данных (и в любом случае это будет незаметно), это определенно асимптотически менее эффективно по мере увеличения размера входных данных.
Есть идеи? Спасибо!
Обновление : Я тоже провел некоторые измерения , а сортировка + нарезка все еще была вдвое быстрее, чем чистый фильтр Python, когда вход был 100 000 000 записей.
In [321]: r = numpy.random.uniform(0, 1, 100000000)
In [322]: %timeit test1(r) # filter
1 loops, best of 3: 21.3 s per loop
In [323]: %timeit test2(r) # sort and slice
1 loops, best of 3: 11.1 s per loop
In [324]: %timeit test3(r) # boolean indexing
1 loops, best of 3: 1.26 s per loop