Файл Powershell ps1 “не распознан как cmdlet, функция, действующая программа или файл сценария”.
Каков рекомендуемый рабочий процесс при работе с кластером?
Существует множество рабочих процессов, которые хорошо работают для разных групп. Нет единого благословенного рабочего процесса.
Должен ли я просто создать новую записную книжку в процессе работы и начать создавать прототипы моих сценариев предварительной обработки данных?
Конечно, это было бы хорошо.
Как я могу гарантировать, что моя работа не будет стерта при обновлении развертывания Helm?
Вы можете сохранить свои данные в более постоянном хранилище, например, в облачном хранилище или в хранилище git, размещенном в другом месте.
Вы бы просто вручную переносили их в корзину каждый раз, когда обновлялись (что кажется утомительным)?
Да, это будет работать (и да, это так)
или вы создадите простой экземпляр vm, создаете прототип там, а затем перемещаете все в кластер, когда работает на полном наборе данных?
Да, это также сработает.
Вкратце
Диаграмма Хелма включает в себя сервер ноутбуков Jupyter для удобства и простоты тестирования, но она не заменяет полноценный пакет для долгосрочной постоянной производительности. Для этого вы можете рассмотреть проект, подобный JupyterHub (который решает проблемы, которые вы перечислили выше), или один из многих вариантов, ориентированных на предприятия, представленных сегодня на рынке. Было бы легко использовать Dask вместе с любым из них.
3 ответа
Это типичная ошибка на многих платформах, где путь к вашей среде не включает ваш текущий каталог. поэтому, когда вы выполняете свой скрипт (или команду, или программу и т. д.), ваша среда выполнения выглядит везде, кроме вашего текущего / рабочего каталога.
Попробуйте
PS> .\listAllPaths.ps1 c:\ *.pdf testingPDF.txt
РЕДАКТИРОВАТЬ: Прочитав ваши комментарии, я собираюсь предложить вам попробовать это. Я на самом деле не проверил логику вашего сценария PS. Я просто пытаюсь заставить ваш скрипт выполняться первым.
Попробуйте отредактировать ваш скрипт, как показано ниже, и выполнить, как указано выше.
Function listAllPaths([string]$fromFolder, [string]$filter, [string]$printfile){
Get-ChildItem -Path $fromFolder -Include $filter -Recurse -Force -Name > $printfile
}
listAllPaths
Я мог бы быть здесь вне базы, но разве ваш скрипт определяет функцию, вместо того, чтобы выполнить это? Возможно, вам нужно «получить исходный текст» сценария:
. .\listallpaths.ps1
... чтобы теперь была определена ваша функция «listallpaths».
Если вы замените «list_path функции» на param и избавитесь от окружающего {}, как это ..
param([string]$fromFolder, [string]$filter, [string]$printfile)
Get-ChildItem -Path $fromFolder -Include $filter -Recurse -Force -Name > $printfile
У вас будет файл сценария, который вы можете вызывать по мере необходимости.
PS> .\listAllPaths.ps1 c:\ *.pdf testingPDF.txt
Как указал Мэтт, объявив функцию, когда вы вызываете сценарий, она создаст функцию и затем завершит работу. Сценарий PowerShell - это, по сути, функция, хранящаяся в файле (без окружающих скобок ... они подразумеваются), где сама функция будет храниться в памяти.