Если у вас много файлов, и каждый файл невелик (вы скажете, что 300 МБ выше, что я считаю малым для Spark), вы можете попробовать использовать SparkContext.wholeTextFiles
, который создаст RDD, где каждая запись будет целым файлом.
Итак, я думаю, вы путаетесь в том, что такое серверы приложений и веб-серверы.
Сервер приложений - это имя machine / server , на котором выполняется любое приложение, используемое организации, и это зависит от любых других серверов для правильной работы функциональных возможностей приложения, таких как серверы баз данных, серверы кэширования и другие типы серверов.
Веб-сервер - это программное обеспечение, которое ставит приложение онлайн для доступа клиентов через паутина.
На сервере приложений обычно есть веб-сервер, работающий внутри него, как часть стека, необходимого для запуска приложения на сервере, например, библиотеки и другие приложения должны выполнять задачу приложения.
Таким образом, вы можете запускать REST api внутри сервера приложений с помощью приложения веб-сервера.
Некоторые примеры веб-серверов - Apache, Nginx, LightHttpd и т. д.