Невозможно создать таблицу с искровым SQL: поддержка Hive требуется для CREATE Hive TABLE (AS SELECT);
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import static java.nio.file.StandardCopyOption.*;
Path yourFile = Paths.get("path_to_your_file\text.txt");
Files.move(yourFile, yourFile.resolveSibling("text1.txt"));
Чтобы заменить существующий файл на имя «text1.txt»:
Files.move(yourFile, yourFile.resolveSibling("text1.txt"),REPLACE_EXISTING);
1 ответ
Эта проблема может быть двоякой, если вы захотите сделать то, что @Tanjin предложил в комментариях, и это может сработать впоследствии (попробуйте добавить .config("spark.sql.catalogImplementation","hive") к вашему SparkSession.builder), но если вы действительно хотите использовать существующий улей экземпляр с собственными метаданными, которые вы сможете запрашивать за пределами вашей работы. Или вы уже можете использовать существующие таблицы, которые хотите добавить в конфигурацию hive-site.xml.
Этот файл конфигурации содержит некоторые свойства, которые вы, вероятно, захотите, например hive.metastore.uris, который позволит вашему контексту добавить новую таблицу, которая будет сохранена в хранилище. И он сможет читать из таблиц в вашем экземпляре улья благодаря metastore, который содержит таблицы и местоположения.