spark.driver.extraClassPath не работает в клиентском режиме:
Примечание. В режиме клиента эта конфигурация не должна устанавливаться через SparkConf непосредственно в вашем приложении, поскольку драйвер JVM уже началось в этот момент. Вместо этого задайте это через параметр командной строки -driver-class-path или в файле свойств по умолчанию.
blockquote>Env переменная SPARK_CLASSPATH устарела в Spark 1.0 +.
Сначала вы должны скопировать jdbc-драйвер jars в каждый исполнитель в рамках одного и того же пути локальной файловой системы, а затем использовать следующие опции в spark-submit:
--driver-class-path "driver_local_file_system_jdbc_driver1.jar:driver_local_file_system_jdbc_driver2.jar" --class "spark.executor.extraClassPath=executors_local_file_system_jdbc_driver1.jar:executors_local_file_system_jdbc_driver2.jar"
Например, в случае TeraData вам нужно как terajdbc4.jar, так и tdgssconfig.jar.
Альтернативно изменить compute_classpath.sh на всех рабочих узлах, документация Spark гласит:
Класс драйвера JDBC должен быть видимым для первичного класс загрузчика на сеансе клиента и всех исполнителей. Это связано с тем, что класс DriverManager Java выполняет проверку безопасности, в результате чего он игнорирует все драйверы, которые не видны первоклассному загрузчику классов, когда вы открываете соединение. Один из удобных способов сделать это - изменить compute_classpath.sh на всех рабочих узлах, чтобы включить JAR для драйверов.
blockquote>
Выполняете ли вы это для ведения журнала? Если это так, имеется несколько библиотек для этого . Двумя наиболее популярными являются Log4j и Logback .
Если вам просто нужно сделать это один раз , класс Files делает это легко:
try {
Files.write(Paths.get("myfile.txt"), "the text".getBytes(), StandardOpenOption.APPEND);
}catch (IOException e) {
//exception handling left as an exercise for the reader
}
Осторожно: вышеприведенный подход бросит NoSuchFileException
, если файл еще не существует. Он также не добавляет новую строку автоматически (которую вы часто хотите при добавлении к текстовому файлу). В ответе Стив Чамберса описывается, как вы могли бы это сделать с классом Files
.
Однако, если вы будете писать в один и тот же файл много раз, вышеприведенное должно открывать и закрывать файл на диске много раз, что является медленной операцией. В этом случае буферизованный писатель лучше:
try(FileWriter fw = new FileWriter("myfile.txt", true);
BufferedWriter bw = new BufferedWriter(fw);
PrintWriter out = new PrintWriter(bw))
{
out.println("the text");
//more code
out.println("more text");
//more code
} catch (IOException e) {
//exception handling left as an exercise for the reader
}
Примечания:
FileWriter
скажет ему добавить к файлу, вместо написания нового файла. [Если файл не существует, он будет создан.) BufferedWriter
для дорогой записи (например, FileWriter
). PrintWriter
дает вам доступ к синтаксису println
, к которому вы, вероятно, привыкли, от System.out
. BufferedWriter
и PrintWriter
не являются строго необходимыми. try {
PrintWriter out = new PrintWriter(new BufferedWriter(new FileWriter("myfile.txt", true)));
out.println("the text");
out.close();
} catch (IOException e) {
//exception handling left as an exercise for the reader
}
Если вам нужна надежная обработка исключений для более старой Java, она становится очень многословной:
FileWriter fw = null;
BufferedWriter bw = null;
PrintWriter out = null;
try {
fw = new FileWriter("myfile.txt", true);
bw = new BufferedWriter(fw);
out = new PrintWriter(bw);
out.println("the text");
out.close();
} catch (IOException e) {
//exception handling left as an exercise for the reader
}
finally {
try {
if(out != null)
out.close();
} catch (IOException e) {
//exception handling left as an exercise for the reader
}
try {
if(bw != null)
bw.close();
} catch (IOException e) {
//exception handling left as an exercise for the reader
}
try {
if(fw != null)
fw.close();
} catch (IOException e) {
//exception handling left as an exercise for the reader
}
}
Вы также можете попробовать следующее:
JFileChooser c= new JFileChooser();
c.showOpenDialog(c);
File write_file = c.getSelectedFile();
String Content = "Writing into file"; //what u would like to append to the file
try
{
RandomAccessFile raf = new RandomAccessFile(write_file, "rw");
long length = raf.length();
//System.out.println(length);
raf.setLength(length + 1); //+ (integer value) for spacing
raf.seek(raf.length());
raf.writeBytes(Content);
raf.close();
}
catch (Exception e) {
//any exception handling method of ur choice
}
Library
blockquote>import java.io.BufferedWriter; import java.io.File; import java.io.FileWriter; import java.io.IOException;
Код
blockquote>public void append() { try { String path = "D:/sample.txt"; File file = new File(path); FileWriter fileWriter = new FileWriter(file,true); BufferedWriter bufferFileWriter = new BufferedWriter(fileWriter); fileWriter.append("Sample text in the file to append"); bufferFileWriter.close(); System.out.println("User Registration Completed"); }catch(Exception ex) { System.out.println(ex); } }
FileOutputStream fos = new FileOutputStream("File_Name", true);
fos.write(data);
true позволяет добавлять данные в существующий файл. Если мы напишем
FileOutputStream fos = new FileOutputStream("File_Name");
, он перезапишет существующий файл. Итак, для первого подхода.
Этот код выполнит вашу потребность:
FileWriter fw=new FileWriter("C:\\file.json",true);
fw.write("ssssss");
fw.close();
Вы можете использовать следующий код для добавления содержимого в файл:
String fileName="/home/shriram/Desktop/Images/"+"test.txt";
FileWriter fw=new FileWriter(fileName,true);
fw.write("here will be you content to insert or append in file");
fw.close();
FileWriter fw1=new FileWriter(fileName,true);
fw1.write("another content will be here to be append in the same file");
fw1.close();
String str;
String path = "C:/Users/...the path..../iin.txt"; // you can input also..i created this way :P
BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
PrintWriter pw = new PrintWriter(new FileWriter(path, true));
try
{
while(true)
{
System.out.println("Enter the text : ");
str = br.readLine();
if(str.equalsIgnoreCase("exit"))
break;
else
pw.println(str);
}
}
catch (Exception e)
{
//oh noes!
}
finally
{
pw.close();
}
это сделает то, что вы намереваетесь ..
Следующий метод позволит вам добавить текст к некоторому файлу:
private void appendToFile(String filePath, String text)
{
PrintWriter fileWriter = null;
try
{
fileWriter = new PrintWriter(new BufferedWriter(new FileWriter(
filePath, true)));
fileWriter.println(text);
} catch (IOException ioException)
{
ioException.printStackTrace();
} finally
{
if (fileWriter != null)
{
fileWriter.close();
}
}
}
Альтернативно, используя FileUtils
:
public static void appendToFile(String filePath, String text) throws IOException
{
File file = new File(filePath);
if(!file.exists())
{
file.createNewFile();
}
String fileContents = FileUtils.readFileToString(file);
if(file.length() != 0)
{
fileContents = fileContents.concat(System.lineSeparator());
}
fileContents = fileContents.concat(text);
FileUtils.writeStringToFile(file, fileContents);
}
Это не но отлично работает. Разрывы строк обрабатываются правильно, и новый файл создается, если он еще не существует.
Это немного тревожно, как многие из этих ответов оставляют дескриптор файла открытым в случае ошибки. Ответ https://stackoverflow.com/a/15053443/2498188 на деньги, но только потому, что BufferedWriter()
не может бросить. Если бы это могло, то исключение оставило бы объект FileWriter
открытым.
Более общий способ сделать это, который не заботится о том, может ли BufferedWriter()
вызывать:
PrintWriter out = null;
BufferedWriter bw = null;
FileWriter fw = null;
try{
fw = new FileWriter("outfilename", true);
bw = new BufferedWriter(fw);
out = new PrintWriter(bw);
out.println("the text");
}
catch( IOException e ){
// File writing/opening failed at some stage.
}
finally{
try{
if( out != null ){
out.close(); // Will close bw and fw too
}
else if( bw != null ){
bw.close(); // Will close fw too
}
else if( fw != null ){
fw.close();
}
else{
// Oh boy did it fail hard! :3
}
}
catch( IOException e ){
// Closing the file writers failed for some obscure reason
}
}
Начиная с Java 7, рекомендуется использовать «попробовать с ресурсами» и позволить JVM справиться с этим:
try( FileWriter fw = new FileWriter("outfilename", true);
BufferedWriter bw = new BufferedWriter(fw);
PrintWriter out = new PrintWriter(bw)){
out.println("the text");
}
catch( IOException e ){
// File writing/opening failed at some stage.
}
PrintWriter.close()
не объявляется как throws IOException
в документах . Если посмотреть на источник , метод close()
, действительно, не может выбрасывать IOException
, потому что он улавливает его из базового потока и устанавливает флаг. Поэтому, если вы работаете над кодом для следующего космического челнока или системы измерения доз рентгеновских лучей, вы должны использовать PrintWriter.checkError()
после попытки out.close()
. Это должно быть действительно документировано.
– Evgeni Sergeev
14 November 2015 в 08:02
XX.close()
должен быть в своей собственной попытке / уловке, верно? Например, out.close()
может генерировать исключение, и в этом случае bw.close()
и fw.close()
никогда не будут вызваны, а fw
- это тот, который наиболее критичен для закрытия.
– Kip
6 April 2016 в 20:29
Пример, используя Guava:
File to = new File("C:/test/test.csv");
for (int i = 0; i < 42; i++) {
CharSequence from = "some string" + i + "\n";
Files.append(from, to, Charsets.UTF_8);
}
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.io.PrintWriter;
public class Writer {
public static void main(String args[]){
doWrite("output.txt","Content to be appended to file");
}
public static void doWrite(String filePath,String contentToBeAppended){
try(
FileWriter fw = new FileWriter(filePath, true);
BufferedWriter bw = new BufferedWriter(fw);
PrintWriter out = new PrintWriter(bw)
)
{
out.println(contentToBeAppended);
}
catch( IOException e ){
// File writing/opening failed at some stage.
}
}
}
Вы можете использовать fileWriter
с флагом, установленным на true
, для добавления.
try
{
String filename= "MyFile.txt";
FileWriter fw = new FileWriter(filename,true); //the true will append the new data
fw.write("add a line\n");//appends the string to the file
fw.close();
}
catch(IOException ioe)
{
System.err.println("IOException: " + ioe.getMessage());
}
close
следует поместить в блок finally
так же, как показано в ответе @ etech , если исключение будет создано между созданием FileWriter и вызовом close.
– Pshemo
13 March 2015 в 22:19
fw.close()
в блоке finally, без вложенного try / catch (.close()
может бросить IOException
)
– Kip
17 August 2016 в 19:59
Не все ли здесь ответы с блоками try / catch содержат .close (), содержащиеся в блоке finally?
Пример для отмеченного ответа:
PrintWriter out = null;
try {
out = new PrintWriter(new BufferedWriter(new FileWriter("writePath", true)));
out.println("the text");
}catch (IOException e) {
System.err.println(e);
}finally{
if(out != null){
out.close();
}
}
Кроме того, с Java 7 вы можете использовать оператор try-with-resources . Для закрытия объявленного ресурса (ов) не требуется блок finally, потому что он обрабатывается автоматически, а также менее подробен:
try(PrintWriter out = new PrintWriter(new BufferedWriter(new FileWriter("writePath", true)))) {
out.println("the text");
}catch (IOException e) {
System.err.println(e);
}
out
выходит из сферы действия, он автоматически закрывается, когда он получает сбор мусора, не так ли? В вашем примере с блоком finally
, я думаю, вам действительно нужен другой вложенный try / catch вокруг out.close()
, если я правильно помню. Решение Java 7 довольно красиво! (Я не делал Java-разработчика с Java 6, поэтому я не был знаком с этим изменением.)
– Kip
21 August 2013 в 19:23
Это можно сделать в одной строке кода. Надеюсь, это поможет:)
Files.write(Paths.get(fileName), msg.getBytes(), StandardOpenOption.APPEND);
Использование java.nio. Files вместе с java.nio.file. StandardOpenOption
PrintWriter out = null;
BufferedWriter bufWriter;
try{
bufWriter =
Files.newBufferedWriter(
Paths.get("log.txt"),
Charset.forName("UTF8"),
StandardOpenOption.WRITE,
StandardOpenOption.APPEND,
StandardOpenOption.CREATE);
out = new PrintWriter(bufWriter, true);
}catch(IOException e){
//Oh, no! Failed to create PrintWriter
}
//After successful creation of PrintWriter
out.println("Text to be appended");
//After done writing, remember to close!
out.close();
Это создает файл BufferedWriter
, используя файлы , который принимает параметры StandardOpenOption
и авто-промывку PrintWriter
из результирующего BufferedWriter
. PrintWriter
println()
, затем может быть вызван для записи в файл.
Параметры StandardOpenOption
, используемые в этом коде: открывает файл для записи, только присоединяется к файлу и создает файл, если он не существует.
Paths.get("path here")
можно заменить на new File("path here").toPath()
. И Charset.forName("charset name")
можно изменить, чтобы разместить желаемый Charset
.
Если мы используем Java 7 и выше, а также знаем, какой контент будет добавлен (добавлен) в файл, мы можем использовать метод newBufferedWriter в пакете NIO.
public static void main(String[] args) {
Path FILE_PATH = Paths.get("C:/temp", "temp.txt");
String text = "\n Welcome to Java 8";
//Writing to the file temp.txt
try (BufferedWriter writer = Files.newBufferedWriter(FILE_PATH, StandardCharsets.UTF_8, StandardOpenOption.APPEND)) {
writer.write(text);
} catch (IOException e) {
e.printStackTrace();
}
}
Есть несколько замечаний:
StandardCharsets
. try-with-resource
, в которой ресурсы автоматически закрываются после попытки. Хотя OP не спросил, но на всякий случай мы хотим искать строки с определенным ключевым словом, например confidential
мы можем использовать потоковые API в Java:
//Reading from the file the first line which contains word "confidential"
try {
Stream<String> lines = Files.lines(FILE_PATH);
Optional<String> containsJava = lines.filter(l->l.contains("confidential")).findFirst();
if(containsJava.isPresent()){
System.out.println(containsJava.get());
}
} catch (IOException e) {
e.printStackTrace();
}
write(String string)
, если вы ожидаете новую строку после каждой строки, написанной, newLine()
следует называть
– yongtw123
26 June 2015 в 10:20
java 7 +
По моему скромному мнению, поскольку я фанат простой java, я бы предложил что-то, что это комбинация вышеупомянутых ответов. Может быть, я опаздываю на вечеринку. Вот код:
String sampleText = "test" + System.getProperty("line.separator");
Files.write(Paths.get(filePath), sampleText.getBytes(StandardCharsets.UTF_8),
StandardOpenOption.CREATE, StandardOpenOption.APPEND);
Если файл не существует, он создает его, и если он уже существует, он добавляет sampleText в существующий файл. Используя это, вы избавляетесь от добавления ненужных библиотек в ваш путь к классам.
Если вы хотите ДОБАВИТЬ НЕКОТОРЫЙ ТЕКСТ В КОНКРЕТНЫХ ЛИНИЯХ, вы можете сначала прочитать весь файл, добавить текст туда, где хотите, а затем перезаписать все, как в коде ниже:
public static void addDatatoFile(String data1, String data2){
String fullPath = "/home/user/dir/file.csv";
File dir = new File(fullPath);
List<String> l = new LinkedList<String>();
try (BufferedReader br = new BufferedReader(new FileReader(dir))) {
String line;
int count = 0;
while ((line = br.readLine()) != null) {
if(count == 1){
//add data at the end of second line
line += data1;
}else if(count == 2){
//add other data at the end of third line
line += data2;
}
l.add(line);
count++;
}
br.close();
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
createFileFromList(l, dir);
}
public static void createFileFromList(List<String> list, File f){
PrintWriter writer;
try {
writer = new PrintWriter(f, "UTF-8");
for (String d : list) {
writer.println(d.toString());
}
writer.close();
} catch (FileNotFoundException | UnsupportedEncodingException e) {
e.printStackTrace();
}
}
/**********************************************************************
* it will write content to a specified file
*
* @param keyString
* @throws IOException
*********************************************************************/
public static void writeToFile(String keyString,String textFilePAth) throws IOException {
// For output to file
File a = new File(textFilePAth);
if (!a.exists()) {
a.createNewFile();
}
FileWriter fw = new FileWriter(a.getAbsoluteFile(), true);
BufferedWriter bw = new BufferedWriter(fw);
bw.append(keyString);
bw.newLine();
bw.close();
}// end of writeToFile()
Лучше использовать try-with-resources, затем все, что pre-java 7, наконец, бизнес
static void appendStringToFile(Path file, String s) throws IOException {
try (BufferedWriter out = Files.newBufferedWriter(file, StandardCharsets.UTF_8, StandardOpenOption.APPEND)) {
out.append(s);
out.newLine();
}
}
Создайте функцию в любом месте вашего проекта и просто вызовите эту функцию, когда она вам понадобится.
Ребята, вы должны помнить, что вы, ребята, вызываете активные потоки, которые вы не вызываете асинхронно, и поскольку это вероятно, будет хорошим от 5 до 10 страниц, чтобы сделать это правильно. Почему бы не потратить больше времени на ваш проект и забыть о написании написанного. Правильно
//Adding a static modifier would make this accessible anywhere in your app
public Logger getLogger()
{
return java.util.logging.Logger.getLogger("MyLogFileName");
}
//call the method anywhere and append what you want to log
//Logger class will take care of putting timestamps for you
//plus the are ansychronously done so more of the
//processing power will go into your application
//from inside a function body in the same class ...{...
getLogger().log(Level.INFO,"the text you want to append");
...}...
/*********log file resides in server root log files********/
три строки кода два действительно, так как третий фактически добавляет текст. : Р [/ д2]
Редактировать - с Apache Commons 2.1 правильный способ сделать это:
FileUtils.writeStringToFile(file, "String to append", true);
Я адаптировал решение @ Kip, чтобы включить правильное закрытие файла в конце:
public static void appendToFile(String targetFile, String s) throws IOException {
appendToFile(new File(targetFile), s);
}
public static void appendToFile(File targetFile, String s) throws IOException {
PrintWriter out = null;
try {
out = new PrintWriter(new BufferedWriter(new FileWriter(targetFile, true)));
out.println(s);
} finally {
if (out != null) {
out.close();
}
}
}
1.7. Подход:
void appendToFile(String filePath, String content) throws IOException{
Path path = Paths.get(filePath);
try (BufferedWriter writer =
Files.newBufferedWriter(path,
StandardOpenOption.APPEND)) {
writer.newLine();
writer.append(content);
}
/*
//Alternative:
try (BufferedWriter bWriter =
Files.newBufferedWriter(path,
StandardOpenOption.WRITE, StandardOpenOption.APPEND);
PrintWriter pWriter = new PrintWriter(bWriter)
) {
pWriter.println();//to have println() style instead of newLine();
pWriter.append(content);//Also, bWriter.append(content);
}*/
}
FileOutputStream stream = new FileOutputStream(path, true);
try {
stream.write(
string.getBytes("UTF-8") // Choose your encoding.
);
} finally {
stream.close();
}
Затем поймайте исключение IO где-то вверх по течению.
Чтобы немного расширить ответ Кипа , вот простой метод Java 7+ для добавления новой строки в файл, создавая его, если он еще не существует:
try {
final Path path = Paths.get("path/to/filename.txt");
Files.write(path, Arrays.asList("New line to append"), StandardCharsets.UTF_8,
Files.exists(path) ? StandardOpenOption.APPEND : StandardOpenOption.CREATE);
} catch (final IOException ioe) {
// Add your own exception handling...
}
Примечание: В приведенном выше примере используется перегрузка Files.write
, которая записывает строки текста в файл (то есть аналогично println
]). Чтобы просто написать текст до конца (т. Е. Аналогично команде print
), можно использовать альтернативную перегрузку Files.write
, проходящую в байтовом массиве (например, "mytext".getBytes(StandardCharsets.UTF_8)
).
Я мог бы предложить проект apache commons . Этот проект уже обеспечивает основу для выполнения необходимых действий (например, гибкая фильтрация коллекций).
В Java-7 это также можно сделать следующим образом:
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.StandardOpenOption;
// ---------------------
Path filePath = Paths.get("someFile.txt");
if (!Files.exists(filePath)) {
Files.createFile(filePath);
}
Files.write(filePath, "Text to be added".getBytes(), StandardOpenOption.APPEND);
Мой ответ:
JFileChooser chooser= new JFileChooser();
chooser.showOpenDialog(chooser);
File file = chooser.getSelectedFile();
String Content = "What you want to append to file";
try
{
RandomAccessFile random = new RandomAccessFile(file, "rw");
long length = random.length();
random.setLength(length + 1);
random.seek(random.length());
random.writeBytes(Content);
random.close();
}
catch (Exception exception) {
//exception handling
}
Я просто добавляю небольшие детали:
new FileWriter("outfilename", true)
2.nd (true) - это функция (или, интерфейс), называемая appendable ( http://docs.oracle.com/ JavaSE / 7 / документы / API / Java / языки / Appendable.html [/ д0]). Он отвечает за возможность добавления некоторого контента в конец конкретного файла / потока. Этот интерфейс реализован с Java 1.5. Каждый объект (например, BufferedWriter, CharArrayWriter, CharBuffer, FileWriter, FilterWriter, LogStream, OutputStreamWriter, PipedWriter, PrintStream, PrintWriter, StringBuffer, StringBuilder, StringWriter, Writer) с этим интерфейсом может использоваться для добавления контента
В других слова, вы можете добавить некоторый контент в свой gzip-файл или какой-то http-процесс
new BufferedWriter(...)
выбрасывает исключение; Закрыт лиFileWriter
? Я предполагаю, что он не будет закрыт, потому что методclose()
(в нормальных условиях) будет вызываться на объектеout
, который в этом случае не будет инициализирован - так что фактически методclose()
не будет вызываться - & GT; файл будет открыт, но не будет закрыт. Поэтому ИМХОtry
утверждение должно выглядеть такtry(FileWriter fw = new FileWriter("myFile.txt")){ Print writer = new ....//code goes here }
И он долженflush()
автора, прежде чем выйти из блокаtry
!!! – Svetlin Zarev 14 January 2014 в 21:02StandardOpenOption.APPEND
его не будет создавать - вроде как молчащий сбой, так как он не будет генерировать исключение. (2) Использование.getBytes()
будет означать, что символ возврата не должен быть до или после прилагаемого текста. Добавили альтернативный ответ , чтобы решить эти проблемы. – Steve Chambers 1 June 2017 в 08:10