Обновите ОЧЕНЬ БОЛЬШУЮ таблицу базы данных PostgreSQL эффективно
В Java все переменные, которые вы объявляете, на самом деле являются «ссылками» на объекты (или примитивы), а не самими объектами.
При попытке выполнить один метод объекта , ссылка просит живой объект выполнить этот метод. Но если ссылка ссылается на NULL (ничего, нуль, void, nada), то нет способа, которым метод будет выполнен. Тогда runtime сообщит вам об этом, выбросив исключение NullPointerException.
Ваша ссылка «указывает» на нуль, таким образом, «Null -> Pointer».
Объект живет в памяти виртуальной машины пространство и единственный способ доступа к нему - использовать ссылки this. Возьмем этот пример:
public class Some {
private int id;
public int getId(){
return this.id;
}
public setId( int newId ) {
this.id = newId;
}
}
И в другом месте вашего кода:
Some reference = new Some(); // Point to a new object of type Some()
Some otherReference = null; // Initiallly this points to NULL
reference.setId( 1 ); // Execute setId method, now private var id is 1
System.out.println( reference.getId() ); // Prints 1 to the console
otherReference = reference // Now they both point to the only object.
reference = null; // "reference" now point to null.
// But "otherReference" still point to the "real" object so this print 1 too...
System.out.println( otherReference.getId() );
// Guess what will happen
System.out.println( reference.getId() ); // :S Throws NullPointerException because "reference" is pointing to NULL remember...
Это важно знать - когда больше нет ссылок на объект (в пример выше, когда reference и otherReference оба указывают на null), тогда объект «недоступен». Мы не можем работать с ним, поэтому этот объект готов к сбору мусора, и в какой-то момент VM освободит память, используемую этим объектом, и выделит другую.
6 ответов
Как насчет того, чтобы добавить новую таблицу для хранения этого дублируемого значения (и первичный ключ для соединения каждой записи на основную таблицу). Затем Вы просто добавляете запись для каждого дублируемого объекта и удаляете записи для удаления дублируемого флага. (Или возможно наоборот - запись для каждой недублируемой записи, в зависимости от которой общий падеж).
, Который также упростил бы случай, когда Вы хотите установить их всех назад на 0, поскольку можно просто усечь таблицу (который обнуляет размер таблицы на диске, Вы не должны даже пылесосить к свободному пространство)
В то время как Вы не можете, вероятно, решить проблему использования пространства (это является временным, только до вакуума) можно, вероятно, действительно убыстриться, процесс с точки зрения показывают время. То, что PostgreSQL использует MVCC, означает, что необходимо смочь сделать это без любых проблем, связанных с недавно вставленными строками. Составлять таблица как выбор обойдет некоторые проблемы производительности, но не будет допускать длительное использование таблицы и занимает такое же место. Просто угробьте индекс, и восстановите его, затем сделайте вакуум.
drop index replication_flag;
update big_table set replicated=0;
create index replication_flag on big_table btree(ID) WHERE replicated=0;
vacuum full analyze big_table;
Это - псевдокод. Вам будут нужны 400 МБ (для ints) или 800 МБ (для bigints) временный файл (можно сжать его с zlib, если это - проблема). Будет требоваться приблизительно 100 сканирований таблицы для вакуума. Но это не чрезмерно увеличит размер таблицы больше чем 1% (самое большее 1 000 000 мертвых строк никогда). Можно также обменять меньше сканирований на большее количество чрезмерного увеличения размера таблицы.
// write all ids to temporary file in disk order
// no where clause will ensure disk order
$file = tmpfile();
for $id, $replicated in query("select id, replicated from table") {
if ( $replicated<>0 ) {
write($file,&$id,sizeof($id));
}
}
// prepare an update query
query("prepare set_replicated_0(bigint) as
update table set replicated=0 where id=?");
// reread this file, launch prepared query and every 1000000 updates commit
// and vacuum a table
rewind($file);
$counter = 0;
query("start transaction");
while read($file,&$id,sizeof($id)) {
query("execute set_replicated_0($id)");
$counter++;
if ( $counter % 1000000 == 0 ) {
query("commit");
query("vacuum table");
query("start transaction");
}
}
query("commit");
query("vacuum table");
close($file);
При попытке сбросить целую таблицу, не всего несколько строк, это обычно быстрее (на чрезвычайно больших наборах данных - не на постоянных столиках) только к CREATE TABLE bar AS SELECT everything, but, copied, 0 FROM foo, и затем подкачайте таблицы и отбросьте старую. Очевидно, необходимо было бы удостовериться, что ничто не вставляется в исходную таблицу при выполнении этого. Необходимо будет воссоздать тот индекс, также.
Редактирование : простое улучшение, чтобы не блокировать таблицу, в то время как Вы копируете 14 гигабайтов:
lock ;
create a new table, bar;
swap tables so that all writes go to bar;
unlock;
create table baz as select from foo;
drop foo;
create the index on baz;
lock;
insert into baz from bar;
swap tables;
unlock;
drop bar;
(позволяют записям произойти, в то время как Вы делаете копию, и вставляют их постакт).
Я думаю, что лучше изменить ваш postgres на версию 8.X. Возможно, причина в низкой версии Postgres. Также попробуйте выполнить следующий запрос. Надеюсь, это может помочь.
UPDATE table1 SET name = table2.value
FROM table2
WHERE table1.id = table2.id;
Думаю, вам нужно а. скопируйте значение PK 2000 записей во временную таблицу с тем же стандартным пределом и т. д. б. выберите те же 2000 записей и выполните необходимые операции с курсором как есть. c. В случае успеха запустите один запрос на обновление записей во временной таблице. Очистите временную таблицу и снова выполните шаг а. d. В случае неудачи очистите временную таблицу, не выполняя запрос на обновление. Просто, эффективно и надежно. С уважением, KT