Теория проектирования баз данных Bigtable
Можно сделать это семейство mlock syscalls. Я не уверен, однако, если можно сделать это для другого процесса.
4 ответа
... are there books or academic research papers on designing databases for bigtable and similar database paradigms?
Well Bigtable is essentially a database itself, so I take it that your question is more on how to model and to some extent design your schema in these Bigtable like databases. More specifically you would like to know how to do this on Google's App Engine.
With GAE you will be using the Datastore API, which adds a significant layer of abstraction to Bigtable, so to some extent you don't have to worry about low level details as you would if you were using something like HBase. There are a few posts on SO (here's a great answer by a Google Engineer who I think is part of GAE team) that will guide you and offer hints on how to approach this new type of Database system.
Helpful Info:
- HBase was inspired by Google's Bigtable (Alternate Link) paper
- Hypertable was also inspired by Bigtable paper
- Cassandra's Data Model was inspired by Bigtable paper
- Hadoop was inspired by Google's GFS and MapReduce papers
Мне известно не так много свежей литературы по проектированию нереляционных баз данных, хотя вы можете получить некоторые ценные сведения, раскопав старые статьи до того, как реляционная парадигма «победила».
Основное понимание баз данных, таких как Bigtable, конечно же, заключается в том, что в веб-приложениях и других приложениях с интенсивным чтением, учитывая доступность дешевого дискового хранилища, лучший подход - оптимизировать чтение и выполнять больше работы по записи. Нормализация делает противоположное - сводит к минимуму репликацию данных на диск, что упрощает и удешевляет запись, но затрудняет чтение. Практически все различия в дизайне реляционных баз данных проистекают из этого единственного факта.
Другое последствие, которое требует большего внимания, состоит в том, что когда вы оптимизируете чтение,
just to be sure... you did read googles paper about bigtable right?
Technologies like hadoop are based on this initial paper.
Поисковый запрос: базы данных, ориентированные на столбцы / хранилища данных
Вначале было обсуждение того, как создавать базы данных.
Однако ориентированная на столбцы находится в фазе «возрождения». Он лучше всего подходит для больших распределенных сценариев только для чтения.
При поиске баз данных / хранилищ, ориентированных на столбцы, можно найти много теории.