Основная причина - масштаб (Facebook, MySpace)
Ознакомьтесь с этими статьями:
Facebook Cassandra - массивный распределенный магазин
MySpace Qizmt - MySpace Mapreduce Framework
Поскольку вы уже используете Lucene, это может быть интересно:
Katta - Lucene в облаке
