Я экспериментировал с использованием графиков для анализа больших данных. Это работает отлично и очень весело, но мне интересно, что делать, когда данных становится все больше и больше?
Дайте мне знать, если есть какое-либо другое решение, но я подумал о том, чтобы попробовать Hbase, потому что он масштабируется по горизонтали, и я могу заставить hadoop выполнять аналитику на графике (большая часть моего кода уже написана на Java), но я не знаю, как структурировать граф по базе данных nosql? Я знаю, что каждый узел может быть записью в базе данных, но я не уверен, как моделировать ребра и добавлять к ним свойства (например, имя узлов, атрибуты, рейтинг страниц, веса на ребрах и т. д.).
Глядя на то, как hbase/hadoop моделируется на основе больших таблиц и уменьшения карты, я подозреваю, что есть способ сделать это, но не знаю, как. Какие-либо предложения?
Кроме того, имеет ли смысл то, что я пытаюсь сделать? или есть лучшие решения для графов больших данных?