20 июля 2012

Не загнётся. Часть 2. Решение


"Архисложная" проблема "уложить 40 миллионов измерений в минуту" решается отказом от Первой нормальной формы БД.

Надо просто транспонировать исходную таблицу. Я попробовал в 200 раз

Там том же компьютере я уложил объём измерений одного часа (40 000 000 * 2 * 60 минут) за 12 минут.
При этом потенциал ускорения не исчерпан, не стал пробовать даже /*+APPEND_VALUES*/

На этот раз, можно уже с уверенностью утверждать, что в этой гипотетической задаче --"Оракл НЕ загнётся, болезный" -- я готов эти измерения и дома принимать, хранить, и обрабатывать.  :-)

Транспонированная таблица не слишком удобна для анализа, но, применив к ней прореживание и нормализацию, получим весьма удобное и плотное хранилище.

Для решения этой задачи, весьма вероятно, можно применять и подходы Big Data (а "сырые" поступившие измерения таковыми и являются).

http://www.oracle.com/us/technologies/big-data/index.html






Комментариев нет:

Отправить комментарий