Big Data Yönetim S4 ve Google Dremel

Dremel, salt okunur iç içe geçmiş verilerin analizi için ölçeklenebilir, etkileşimli geçici bir sorgulama sistemidir. Çok düzeyli yürütme ağaçlarını ve sütunlu veri düzenini birleştirerek, toplama sorgularını trilyon satır tablolarda saniyeler içinde çalıştırabilir. Sistem binlerce CPU'ya ve petabaytlık veriye ölçeklenir ve Google'da binlerce kullanıcısı vardır. Bu yazıda, Dremel'in mimarisini ve uygulamasını açıklıyoruz ve MapReduce tabanlı hesaplamayı nasıl tamamladığını açıklıyoruz. Yuvalanmış kayıtlar için yeni bir sütunlu depolama gösterimi sunuyoruz ve sistemin birkaç bin düğüm örneği üzerinde yapılan deneyleri tartışıyoruz.