Skip to content
YaroslavLitvinov edited this page Dec 12, 2012 · 3 revisions

Приложение для запуска скриптов. Поддерживаются lua, sqlite;

Distributed Sort

Дистрибутивная сортировка, сортирует входной набор данных интерпретируемых как 4хбайтовые целые числа, и сохраняет результат в выходные файлы; Кластер состоит из узлов 3х типов: Узлы источники, Узлы получатели, Узел Менеджер; Узел источник принимает как аргумент входной файл; Узел получатель выдает результат сортировки; Узел Менеджер координирует сортировку, в частности подсчитывает гистограмму; количество узлов конфигурируется перед запуском кластера; Запускается с помощью скрипта disort.sh

Wordcount

Дистрибутивное приложение, подсчитывает частоту использования слов в входных файлах, как результат записывает список хешей слов и количество совпадений; Кластер cоcтоит из узлов: Map, Reduce. Определены пользовательские функции Map, Combine, Reduce. Пример использования алгоритма mapreduce32/128 из библиотеки libmapreduce; количество узлов конфигурируется перед запуском кластера;

Clone this wiki locally