MapReduce є програмна основа, у якій програми можуть розділяти великі дані на менші фрагменти для паралельної обробки. Такий підхід дозволяє проводити високошвидкісний аналіз величезних наборів даних. MapReduce спочатку була власною технологією Google, але згодом стала узагальненою.
MapReduce полегшує одночасну обробку шляхом поділу петабайтів даних на менші частини та їх паралельної обробки на стандартних серверах Hadoop. Зрештою, він агрегує всі дані з кількох серверів, щоб повернути консолідований вихід назад до програми.
MapReduce є розподілена структура виконання на основі Java в екосистемі Apache Hadoop. Він усуває складність розподіленого програмування, відкриваючи два етапи обробки, які реалізують розробники: 1) зіставлення та 2) скорочення. На кроці зіставлення дані розподіляються між завданнями паралельної обробки.
MongoDB Map-Reduce — це модель програмування обробки даних, яка допомагає виконувати операції над великими наборами даних і отримувати зведені результати. MongoDB надає функцію mapReduce() для виконання операцій зменшення карти. Ця функція має дві основні функції, тобто функцію відображення та функцію зменшення.
У MongoDB, операція map-reduce може записувати результати до колекції або повертати результати вбудовано. Якщо ви записуєте вивід map-reduce до колекції, ви можете виконувати подальші операції map-reduce над тією ж колекцією вхідних даних, які об’єднують заміну, об’єднують або зменшують нові результати з попередніми результатами.
Ситуації для використання пакетної обробки Map-Reduce: Map-Reduce добре підходить для робочі навантаження пакетної обробки, коли дані обробляються великими пакетами або завданнями. Він може виконувати завдання, які можна розділити на менші блоки та виконувати незалежно, що робить його придатним для сценаріїв, коли обробка даних може виконуватися паралельно.