El mercado del software relacionado con los marcos de programación Hadoop y MapReduce, orientados hacia el análisis de información a gran escala (lo que se conoce como big data) crecerá desde los actuales $77 millones de dólares que facturó en 2011 hasta más de $812.8 millones en 2015. Ello supone un crecimiento anual del 60.2%, de acuerdo a un nuevo informe publicado por la firma de análisis IDC.
Hadoop es una implementación de código abierto del framework MapReduce. Está apoyado por la Apache Software Foundation y se construye gracias al trabajo de varios proyectos relacionados, como el Hadoop Distributed File System (HDFS) y el lenguaje de programación Pig.
MapReduce y Hadoop están basados en el principio de que la información debe ser procesada de forma paralela a lo largo de una gran cantidad de nodos. Está muy asociado pues a la palabra de moda, el big data, que se refiere a los ingentes volúmenes de información nunca antes vistos, compuestos además de datos no estructurados provenientes de websistes, medios sociales, sensores y otras fuentes de reciente aparición.
Por otro lado, desde IDC prevén que en los próximos años se produzca una batalla entre los puristas del open-source, que creen que el core de Hadoop debe basarse en el proyecto de Apache, y aquellos que apuesten por un modelo mixto de componentes libre y comerciales para desarrollar sus entornos Hadoop.