Проект Hadoop выделен в отдельный подпроект проекта Lucene из другого подпроекта Nutch. Hadoop состоит из Hadoop Distributed Filesystem (HDFS), распределённой файловой системы, ранее называвшейся Nutch Distributed Filesystem (NDFS), а также реализации MapReduce, технологии работы с большими наборами данных, разработанной компанией Google.