В статье от Microsoft Research Learning to Search Web Pages with Query-Level Loss Functions вводится понятие функции потерь на уровне запроса (query-level loss function, интересно как это правильно переводить, что-то я ничего похожего пока не нашёл, разве что loss function = "функция потерь" в англо-русском метематичеком словере).
Самое интересное в том, что функция рейтинга страниц, используемая в DataparkSearch уже несколько лет как (с самого рождения, но с различными модификациями), удовлетвоярет всем требованиям к этой функции потерь: независимость от числа документов и пар документов по запросу, выделять самые релевантные документы из списка найденых, быть ограниченой сверху конечной величиной. В TREC 2005 проверялись два варианта такой функции.
Есть повод покумекать над аналогичным алгоритмом "обучения"...