В течении последних лет в США ведутся активные дискуссии, нарушают ли Google и другие поисковые машины законодательство по защите авторского права при индексировании разного рода контента. Дело о сканировании книг - именно тяжба по авторскому праву. И новостные издания неоднократно обвиняли Google в создании новостного сервиса google News на основе их защищаемых авторским правом материалах. Новостные агентства AP и AFP подавали в суд на Google за нарушение авторских прав. (Сделка, урегулировавшая случай с AP, сейчас находится в стадии обновления).
Согласно PaidContent, предлагаемые поправки к готовящемуся в Великобритании "Закону о цифровой экономике" ("Digital Economy Bill") позволят поисковым машинам индексировать весь контент на любом "публично доступном веб-сайте" по "вмененной ... постоянной неэксклюзивной лицензии". Соответственно, индексирование стороннего контента, даже экстенсивное, не будет считаться нарушением авторского права. Эта поправка (принятие которой под вопросом) - от называющего себя либертарианко-консервативным Лорд Лукаса (Lord Lucas). Но это давольно радикальные положения.
Пока не ясно, будет ли использование robots.txt будет рассматриваться как обременение прав, наделяемых этой поправкой, и которые намного более широки чем "fair use" (законное использование) в законе США об авторском праве.
Если закон и поправки Лукаса будут приняты, возможен сценарий, при котором в Великобритании появится целый ряд новых "поисковых машин", попросту склонировавших в огромном количестве большую часть статей и контента "публично доступных" сайтов. Это может создать хаос для издателей (авторов контента), настоящих поисковых машин и конечных пользователей. Маловероятно, что дойдет до этого, но подобные сценарии вытекают из столь широкого иммунитета к авторскому праву по этой поправке.