Расширенный поиск в поисковых системах
Расширенный поиск (англ. Advanced search) позволяет реализовать все перечисленные выше возможности уточнения поискового запроса, а также предоставляет некоторые дополнительные функции для поиска при помощи фиксированного набора интерактивных форм с возможностью выбора пользователем нужной опции. Расширенный поиск специфичен для каждой поисковой системы, поэтому мы рассмотрим правила использования расширенного поиска отдельно для порталов "Яндекс" и Google.
Расширенный поиск "Яндекс" доступен по адресу: yandex. ru/advanced.html. Рабочее окно поиска выглядит следующим образом (рис. 6.19).
Рис. 6.19. Вид окна расширенного поиска поисковой системы "Яндекс
С помощью расширенного поиска в "Яндексе" можно сразу же определить следующие параметры поискового процесса (все выбранные условия поиска будут применены одновременно):
- • какие слова должны находиться на искомых веб-страницах;
- • в каком месте документа должны находиться эти слова;
- • в какой форме и в какой последовательности они должны быть расположены;
- • на каком языке должны быть написаны документы с искомыми словами;
- • когда была создана веб-страница(-ы), которую(-ые) необходимо найти;
- • на каком сайте поисковая система должна искать заданную поисковую последовательность;
- • в каком регионе находится этот веб-сервер;
- • какого формата электронные документы (тип файла) интересуют пользователя, осуществляющего поиск.
Например, если необходимо найти образцы лингвистических задач, которые предлагались на традиционных олимпиадах по лингвистике и которые доступны на веб-серверах Московского университета, то, задав поисковые параметры следующим образом (рис. 6.20), можно получить ссылки на все веб-сайты, на которых находится эта информация (рис. 6.21).
Рис. 6.20. Задание параметров поиска в расширенном поиске поисковой системы "Яндекс"
Рис. 6.21. Результаты поиска в расширенном поиске поисковой системы "Яндекс" по параметрам, заданным на рис. 6.20
Информационная модель
В поисковой системе Google расширенный поиск доступен по адресу: google.ru/advanced_search; google.com/advanced_search. Рабочее окно расширенного поиска Google выглядит следующим образом (рис. 6.22).
Рис. 6.22. Вид окна расширенного поиска поисковой системы Google
С помощью расширенного поиска в Google можно задать следующие параметры поискового процесса:
- • какие слова должны находиться на искомых веб-страницах;
- • какие словосочетания должны быть в тексте этих страниц;
- • слова из заданного перечня, которые могут присутствовать на вебстранице;
- • слова, которых не должно быть на веб-странице;
- • цифры из заданного диапазона, которые должны быть на вебстранице;
- • на каком языке должны быть написаны документы с искомыми словами;
- • в какой стране зарегистрирован домен, на котором надо найти документы, отвечающие заданным пользователем параметрам;
- • когда была создана веб-страница(-ы), которую(-ые) необходимо найти;
- • на каком сайте поисковая система должна искать заданную поисковую последовательность;
- • в каком месте страницы должны встречаться заданные пользователем слова;
- • какого формата электронные документы (тип файла) интересуют пользователя, осуществляющего поиск.
Кроме того, с помощью расширенного поиска в поисковой системе Google можно задать специальные фильтры для отбора результатов поиска, отвечающих определенным параметрам, например такие, которые будут показывать пользователю только веб-страницы, которые система сочтет безопасными (т.е. нс содержащими запрещенной к распространению информации) или страницы, у которых определены права на использование содержащегося на них контента (т.е. условия охраны авторских прав и другая информация).
Например, для того чтобы найти в "Библиотеке Максима Мошкова" (адрес веб-сайта: lib.ru/) тексты на русском языке, находящиеся в российском сегменте Интернета, в которых упоминается роман "Война и мир" Л. Н. Толстого, необходимо заполнить формы в окне расширенного поиска Google следующим образом (рис. 6.23).
Рис. 6.23. Пример задания параметров поиска в расширенном поиске поисковой системы Google
В результате поисковая система предложит пользователю все найденные ссылки, отвечающие условиям поиска (рис. 6.24).
Рис. 6.24. Пример результатов поиска в расширенном поиске поисковой системы Google по параметрам, заданным на рис. 6.23
Как и для простого поиска, условия расширенного поиска в поисковой системе Google применимы также к поиску графических изображений. Для этого на панели инструментов и фильтров надо активизировать кнопку Картинки (рис. 6.25).
Рис. 6.25. Пример результатов поиска графических файлов в расширенном поиске поисковой системы Google но параметрам, заданным на рис. 6.23
При использовании возможностей расширенного поиска необходимо также иметь в виду, что в большинстве поисковых систем знаки препинания и специальные символы игнорируются при проведении поиска (кроме перечисленных выше знаков двоеточия, звездочки, амперсанда, знаков плюса и минуса), однако в некоторых поисковых системах, например в Google, определенные знаки такого рода распознаются. Поэтому во всех подобных случаях необходимо предварительно ознакомиться е правилами работы с данной конкретной системой.
Что такое расширенный поиск?
Расширенные параметры поиска представляют собой набор фильтров, предлагаемых большинством поисковых систем в Интернете. Они сужают область поискового запроса, чтобы исключить ненужную информацию, которая поможет вам найти именно тот контент, который вы ищете.
Расширенные поисковые фильтры не ограничиваются поисковыми системами, такими как Google. Любой веб-сайт с инструментом поиска может включать расширенные параметры поиска, включая поисковые системы людей , сайты потоковой передачи музыки и видео, сайты социальных сетей, справочные сайты и блоги.
Фильтры общего расширенного поиска
Современные поисковые системы, такие как Google , Yahoo , DuckDuckGo и Bing, имеют вкладки, которые можно выбрать после выполнения поиска, ограничивающие результаты либо веб-страницами, видео, изображениями, указаниями на карте, либо новостями. Параметры расширенного поиска позволяют еще больше решить, какие слова не должны отображаться в результатах поиска, какие сайты искать, а также язык страниц.
Вот список параметров расширенного поиска, которые обычно можно найти в инструментах веб-поиска:
Расширенный поиск Яндекса (и Гугла) с помощью установленного скрипта или в интерфейсе
В яндекс-поисковике, как и в Гугле, есть настройки расширенного поиска (по датам, документам, сайтам, стране, языку, . ) и специальные страницы для расширенного поиска. То и другое бывает неудобно из-за интерфейса — большого количества нажимаемых кнопок, кликов и движений. Для некоторых (частоиспользуемых) режимов поиска сделаны юзерскрипты с выбором одной из десятков кнопок в один клик. На экране видны лишь несколько стартовых кнопок, работающих как спадающие списки по наведению мыши.
Такой скрипт, когда-то бывший без спадающих списков, давно работал на страницах Гугла, и, судя по количеству скачиваний, приобрёл популярность среди англоязычных пользователей (есть выбор 5 языков интерфейса). Однажды подумалось, что его несложно будет перенести на Яндекс, и на выходных за пару дней адаптация и перекраска под цвета Яндекса была сделана, и теперь он представляется «целевой аудитории» — людям из IT, которым иногда приходится много искать и которым привычно устанавливать дополнительные скрипты и ходить по гитхабам.
Кроме утилитарной пользы, скрипт может быть интересен как полигон для отработки интерфейсных решений. Связка 2-3 скриптов в перспективе может начать работать как мета-поисковик, всё для этого уже есть, кроме последних штрихов — поставить связующие кнопки, портировать на mаilru и другие поисковики.
Сейчас же — рассмотрим, какие особенности Яндекса добавились в ранее существовавшее решение для Гугл.
Первое и единственное ограничение у Яндекса, которое бросается в глаза — это отсутствие поиска за последние часы. Скорее всего, у Яндекса ещё нет такой функциональности, вопрос на toster.ru ответа не принёс, но сейчас, может быть, что-то напишут разработчики из Яндекса в комментариях.
Появилось и расширение функций в поиске по документам — интерфейс запросов к Яндексу позволяет искать по группе типов документов (мультиселект в настройках), а Гугл каждый раз — только по одному типу документов (PDF, DOC, SWF, . ).
В остальном — режим специальных настроек настолько хорошо пересекается, что позволил сделать похожим не только интерфейс, но и хранение параметров настроек. Это — поиск по сайту (домену) и поиск за последний интервал времени (более дня).
Подробности хранения настроек — решение с внешним localStorage
Ранее для Гугла аналогичное расширение приобрело сохранение настроек поиска. Просто потому что список своих доменов или язык интерфейса иногда желательно менять, а изменения прямо в скрипте — мало, что привычно лишь программистам-фронтендщикам, ещё и при довольно частых обновлениях нет возможности сохранить код части исправленного пользователем скрипта от общего обновления. Если появляются хранимые (в localStorage) настройки, то вопрос снимается.
Но тут у Гугла обнаружилась привычка стирать локальную память! С этим сталкивались ранее и пользователи Фейсбука, и для решения этой проблемы была статья на Хабре и скрипт по другому поводу (букмарклет закладок с прокруткой скролла окна). Здесь — аналогично, требовалось бежать с домена Гугла куда-нибудь на другой домен, куда скрипты-чистильщики не дотянутся. Организовано общение с тихой скромной страницей на github.io, где всё надёжно хранилось, почти как в банке. (Ссылка эта пригодится после установки скрипта, чтобы увидеть, куда настройки сохранились.)
Для Яндекса это вылилось в то, что хранение его настроек тоже было сделано на том же домене (github.io). Это немедленно привело к тому, что 2 разных скрипта, разных домена и разные поисковики приобрели общие настройки. Нет, их крайне несложно разделить, но зачем? Список любимых сайтов для поиска, язык интерфейса, и впоследствии — хранение последних интервалов дат — всё это стало появляться одинаково как в Гугле, так и в Яндексе, при условии пользования одним и тем же браузером.
Именно этот механизм сейчас даёт возможность очень просто сделать метапоиск — добавить в сохраняемые настройки поле для команд — просто команду «искать» или «искать с настройками», или «искать в выбранных поисковиках»). В дальнейшем, можно пофантазировать, что появится и синхронное управление картами, и просмотр в разделах, например, новостей, картинок. Согласитесь, удобно ведь ходить по карте в одном окне, а в соседнем — иметь синхронную копию в картах Гугл, чтобы переключаться на то окно, где более полная информация. И выдача картинок будет заметно разная и дополняющая.
Справочник вариантов расширенного поиска в Яндексе и Гугле
Этот список, возможно, дополнят специалисты-пользователи и разработчики компаний (дополню по комментариям или ЛС).
Все способы и виды сведены в список в целях организации небольшого справочника.
Многое в интерфейсе юзерскрипта не реализовано. Что реализовано — указано.
В Яндексе:
- по региону
в интерфейсе — поле с подсказками, где выбирается «регион» — страна, область или город;
в запросе — &rstr= c магическим многозначным числом со знаком, совпадающим с другим недокументируемым параметром lr для своего региона; не всё работает — например, поиск по Маниле (rstr=-10629, это же Филиппины) не сильно отличается от общего; - по сайту или домену
в интерфейсе — вводим в поле название домена (2 или 3 уровня, без продолжения)
в строке поиска — пишем (без кавычек) » site:3dnews.ru» или подобное;
Yandex Extra Buttons — спадающий список заранее прописанных доменов под кнопкой «site». Состав списка можно менять в настройках, через кнопку site—Настройки—форма настроек—перезагрузка страницы. Сохраняется во внешнем localStorage. Свой список доменов полезно скопировать для хранения, переноса на другой браузер и для восстановления.
в запросе — &site=anysite.ru; - по стране
в интерфейсе — переключается кнопка со смыслом «своя страна», т.е. на домене .by это — выбор «by» и не более;
в запросе — &country=by, при этом можно указать и некоторые другие страны, по которым работает Яндекс, но что из них реально работает — не документировано. Например, &country=tr или com.tr не работает, как и множество «не близких» стран, не обязательно мелких; - точный запрос
в интерфейсе — отдельная кнопка в подзаголовке или на специальной странице;
в строке поиска — обрамить все слова или часть из них (составляющие точную часть запроса) кавычками;
в запросе — &wordforms=exact - по языку страницы
выбор языков небольшой, но он покрывает все страны, где Яндекс присутствует как отдельный конкурирующий поисковик, плюс английский, немецкий, французский; (этот список может быть кандидатом на ещё одну кнопку в юзерскрипте, но многие ли пользуются этой настройкой? Скорее всего, нет); - по типам (множественное число) документов
в интерфейсе — выбрать из мультиселектового списка; при каждом клике сменяется выдача по аяксу (без перезагрузки); на странице advanced — выбрать типы из 14 (сейчас) чекбоксов;
в строке поиска — дописывают (без кавычек) » mime: pdf» или подобное, поддерживается много типов, но один на запрос; что интересно, такой выбор типов НЕ поддерживается скриптами подзаголовка — очевидно, это — более старый способ выбора параметра;
Yandex Extra Buttons — спадающий список заранее прописанных типов документа под кнопкой «PDF», которая сама по себе тоже выбирает указанный тип; по кликам страница подхватывает результаты и изменяет список выбранных типов в подзаголовке; скрипт устраняет баг отображения — подкрашивает кнопку типов, если хотя бы один тип был выбран; таким образом, кнопки юзерскрипта, по сути, инициируют «клики» по типам в подзаголовке, сами не отображают результаты мультивыбора, но работают и без подзаголовка (он появляется сам после первого клика);
в запросе — &mime=rtf или &mime=rtf%2Cdoc, указывая все выбранные типы; работает и &mime=rtf&mime=doc и далее; запросы идут по AJAX, но с главной таким же способом можно отправить и не аяксовый запрос; - по последнему интервалу дат
в интерфейсе — 3 отдельных кнопки в подзаголовке или 5 — на спецстранице;
Yandex Extra Buttons — 4 спадающих списка в виде изначально небольших 4 кнопок — выбор за последние несколько: дней, недель, месяцев, лет. Выбранное значение сохраняется в настройках и перемещается в начало списка, чтобы при повторном таком же выборе было достаточно только нажать кнопку. Технически реализуется через запрос по произвольному интервалу дат (раздел ниже), страница запрос выполняет по AJAX, но с главной работает как обычная перезагрузка страницы;
в запросе — магический параметр &within=число для некоторых интервалов; например, &within=1 — за 2 недели; 77 — за сутки, 2 — за месяц; 3 — за 3 месяца; 4 — за полгода, 5 — за год, 6 — за 2 года и т.д., 7 — за текущий день, 8 — за 3 суток или 4 дня (неизвестно точно, не проверялось), 9 — за 8 дней; можно попроверять, на результирующей странице интервал указывается с точностью до дня, а результаты — с точностью от часа до дня; - по интервалу дат
в интерфейсе — 2 поля с дейт-пикерами (табличками для выбора дат из календаря);
в запросе — &from_date_full=11.01.2016&to_date_full=19.01.2016
Есть ряд других более специфических параметров, язык запросов (например, минус-слова и упомянутые кавычки), которые не будем рассматривать, но часть их могут оказаться в интерфейсе юзерскрипта расширенного поиска. Кроме того, у Яндекса есть ряд типов страниц (картинки, видео, новости, Маркет, и т.д.), где запросы могут иметь особенности (например, есть поиск по изображениям, поиск географического места на карте). Скрипт же сейчас покрывает основное поле — текстовый поиск.
В разделе Яндекс-новостей расширенный поиск идёт по другим именам параметров, и скрипт на данном этапе в этом разделе не выполняется. У Гугла же в разделе новостей действуют те же правила построения запросов, скрипт для Гугла работает во всех его основных разделах.
В Гугле:
- по типу (единственное число) документа
в интерфейсе — advanced_search — file type:
— один из 10 форматов; текстовым запросом могут искаться и другие типы, кроме названных в списке;
в строке поиска — дописывают (без кавычек) » filetype: pdf» или подобное;
Google Search Extra Buttons — пока что сделано как 2 отдельных кнопки (без списков) для PDF и DOC (прочие типы в Гугле достаточно удобно задавать в строке поиска, поэтому много типов документов было введено, только начиная со скрипта для Яндекса);
в запросе — &as_filetype=xls - по последнему интервалу дат
в интерфейсе — Search Tools — (Any Time | Past <период>), далее — 5 вариантов выбора, или есть вариант задания любого интервала дат здесь же или на спецстранице;
Google Search Extra Buttons — 5 спадающих списков в виде изначально небольших 5 кнопок — выбор за последние несколько: дней, недель, месяцев, лет, часов (в дополнение к тому же в Яндексе). Выбранное значение сохраняется в настройках и перемещается в начало списка, чтобы при повторном таком же выборе было достаточно нажать кнопку;
в запросе — 2 вида запросов с теми же результатами, но с разным дизайном страницы выдачи
&as_qdr=m2 — вид с чёрным заголовком;
&tbs=qdr:h1 — более новый вид; вместо «h» ставится h, d, w, m, или y; число — количество размерных единиц или пусто, что будет равносильно 1; - по интервалу дат
в интерфейсе — Search Tools — (Any Time | Past <период>) — Custom Range. ; на спецстранице — выбор только по нескольким последним интервалам дат (раздел выше);
Google Search Extra Buttons — отдельная кнопка, сразу вызывающая форму интерфейса; на главной — нет её поддержки, поэтому кнопка скриптом не отображается;
в запросе — &tbs=cdr%3A1%2Ccd_min%3A12%2F29%2F2015%2Ccd_max%3A1%2F5%2F2016; - по сайту или домену, в том числе верхнего уровня (.com, .cc, . )
в интерфейсе — на странице расширенного поиска (значок зубчатки — Advanced Search);
в строке поиска — дописывают (без кавычек) » site: anysite.com» или подобное, в том числе домен верхнего уровня без точки;
Google Search Extra Buttons — отдельная кнопка со спадающим списком с заранее прописанными доменами, список которых можно менять в настройках. При клике по начальной кнопке она не инициирует поиск, а только выводит текст в строку поиска, что удобно для поправки домена. Поэтому первый домен можно вообще задавать пустой строкой;
в запросе — &as_sitesearch=anysite.com;
Другие параметры — у Гугла есть ряд других параметров для текстового поиска и язык запросов, подробное рассмотрение которых выходит за рамки цели статьи, но они могут оказаться в будущем в интерфейсе юзерскрипта.
- точное слово или группа
- любое из слов
- исключая слова
- интервал размерностей (кг, денежные единицы, годы)
- по языку страницы
- в регионе (государства)
- по месту на странице
- семейный фильтр
- по наличию лицензий
По теме организации метапоиска по обычным запросам
(Дальше пойдут планы и фантазии, интересные разработчикам интерфейсов.)
В самом простом виде метапоиск — это просмотр результатов в 2 соседних окнах одного браузера. Дополнительно можно поисключать одинаковые ответы из второго окна. Если задаться целью получить выдачу в одно окно, нужно решать, в каком месте списка внедрять элементы списка из второго окна. Скорее всего, удобно внедрять на примерно ту же позицию, которую занимал элемент во 2-м окне. И, конечно, указывать, от какого поисковика пришли ответы, чтобы у пользователя накапливалась в памяти статистика, по каким запросам от какого поисковика он получил себе полезный ответ.
Замечание по политике поисковиков. Делать метапоиск в одном окне технически невозможно, потому что современные крупные поисковики строго следят, чтобы запрос выполнялся не в фрейме, чтобы ответ приходил в настоящую страницу, а не в XMLHTTP-объект. Это связано с доходами от сопутствующей рекламы, составляющих ныне основной хлеб любого поисковика. Для пользователя, наоборот, важен результат и максимум — тот движок, который его даёт.
Метапоиск на скриптах — это вероятность близкого будущего. Для реализации — коды скриптов имеются на Гитхабе (Yandex, Google), приветствуются новые решения.
UPD: Кто поможет сделать белорусскую, казахскую и турецкую локализации?
Как пользоваться расширенным поиском Google
Поисковик Google имеет в своем арсенале инструменты, которые помогут дать более точные результаты на ваш запрос. Расширенный поиск — это, своего рода, фильтр, отсекающий ненужные результаты. В сегодняшнем мастер-классе мы поговорим о настройке расширенного поиска.
Для начала, нужно ввести запрос в поисковой строке Гугла удобным для вас способом — со стартовой страницы, в адресной строке браузера, через приложения, тулбар итд. Когда откроются результаты поиска, станет доступна панель расширенного поиска. Нажмите «Настройки» и выберите «Расширенный поиск».
В разделе «Найти страницы» задайте слова и словосочетания которые должны встречаться в результатах или быть исключены из поиска.
В дополнительных настройках укажите страну, на сайтах которой будет выполняться поиск и язык этих сайтов. Включите показ только актуальных страниц, указав дату обновления. В строке веб-сайта вы можете ввести конкретный адрес для поиска.
Поиск можно выполнить среди файлов определенного формата, для этого выберите его тип в выпадающем списке «Формат файлов». При необходимости активируйте безопасный поиск.
Вы можете поставить поисковику задачу искать слова в определенной части страницы. Для этого воспользуйтесь выпадающим списком «Расположение слов».
Настроив поиск, нажмите кнопку «Найти».
Полезную информацию вы обнаружите в нижней части окна расширенного поиска. Нажмите на ссылку «Применить поисковые операторы». Перед вами откроется таблица-шпаргалка с операторами, их применением и назначением.
Следует отметить, что функции расширенного поиска могут меняться в зависимости от того, где именно вы выполняете поиск. Выше был рассмотрен вариант для поиска на веб-страницах, но если вы ищете среди картинок, а затем перейдете в расширенный поиск, вам откроются новые функции.
В разделе «Дополнительные настройки» можно задать:
Быстрые настройки расширенного поиска в картинках можно включить, нажав кнопку «Инструменты» на панели поиска.
Аналогичным образом работает расширенный поиск для видео.
Вот мы и познакомились с расширенным поиском в Google. Этот инструмент значительно повысит точность результатов поисковых запросов.