Microsoft опубликовала исходный код ключевого алгоритма поисковой системы Bing, который обеспечивает быстрый возврат результатов пользователям, пишет TechCrunch.

Компания рассчитывает, что разработчики будут применять технологию при создании аналогичных сервисов в других сферах, где пользователям приходится осуществлять поиск по массивным объёмам данных, например в торговле, а также в прочих корпоративных и потребительских сценариях.

Microsoft открыла библиотеку, которую разработала для лучшего использования всех собранных ею данных, а также ИИ-модели, построенные для Bing.

Алгоритм Space Partition Tree and Graph (SPTAG) в основе Python-библиотеки позволяет Microsoft за тысячные доли секунды осуществлять поиск среди миллиардов единиц информации.

Идея векторного поиска не нова, но Microsoft применила концепцию к моделям глубокого обучения. Разработчики взяли обученную модель и закодировали данные в векторы, каждый из которых представляет слово или пиксель. С помощи библиотеки SPTAG генерируют векторный индекс, а при вводе запросов модель переводит текст или изображение в вектор, и библиотека находит наиболее релевантные векторы в индексе.

Библиотека включает инструменты для построения и поиска в этих распределённых векторных индексах. Найти подробную информацию и примеры можно здесь.

Источник: dev.by