OSINT: технология сбора и анализа данных из открытых источников

28 июня 2022

Важная составляющая целенаправленной атаки и во время тестирования на проникновения – сбор информации. Существуют инструменты и способы, с помощью которых можно конфиденциально собирать информацию из общедоступных источников. Такая методика называется разведка из открытых источников или OSINT. 

В настоящее время социальные сети и различная онлайн-активность позволяет применить множество легальных разведок OSINT. Критериями поиска может выступать профиль человека, его имя, сфера деятельности организации или название компании.

В статье расскажем, что собой представляет OSINT, какие возможности у этой технологии.

Что такое OSINT?

Термин OSINT расшифровывается как разведка среди доступных источников, которая охватывает любую информацию. Данные могут быть получены на законных основаниях из бесплатных публичных источников о человеке, компании. Обычно это информация из Сети, но технически разведка OSINT включает книги в открытых библиотеках, газетные статьи, материалы пресс-релизов.

OSINT охватывает данные, которые можно искать на разных видах носителей. Кроме текста, это фото-, видеоконтент, материалы из вебинаров, публичных собраний, конференций.

Для чего нужна разведка OSINT?

При наличии публичных данных о конкретной цели хакер или пентестер может составить профиль потенциальной жертвы. Это нужно для того, чтобы лучше понять ее характеристики и сузить область поиска возможных уязвимостей. Злоумышленники не обязательно только активно воздействуют на цель, но также с помощью полученных данных могут моделировать угрозу и разрабатывать план атаки.

Кибератака, как впрочем и все атаки начинается с разведывательной операции, для начала происходит пассивное получение разведданных. Сбор информации OSINT о себе или о своем предприятии – это тоже хороший способ увидеть, какие данные вы предоставляете потенциальным злоумышленникам. Как только вы узнаете, какую информацию о вас можно собрать из открытых источников, сможете использовать ее, чтобы помочь себе или вашей команде безопасности разработать эффективные стратегии защиты. OSINT способен выполнить почти все задачи, которые ставятся перед частными детективами.

OSINT Framework

Подготовка данных из публичного пространства— трудоемкий процесс, однако есть и другие инструменты, упрощающие сбор разведывательной информации. Такими инструментами является Shodan, сканеры портов Nmap, Zenmap и др. Для начала подойдет OSINT Framework, автором которого является Джастин Нордин. Фреймворк предоставляет линки на многообразие инструментов для разных задач, среди которых поиск и анализ e-mail, поиск данных в соцсетях или даркнете.

Во многих статьях об инструментах OSINT вы увидите ссылки на один или два пакета, включенных в дистрибутив Kali Linux для тестирования на проникновение, например Maltego. Среди многих полезных инструментов для открытой разведки можно выделить Nmap и Recon-ng. Nmap позволяет указать IP-адрес и определить, какие хосты доступны, какие операционные системы они используют, какие брандмауэры используются.

Recon-Ng — это инструмент, написанный на Python для веб-разведки. С помощью него вы сможете определять субдомены для конкретного домена. Модули позволят Вам подключаться к Shodan, Github, Jigsaw, Virustotal и другим.

Технологию OSINT активно использует компания Cobwebs Technologies. Они разработали платформу для веб-расследований на базе искусственного интеллекта. Аналитические данные собираются в режиме реального времени, расследование проводится автоматически. Решения Cobwebs применяют в корпоративной безопасности, в финансовых учреждениях, правоохранительных структурах, в общественной и национальной безопасности.

DarkOwl Vision – решение от еще одного известного производителя DarkOwl. С помощью платформы происходит безопасный детальный сбор информации из всего даркнета. Примечательно, что DarkOwl Vision использовался для поддержки расследований местной и федеральной полиции США. Также его использовали для работы федеральных агентств по борьбе с торговлей людьми, терроризма, проблем с безопасностью и пр.

Какие есть еще инструменты, и ресурсы OSINT

Одним из наиболее очевидных инструментов поиска разведывательных данных являются, конечно же, поисковые системы, такие как Google, Bing и пр. На самом деле существуют десятки поисковиков, какой-то из них выдает лучший результат, чем другие, для определенного типа запроса. Суть заключается в том, как можно эффективно запрашивать эти разные механизмы?

Отличным инструментом, решающим эту проблему и делающим веб-запросы эффективными, является Searx. Система Searx — это метапоисковик, позволяющий в анонимном режиме аккумулировать результаты из 70 и более сервисов. Система бесплатная, на которой можно размещать собственные экземпляры для повышения конфиденциальности. Отслеживание пользователей не ведется, cookie выключены изначально. Многие общедоступные экземпляры Searx доступны для тех, кто не желает размещать собственные экземпляры.

Еще одним инструментом OSINT является Twint . Это приложение, написанное на Python, которое упрощает анонимный сбор и поиск данных в Твиттере. Регистрироваться в самой службе Твиттера или использовать ключ API не нужно. С Twint вообще не требуется аутентификация или API. Просто установите инструмент и начните работу. Вы можете искать по пользователю, геолокации и временному диапазону. Это лишь некоторые из опций Twint, но доступны и многие другие.

Twint позволяет вам указать параметр --since, чтобы извлекать твиты только с определенной даты и далее. Вы можете ежедневно собирать новые твиты #OSINT. 

С помощью опции Twint --database которая сохраняет в формате SQLite автоматизируйте сценарий и передавайте результаты в базу данных для просмотра в удобное для вас время. Для сбора данных из открытого пространства можно использовать — это Metagoofil. Этот инструмент использует известный поисковик Google для получения открытых файлов в формате PDF, Word, Excel и Powerpoint из определенного домена. Затем он может автономно извлекать метаданные из этих документов для создания отчета, содержащего такую информацию, как имена пользователей, версии программного обеспечения, имена серверов и компьютеров.

Заключение

В этом материале мы рассмотрели, что такое OSINT, чем полезна эта технология, и в каких решениях она используется.
Для всех, кто занимается кибербезопасностью, понимание того, как собирать разведывательные данные из открытых источников, является необходимым навыком. Независимо от того, защищаете ли вы корпоративную сеть или проверяете ее на наличие уязвимостей, чем больше вы понимаете ее цифровой след, тем лучше вы сможете увидеть ее с точки зрения хакера. Эти знания помогут вам разработать более эффективные защитные стратегии.

У нас на сайте представлены топовые решения Open Source Intelligence Techniques занимающие топ квадрата Gartner и имеющие множество наград по безопасности, ознакомиться с которыми вы можете в разделе.