Топ-10 лучших инструментов OSINT для разведки с открытым исходным кодом

19 июля 2022

Интернет-разведка стремительно набирает популярность в сфере кибербезопасности и не только. Сбором секретной информации пользуются детективы, следователи, полицейские, разведывательные группы. А в условиях нынешней ситуации в Украине даже самый обычный человек может помочь ВСУ бороться с врагом с помощью программ для разведки. Поиск нужных данных среди открытых источников можно проводить с большей эффективностью, чем просто пользоваться интернет-поисковиками. В статье мы для вас подготовили рейтинг самых лучших инструментов OSINT, которые упростят поисковую работу.

OSINT – уникальная технология, позволяющая собирать, анализировать информацию из всего Интернет-пространства. С ее помощью узнавайте данные о компаниях, людях по различным критериям, таким как контактные данные, место проживание, наименование организации, имя, должность и пр. Незаменимые Open Source Intelligence Techniques инструменты в сфере кибербезопасности – пентестеры или киберпреступники из публичных данных составляют портрет потенциальной жертвы.

Подробно о том, что такое OSINT читайте в нашем материале OSINT: технология сбора и анализа данных из открытых источников.

Основными источниками для разведки являются Интернет (соцсети, блоги, видеохостинги, форумы), журналы, газеты, ТВ, радио, публичные материалы госструктур, общедоступные наблюдения, отчеты, статьи, доклады, конференции.

OSINT отличалась эффективностью еще с начала своего существования. В 1941-1942 годах суть технологии заключалась в вырезании фотоснимков парадов из немецких печатных изданий. Затем через увеличительное стекло специалисты считали количество пулеметов на фото, анализировали рассказы местных жителей. Позже смогли определять ситуацию в высших эшелонах власти СССР по тому, какие лица находились на трибуне Мавзолея. В наше время принципы работы остались те же, но изменились инструменты, средства и масштабы информации.

Одна из главных целей использования OSINT tools – поиск потенциально подозрительной деятельности. Организации любой формы собственности могут защитить себя, клиентов от посягательства на конфиденциальные данные. Не менее важной является аналитическая функция. При наличии всей интересующей информации необходимо ее тщательно анализировать. Осуществляется контент-анализ материалов, статистический анализ источников данных.

Чем же хороша технология OSINT? Прежде всего умный поисковик с открытым исходным кодом полезен своей простотой. Поиск происходит из открытых источников, методология использования понятна для любого человека. Рисков практически нет, ведь процесс поиска выполняется из одного места, не нужно выезжать на полевые исследования или менять место расположения, все доступно из любой точки земного шара. Ключевое преимущество в том, что скорость, сбор и анализ информации происходит быстро, и это не зависит от типа запроса.

Теперь перейдем к списку инструментов для разведки. Отметим, что их сейчас огромное множество, команда Софтлист публикует свой ТОП OSINT приложений, предлагаем вам с ними ознакомиться.

1. Maltego – графический анализ ссылок

Инструмент OSINT предназначенный для поиска данных о людях, компаниях. Работает на платформах Windows, Linux и Mac. Ключевая особенность программы в том, что она определяет соотношения между данными, создает графическое отображение данных. На графиках и диаграммах можно просматривать до 1млн объектов. Maltego автоматизирует поиск, что позволяет пользователям одним кликом выполнить несколько запросов.

Поиск ведется среди записей DNS, whois, поисковых систем, социальных сетей. После сбора информации приложение формирует связи, которые обнаруживают скрытые соотношения между именами, адресами e-mail, компаниями, сайтами и пр. Этой программе доверяют многие, потому что, Maltego предлагает более 58 направлений источников данных из разных областей.

О том, кто чаще использует программу, какие ее преимущества и функциональные возможности читайте в нашем материале Maltego: программа для поиска киберпреступников и визуальных расследований.

2. Cobwebs – набор взаимосвязанных инструментов

Разработчик Cobwebs technologies предлагает пять программных продуктов OSINT с разнообразным функционалом в сфере расследования. Это решение отличается тем, что продукты работают во взаимосвязи между собой, при этом важно исследовать возможности каждого продукта.

Платформа веб-исследований позволяет отслеживать онлайн-активность, собирать и анализировать информацию из доступных источников данных. Поисковая система построена на базе искусственного интеллекта для автоматизированных интернет-расследований. Используя платформу, осуществляйте мониторинг даркнета, выявляйте новые угрозы быстро и эффективно.

Решение для анализа угроз предназначено для извлечения целевых данных посредством алгоритмов машинного обучения ИИ. Уникальная технология помогает собирать и анализировать огромные объемы данных для выявления киберугроз в режиме реального времени.

Защищенный помощник аналитика. В работе используется браузер Lynx, обеспечивающий безопасный просмотр для ручного сбора и анализа данных. В то же время вы получаете полный доступ ко всей информации из открытой Сети и даркнета.

Платформа финансовых расследований расширяет бизнес-возможности с помощью интеллектуальных данных ИИ в сфере противодействия отмывания денег, мошенничества и киберугроз. Финансовые специалисты смогут экономить свои ресурсы благодаря автоматизации исследовательских процессов. Минимизируются скрытые риски в Сети для клиентов финансовых учреждений.

Использовать продукты Cobwebs можно в разных сферах. Сейчас повышается актуальность разведки среди государственных учреждений, технологию OSINT Украина может использовать для борьбы с оккупантами. Банки и другие финансовые организации нуждаются в средствах для противодействия мошенникам. Разведка в криминалистике – важнейший компонент в работе правоохранительных органов. Корпоративный сектор тоже не застрахован от цифровых рисков. Превентивная аналитика Cobwebs позволит обеспечить киберзащиту вашего предприятия.

3. DarkOwl Vision – поиск информации в даркнете

Платформа позволяет проводить мониторинг и аналитику угроз в пространстве Dark web для эффективного поиска скомпрометированных конфиденциальных данных.

Программа DarkOwl Vision в автоматическом режиме беспрерывно и анонимно занимается сбором, индексацией и ранжированием важных данных разведки даркнета. Пользовательский интерфейс удобный для работы, поисковая система поддерживает логические выражения и фильтры.

Search API интегрирует данные даркнета в вашу технологию или платформу, запрашивает весь набор данных DarkOwl, включая сохраненный и доступный для поиска архив за более чем 8 лет. Поиск доступный на 47 языках. Вы можете извлекать полнотекстовые документы, включая исходный URL/URI.

Благодаря продукту Entity API вы запрашивайте конкретные кредитные карты, адреса электронной почты, IP-адреса. Это значит, что вы можете запросить список всех e-mail писем, принадлежавших определенному домену, или посмотреть, был ли указан конкретный адрес электронной почты. Пользователи могут использовать параметры поиска, чтобы найти, был ли определенный IP-адрес опубликован на форумах даркнета.

Решение API-вымогатели предусматривает упрощенный анализ активности программ-вымогателей. Автоматически фильтруются результаты для выбора веб-сайтов и блогов RaaS. Ransomware API позволяет пользователям безопасно запрашивать постоянно обновляемые сайты программ-вымогателей, которые в том числе размещены в TOR и Telegram. Таким образом, можно узнать, подвергалась ли организация, которую вы отслеживаете, вымогательству или компрометации в результате инцидента кибербезопасности.

4. Singularity Signal– аналитика угроз на базе искусственного интеллекта и машинного обучения

Компания SentinelOne создала платформу, которая анализирует угрозы на основе данных. Singularity Signal использует данные в масштабе для предотвращения дальнейших действий злоумышленников. Автономный искусственный интеллект позволит определить все текущие угрозы и спрогнозировать, что может произойти в будущем. Об угрозах вас будут информировать упреждающие сообщения и отчеты. У вас есть возможность интегрировать киберданные и сторонние решения для анализа угроз с помощью Singularity Marketplace и Threat Intel API. Singularity Signal сочетает искусственный интеллект и машинное обучение, что позволит быстро проводить масштабируемый анализ.

Платформа предоставляет постоянный обзор меняющегося ландшафта угроз и степень влияния продвинутых методов хакеров на вашу компанию. Signal позволяет максимально четко нарисовать полную экосистемную картину того, как на вашу среду влияют киберугрозы, и как реагировать на них в масштабе. Аналитика угроз полезна всем организациям, которые хотят понять, насколько ландшафт киберугроз может влиять на их бизнес и степень риска в зависимости от отрасли, географического положения, размера и т. д

5. Metasploit – инструмент OSINT для тестирования на проникновение

Это мощная программа для получения всей необходимой информации, использования обнаруженных уязвимостей. Пользователи Metasploit могут загружать, скачивать или изменять найденные файлы. На мобильных устройствах можно делать скриншоты, активировать камеру и микрофон для удаленного прослушивания.

Инструмент имеет семь модулей, которые применяются для разных процессов по сбору разведданных (полезные нагрузки, кодировщики, эксплойты, NOP). Кодировщики предназначены для преодоления средств защиты, NOP запускают скрипты. Программой пользуются как «этичные хакеры», так и киберпреступники для поиска скрытых уязвимостей. Metasploit доступный для бесплатного и коммерческого пользования. Инструмент можно запустить на устройствах Linux, macOS и Windows.

6. SpiderFoot – доступный в облачной версии, через браузер.

В ТОП 10 лучших также вошел инструмент SpiderFoot, его можно загрузить и установить на ПК с Linux или Windows или пользоваться облачной версией, которая запускается через браузер. Программа обнаруживает нарушения безопасности и выявляет скомпрометированные учетные записи.

Система работы программы следующая. Как только объект для поиска (домен, имя пользователя, IP-адрес) выбран, начинается основное сканирование. В поиске могут участвовать более 100 общедоступных источника данных. По завершению сканирования на электронную почту вы получите предупреждение, на панели инструментов появится детальный отчет. Возможна интеграция с другими приложениями, например со Slack, это позволит нескольким людям работать над проектом. Из преимуществ – простой минималистичный интерфейс, подходит для детализированного обширного сбора данных. Из минусов – страницы «noindex» не будут отображаться, поэтому картина истинного масштаба может быть неполная.

7. Recon-ng – автоматизация трудоемких процессов OSINT

Фреймворк для разведки написан на Python, обычно его используют для наблюдения за угрозами, их мониторинга. Он встроен в Kali Linux. Для новичков интерфейс Recon-ng покажется непонятным и пугающим, но спустя несколько дней изучения инструмент станет простым для работы. А тем, кто хоть когда-нибудь работал в Unix/Linux программа не составит труда для освоения. В фреймворк уже встроены модули, что означает предоставление обширного функционала. Recon-ng автоматизирует трудоемкие операции OSINT, такие как вырезание и вставка. Его можно использовать для автоматизации большинства наиболее популярных видов сбора данных.

Общие задачи, такие как стандартизация вывода, взаимодействие с базами данных, отправка веб-запросов и управление ключами API, — все это часть интерфейса. Преимуществами Recon-ng является открытый исходный код, функциональный интерфейс. К недостаткам, пожалуй, можно отнести только то, что для изучения интерфейса потребуется больше времени из-за большой детализации.

8. PhoneInfoga – инструмент OSINT для поиска по номеру телефона

Это продвинутая программа, позволяющая анализировать телефонные номера и собирать нужную информацию. На первом этапе происходит сбор стандартных данных (страна, оператор, тип линии). После этого в поисковых системах специалисты находят след, по которому можно вычислить владельца.

Основные возможности PhoneInfoga:

• проверка действительности номера телефона;
• сбор стандартной информации;
• выполнение разведки OSINT, используя API, телефонные справочники, Google Hacking и поисковики;
• сканирование группы телефонных номеров.

Среди недостатков можно выделить то, что скрипт PhoneInfoga написан только на Python.

9. Google Dorks – поиск OSINT с применением хитрых поисковых запросов Google.

Инструментом Google Dorks сложно назвать, скорее это метод запроса данных, включающий расширенные и умные аргументы поиска в Google. Объясним принцип работы. Сайты автоматически индексируются во время сканирования ботами Google, дальше если сайты с конфиденциальной информацией специально не блокируют ботов, их содержимое отобразится как результаты поиска для конкретных запросов Google. Так пользователи могут детально проверить сервер и найти нужную информацию. Метод использует простой синтаксис Google для фильтрации данных поисковой системы. Служит хорошим средством OSINT для начинающих. Чаще всего Google Dorks используют в своей работе журналисты, следователи, инженеры по безопасности.

10. Aircrack-ng – тестирование безопасности беспроводных сетей

Инструмент позволяет оценивать безопасность Wi-Fi сети. C помощью утилиты можно проверить степень надежности пароля сети, получить доступ к сети ваших соседей. Aircrack-ng расшифровывает WEP и WPA пароли. Тестирование на проникновение происходит благодаря выполнению атак с внедрением пакетов, поддельных точек доступа, повторных атак. Анализируется производительность посредством тестирования возможностей Wi-Fi и драйверов. Безопасность паролей проверяется взломом паролей на WEP и WPA PSK. Изначально инструмент разрабатывался для Linux, но есть версии и для Windows, OS X и FreeBSD.

Среди преимуществ – возможность проверять безопасность Wi-Fi и взламывать слабое беспроводное шифрование. Для тех, кто ищет «универсальный» инструмент это не лучший вариант.

Заключение. Информации сейчас становится все больше и больше, возрастают и каналы доступа к данным. OSINT инструменты позволяют организациям получить доступ к нужным данным благодаря разведке. Сейчас для поиска информации не обязательно работать в спецслужбах. Да что уж там, OSINT разведкой много из нас пользуется, когда планирует свой отпуск – мониторинг цен, стран, транспорта, сравнение, отзывы, фото.

Почти все журналистские расследования не обходятся без разведки.

В сфере кибербезопасности у вас есть возможность посмотреть на свое предприятие з позиции хакера благодаря этой технологии.

С помощью OSINT, например фильтруются фейковые новости, через поиск по фото, тексту, источнику. В период военного времени в Украине актуальность разведки тоже возросла, в частности как метод противодействия внешнему врагу. Методология OSINT позволяет раскрывать криминальные преступления, определять места расположения техники агрессора, фиксировать по спутниковым данным конкретные действия.

Компания Софтлист на сегодня является лидером в области информационной безопасности в Украине по OSINT. 

Если вас интересует покупка решений OSINT, то в разделе Open Source Intelligence Techniques вы сможете найти топовые решения, занимающие топ по безопасности, а также присутствующие в лидерах Gartner Magic Quadrant