AppSec и Linux DFIR: легитимно выглядящие закладки, автоматизация fleet triage, evidence, business impact и решение о пересоздании. Linux Threat Hunting, массовый triage и одна неприятная задача, которая досталась Application Security Champion.

ЧТО ПРОИЗОШЛО?

Представьте себе обычный рабочий разговор. Разрабы воркают, сервисы крутятся, CI/CD что-то собирает, мониторинг поинты преимущественно зеленый. Заканчивается обед и тут кто-то задает вопрос, после которого в комнате становится заметно тише:

«Наш DevOps уволился. Причем разошлись мы, скажем так, не очень хорошо. Он поднимал почти всю эту инфраструктуру. Мы вообще уверены, что там ничего не осталось?»

И все смотрят на Security. Не на ClamAV, не на Grafana, а на человека, который занимается Application Security. Ну, вообщем на меня!

Ну что ж, поздравляем: зона ответственности только что увеличилась без согласования с HR. :)

С задачей такого класса мне доводилось сталкиваться в контексте Product Security / Application Security. Моя основная работа была связана с безопасностью продукта, процессов разработки и доставки ПО. Но когда человек, поддерживавший значительную часть Linux-инфраструктуры, ушел при сложных обстоятельствах, а другой профильной экспертизы на месте не оказалось, разбираться пришлось мне. Не потому, что AppSec внезапно стал полноценным DFIR-подразделением. А потому, что на этих машинах разрабатывался, собирался и разворачивался продукт. И риск был уже продуктовым. Так что, парни, это мой выход!

*Сама постановка задачи звучит просто: *много Linux-серверов, один специалист, мало времени. Нужно проверить, не оставил ли бывший привилегированный оператор скрытых способов удалённого доступа, неизвестных сервисов, изменённых конфигураций или чего-то похуже. И на основании проверки сказать бизнесу, можно ли продолжать работу или безопаснее заново пересоздать инфраструктуру.

Но правильный вопрос грамотного экперта я бы сформулировал иначе:

Как восстановить доверие к инфраструктуре, которую создавал и администрировал человек, чей доступ мы больше не считаем доверенным?

Disclaimer / NDA. Это анонимизированное изложение реального класса задачи и моего личного подхода к ресерчу. Название компании, технические детали, точное количество серверов, сроки и фактический результат закрытого проекта я не раскрываю по пончтным причинам. Все имена хостов, числа в примерах, findings и фрагменты отчётов ниже — синтетические иллюстрации, не данные реального расследования. И да: конфликт при увольнении сам по себе не доказывает злонамеренных действий. Однако, мы проявляя должную осмотрительность и здравый скептицизм, проверяем доступы, артефакты и доверие, а не характер бывшего коллеги.

1. Если сервис работает — это ещё не значит, что ему можно доверять

Поверхность доверия выходит за пределы одного Linux-сервера

Начнём с типичной инфраструктуры software-компании, где ведется разработка кастомного внутреннего ПО и юзаются стандартные сервисы для корпорейта. Есть Linux-машины для development, staging, internal services, self-hosted runners, build agents, контейнеров, deployment-автоматизации. Часть из них может иметь доступ к секретам, registry, облачным API или production Kubernetes. Всё работает. Значит ли это, что всё безопасно? - Конечно НЕТ.

Бывший администратор с достаточными правами теоретически мог оставить механизмы persistence, которые выглядят очень буднично:

  • дополнительный SSH public key в authorized_keys существующего пользователя;
  • вторую учётку с UID 0 или неожиданное правило sudo;
  • systemd service, user service, timer либо cron task;
  • reverse SSH tunnel, исходящее соединение или подменённую конфигурацию SSH;
  • изменённые iptables/nftables, неожиданный port forwarding;
  • CI/CD runner, deploy key, webhook, registry credential;
  • cloud IAM role или Kubernetes service account с избыточными правами;
  • изменённый startup script, бинарник, hook или загружаемый модуль.

ВНИМАНИЕ:практически все из этого может использоваться и легитимно. Поэтому странный файл — не доказательство backdoor, так же как отсутствие найденного malware — не доказательство чистоты системы.

Мой рабочий threat model выглядит так:

Бывший privileged operator | +--> Identity: SSH / sudo / IdP / VPN / cloud IAM | +--> Persistence: cron / systemd / hooks / containers | +--> Remote access: ports / tunnels / control plane | +--> Supply chain: Git / CI/CD / registry / signing | +--> Data & Ops: secrets / backups / databases | v Product integrity + business impact 

Эти техники хорошо описаны в MITRE ATT&CK: SSH Authorized Keys, T1098.004, Systemd Service, T1543.002 и Cron, T1053.003. Никакой голливудской магии. Обычные возможности Linux, которые в другом контексте становятся механизмами злоупотребления.

Самый убедительный backdoor выглядит как штатная инфраструктура

Есть опасное заблуждение: «AV ничего не нашёл, значит, закладок\малвари нет». Антивирус полезен против известных образцов malware. Но он не предназначен для ответа на другой вопрос: должен ли существовать этот абсолютно корректный SSH-ключ, systemd unit, cloud role или CI/CD runner? Никакого вредоносного исполняемого файла может вообще не быть. Механизм persistence — обычная административная функция, только используется она в таком ключе без разрешения.

Как выглядит механизм Почему AV может не сработать Что проверять
Дополнительный SSH-ключ существующего пользователя Публичный ключ не является вирусом Fingerprint, владелец, change ticket, история логинов, альтернативные источники ключей
systemd-сервис «для мониторинга» Сервисы и должны автоматически запускаться Unit + drop-ins, ExecStart, package ownership, destination, IaC и автор изменения
Deploy key или automation token Это обычные сущности CI/CD Кто создал, scope прав, last used, кто может отозвать, где лежит
Self-hosted runner Запуск build jobs — его легитимная работа Кто зарегистрировал, история задач, labels, доступ к secrets, egress
IAM trust policy, Kubernetes RoleBinding На диске Linux вообще ничего подозрительного Журналы control plane, права, доверенные identities, история изменений
Сервис удалённого обслуживания Туннели и relay бывают вполне законными Business owner, документация, дочерний процесс, endpoint, persistent config

Всё это — модель потенциального риска, а не обвинение бывшего инженера. Хорошие отправные точки для проверки: MITRE T1098.004 — SSH Authorized Keys, T1053.006 — Systemd Timers и T1098.006 — Kubernetes Roles. Нормальные функции инфраструктуры становятся проблемой, когда теряется контроль над тем, кто и зачем их включил.

Чем один доступ на build runner грозит бизнесу

Вопрос не в том, что кто-то прочитает /etc/passwd. Вопрос — до чего этот сервер может дотянуться дальше. При определённом уровне привилегий неавторизованный оператор теоретически способен сделать pivoting:

К чему есть доступ Возможный сценарий Последствия для бизнеса
Production DB или snapshots Выгрузка клиентских данных / интеллектуальной собственности Уведомления об утечке, юридические и репутационные потери
CI/CD runner и deploy secrets Подмена артефактов сборки, выпуск изменённого продукта Supply-chain incident, компрометация релизов
Cloud IAM и service identities Изменение прав, отключение журналов, управление ресурсами Потеря контроля, простой, неожиданные расходы
Backups / DR permissions Уничтожение или порча резервных копий Увеличение RTO, сложное или невозможное восстановление
DNS, ingress, registry, signing Перенаправление трафика, публикация неподписанных или чужих артефактов Ущерб клиентам, нарушение целостности продукта
Monitoring / alerting Подмена событий или отключение алертов Позднее обнаружение и недостоверная timeline

Это гипотетические варианты blast radius, не результаты NDA-расследования. Но именно из-за них маленький неизвестный сервис на невзрачной Linux-машине может быть куда серьезнее, чем очередная новая CVE со средним CVSS или лютейшая с critical rate 9.0.

Кстати, GitHub отдельно предупреждает о рисках постоянных self-hosted runners: в отличие от чистой ephemeral VM, такой runner может сохранить последствия выполнения недоверенного build code. Для Product Security это уже часть цепочки доверия к релизам, а не просто хост из зоны ответственности DevOps.

2. Главная ошибка — сразу запускать сканеры и надеяться на быстрый результат

Я понимаю желание быстро поставить пять утилит, запустить на всех серверах, получить красивую HTML-таблицу и написать руководству: Security Check Completed. Но сначала нужно договориться о модели доверия.

Я задал бы себе три вопроса:

  1. Как выглядит весь scope? Если мы проверили 70 серверов, но ещё 12 никто не включил в inventory, отчёт почти бесполезен.
  2. Кому принадлежит канал проверки? Если старый администратор контролировал bastion, automation account или наш SSH-ключ, может ли сама процедура сбора evidence считаться независимой?
  3. Что мы успеем сохранить? Вход на сервер, установка софта, сброс ключей и перезапуск сервисов меняют состояние системы. Иногда это допустимо ради немедленного containment, иногда сначала нужно сделать snapshot и сохранить volatile artifacts.

Поэтому я строю временный investigation boundary: отдельная доверенная рабочая машина, новый санкционированный доступ, защищённое хранилище evidence, список ответственных и согласованный change freeze для критичных компонентов.

Если прямо сейчас есть признаки активного проникновения — containment важнее идеальной процедуры. Но если активного инцидента не видно, сначала фиксируем процессы, сетевые соединения, журналы и доступные snapshots. Не начинаем расследование с перезагрузки подозрительного хоста. Общий подход хорошо согласуется с NIST SP 800-61 Rev. 3.

Что я делаю в первые 60 минут после инцидента

Вместе с IT/Infrastructure и ответственным за incident response:

  • блокирую доступ бывшего сотрудника в IdP/SSO, VPN, bastion, Git, CI/CD, cloud, remote support;
  • отзываю связанные с ним active sessions, PAT, deploy keys, refresh tokens и другие credentials, к которым у него мог сохраниться доступ;
  • отдельно проверяю shared accounts и service identities — они часто переживают увольнение лучше любого человека;
  • ограничиваю административные endpoints, смотрю inbound и egress;
  • защищаю логи и резервные копии от изменений прежними привилегированными учётками;
  • подтверждаю независимый break-glass access, прежде чем отключать единственный работающий admin login.

Ротация секретов может положить production, поэтому делается осмысленно: scope, зависимости, порядок, rollback. В острых случаях доступ перекрываем сразу, но не превращаем emergency response в неконтролируемое разрушение собственной инфраструктуры.

Evidence: сначала сохранить историю, потом делать выводы

Я бы с самого начала вёл короткий evidence & decision log. Да, скучная бюрократия. Но без неё через неделю никто не сможет объяснить, что именно мы наблюдали, какие данные уже поменяли своими действиями и почему решили пересоздавать конкретный сервер.

  • ID расследования, согласованный scope, уполномоченные люди и статус: профилактическая проверка после увольнения или подтверждённый incident response.
  • Время сбора по UTC и погрешность часов источника, версия и хэш collector, investigator identity, путь подключения, ID облачного ресурса.
  • Способ получения: live SSH, trusted snapshot, старый EDR, независимые cloud/audit logs. Неудачные и неполные попытки фиксируем так же внимательно.
  • Куда помещён оригинал, SHA-256 собранных данных, контроль доступа и цепочка дальнейших операций. Хэш помогает заметить последующее изменение файла, но не доказывает достоверность информации на источнике.
  • Какие containment-изменения пришлось сделать до preservation (отзыв токена, изоляция сети), с причиной и ответственным.

Если у потенциального нарушителя был root, выводы ps, ss, find, package manager и локального security agent могут быть подменены. Поэтому SSH collector — первичная разведка, а не независимое доказательство чистоты. Ему нужны внешние точки опоры: журналы облака и SSO, уже накопленные EDR-события, защищённые backups, золотые образы, подписанные артефакты и история изменений. Для юридически чувствительных кейсов нужен полноценный DFIR-процесс с квалифицированной командой, а не только мой AppSec runbook.

И ещё: искать исключительно файлы, изменённые «за последние семь дней», недостаточно. Закладка может быть гораздо старше. А timestamps можно легко изменить ведь на то мы\они и хЭкеры. Timeline я строю от последнего независимо подтверждённого trusted state, а не от даты конфликта при увольнении. Это соответствует подходу NIST SP 800-61 Rev. 3 (апрель 2025): evidence, реакция и восстановление — части единого risk management.

3. Asset inventory — самая скучная и самая важная часть

Парк серверов — это не список IP-адресов, который кто-то когда-то сохранил в Excel. Я бы свел вместе cloud inventory, гипервизор, Terraform/IaC, CMDB, Ansible/SSH inventory, Kubernetes nodes, self-hosted runners, DNS и журналы развёртывания. Это уже field для ресерча.

Минимальная карточка: asset_id, hostname, environment, role, owner, criticality, external_exposure, collection_status, last_seen.

Дальше обязательно распределить машины по состоянию:

Категория Что означает Что делать
In scope / collected Evidence получены Анализировать и указывать confidence
In scope / unreachable Хост есть, но проверить не удалось Unknown, искать альтернативный путь
Shadow asset Нашли вне inventory Установить владельца, приоритизировать
Ephemeral / terminated Хост уже исчез Смотреть облачные и orchestration audit logs
Explicitly out of scope Исключён из проверки Записать причину и того, кто согласовал

Я отдельно считаю coverage, а не только «количество обнаруженных угроз». Например, если мы собрали артефакты с 58 машин из 64, то coverage = 90,6%. Оставшиеся шесть — это не зелёные хосты. Это шесть вопросов без ответа.

4. Выбираем software: Open Source, коммерческие решения и здравый смысл

Сразу скажу: какого-то одного волшебного сканера, который гарантированно найдёт все backdoors, нет. А если кто-то продает такой — лично я бы начал с threat modeling этого обещания. :) Ну, вы понимаете к чему я))

Мне нужен набор разных источников evidence. И он вполне может обойтись без дорогой закупки.

Инструмент Лицензия / модель Для чего полезен Ограничения
OpenSSH + небольшой collector Бесплатно, без установки агента Экспресс-сбор с десятков хостов Зависит от SSH и доверия к локальным утилитам
Velociraptor Open Source DFIR, VQL, артефакты, fleet-wide Hunts Развёртывание и сбор влияют на endpoints, требуют планирования
osquery + Fleet Open Source engine; у Fleet есть free/paid возможности SQL-запросы, inventory, drift detection Ограничен телеметрией ОС и возможностями конкретной версии
Wazuh Open Source, агентный подход FIM, конфигурации, долгосрочные события Если baseline снят уже после компрометации, он не становится доверенным автоматически
YARA Open Source Поиск IoC / известных семейств в отдельных файлах и образцах Match — сигнал; no match — не оправдательный приговор
Lynis / chkrootkit / rkhunter Free / Open Source Дополнительный audit и known rootkit checks Много шума, blind spots, не полноценная форензика
Sandfly Security Коммерческий, agentless по SSH Специализированный Linux threat hunting Лицензия, SSH-доступ, ограничения видимости с хоста
CrowdStrike / SentinelOne / Elastic Security Коммерческие / смешанные модели EDR telemetry, historical hunting, response Сильно зависит от покрытия и retention

При срочной проверке моим базовым решением было бы:

Parallel SSH triage → сравнение аномалий → Velociraptor / osquery → выборочный integrity + YARA → CI/CD и cloud-control-plane review → risk decision.

Причём ставить новый агент на каждый Linux-сервер я бы не спешил. Если уже есть работающий EDR — используем его. Если нет — начинаем с более лёгких способов сбора и точечно расширяем исследование.

Документация: Velociraptor Hunts, Deployment, Fleet API, Wazuh FIM, Sandfly Linux IR.

Что ещё добавить в toolbox, а что не стоит переоценивать

AIDE полезен для file-integrity drift, если эталон был создан до инцидента и хранится независимо от проверяемой машины. Falco или Tracee дают runtime-сигналы; например, Tracee использует eBPF. Но установленный сегодня sensor не восстановит события, которые никто не записывал вчера. И внедрять привилегированное наблюдение на подозрительном ядре без preservation — отдельный риск.

Sandfly здесь заслуживает самостоятельного внимания. По официальной документации это agentless Linux detection / response через SSH, с проверками компрометации и сбором forensic evidence. В релизе от июня 2026 года появились дополнительные response-возможности. При первичной проверке я не включал бы действия удаления или остановки процессов без согласования. И agentless не означает, что сервер вообще не затрагивается или что он не способен ввести сканер в заблуждение.

Я бы выбирал инструмент под вопрос:

Что хочу понять Начальный метод Углублённый метод
Какие машины, учётки, сервисы существуют? SSH collector / существующий osquery Velociraptor, alternate acquisition
Что отклонилось от trusted baseline? Approved changes, IaC, старые inventory Защищённая AIDE/FIM-история, trusted images
Идёт ли подозрительная активность сейчас? EDR, процессы/сеть, cloud logs Controlled runtime sensor / DFIR acquisition
Совпадает ли файл с известным IoC? YARA по проверенным sample files Форензика и верифицированная threat intelligence
Кто сможет менять следующий релиз? Git/CI/CD/IAM/registry review Re-enroll runners, rotate creds, trusted builds

Особенно важно: chkrootkit, rkhunter и Lynis не выдают сертификат «система безопасна». Даже мануал Debian по debsums прямо отмечает его ограниченную пригодность как security-инструмента.

Как установить и запустить инструменты, не испортив расследование

Для первого прохода на подозрительные серверы ставить ничего не нужно. Python 3 и OpenSSH находятся на доверенной operator machine, Bash collector передаётся в уже разрешённую SSH-сессию. Сначала тестируем на одной некритичной и репрезентативной Linux-машине, затем повышаем parallelism.

Для дополнительных targeted checks я бы подготовил отдельную доверенную Ubuntu/Debian analysis VM. На неё можно поставить базовые инструменты:

# Только на чистой ANALYSIS VM, а не на сервере до preservation: sudo apt-get update sudo apt-get install --no-install-recommends yara lynis yara --version lynis --version 

debsums доступен как Debian/Ubuntu package, но устанавливать его прямо на потенциально скомпрометированный хост до preservation — значит менять evidence. Лучше использовать уже имеющиеся средства или отдельно согласованный acquisition. YARA запускаем по проверенным правилам и выбранным образцам, а не наугад по /. sudo lynis audit system полезен для hardening review на лабораторной или уже сохранённой системе; утилита создаёт отчётные файлы, поэтому я не включаю её в первый read-only проход.

Velociraptor: по official quickstart скачиваем проверенный релиз на отдельный сервер, сверяем артефакты, генерируем server config, ограничиваем GUI, настраиваем авторизованный Linux collection. В изолированной лаборатории допустим ./velociraptor gui, но это деморежим, не production-конфигурация. Для рабочей среды нужны корректные TLS/authentication и права доступа. После этого проверяем Linux artifacts на одном-двух узлах и лишь затем запускаем Hunt.

osquery/Fleet: устанавливаем поддерживаемые подписанные packages и enroll agents по документации Fleet, проверяем появление хоста в console, тестируем SQL query на одной системе, затем масштабируем. Локальный osqueryi подходит для отладки queries на машине, где он уже установлен. Wazuh: официальный Quickstart — для развёртывания server/indexer/dashboard на доверенном узле; FIM-agent и базовый baseline добавляем согласованно, желательно уже после острой стадии IR. Sandfly: лицензированная консоль, согласованный SSH access, сначала небольшой scope, затем остальные хосты.

Если EDR, Fleet, Wazuh или Velociraptor в компании уже работают — используем существующую систему.

5. Первый проход: массовый read-only triage

Для практического использования к архиву со статьями я приложил маленький toolkit:

linux_trust_after_devops_v2/ 01_EN_devto.md 02_RU_devto.md tools/ linux_triage_readonly.sh fleet_triage.py review_manifest.py hosts.example.txt examples/ example_findings.csv synthetic_evidence.txt templates/ executive_report_example.md risk_register_template.csv README.md 

Идея простая: на доверенной машине работает Python orchestrator, он по SSH параллельно запускает удалённый Bash-collector, читает результаты и складывает их локально. На целевые машины не копируется постоянный агент, не ставятся пакеты, не меняются политики, не перезапускаются сервисы. Для каждого хоста есть отдельный файл, SHA-256 digest и manifest со статусом.

Потребуются Python 3, OpenSSH, заранее проверенные host keys в known_hosts, санкционированный SSH-доступ и sudo -n на выполнение команд сбора. Не нужно ради удобства отключать StrictHostKeyChecking.

Пример inventory:

# tools/hosts.txt — замените на свои реальные разрешённые хосты ir-audit@build-01.example.internal ir-audit@app-stg-02.example.internal ir-audit@runner-03.example.internal 

Запускаем из корня распакованного архива:

python3 tools/fleet_triage.py \ --hosts tools/hosts.txt \ --out ./evidence-2026-11-13 \ --workers 6 \ --timeout 120 

Figure 05 — Fleet-Wide Security Triage, synthetic example

Результат: manifest.csv, manifest.sha256, файлы raw/<host>.txt. Ошибки подключения и тайм-ауты отдельно учитываются. После сбора можно выполнить python3 tools/review_manifest.py ./evidence-2026-11-13: это создаст отдельный offline quality-review CSV вне evidence-каталога. Он ищет пропуски, а не malware. Важная оговорка: это не memory acquisition и не forensic imaging. Это безопасный по замыслу экспресс-сбор, у которого есть ограничения, описанные в README.

А что внутри? Не магия, а вопросы к системе. Вот и погнали их ревьювить!

5.1 Identity & Access — начинаем с людей, ключей и полномочий

# Кто обладает UID 0? awk -F: '$3 == 0 {print $1 ":" $3}' /etc/passwd # Все локальные / доступные через NSS аккаунты getent passwd # Sudo include directory find /etc/sudoers.d -maxdepth 1 -type f -print 2>/dev/null # Эффективная конфигурация sshd (где поддерживается) sshd -T 2>/dev/null | grep -E \ '^(permitrootlogin|authorizedkeysfile|passwordauthentication|pubkeyauthentication) ' 

Проверяем SSH keys в реальных home directories пользователей, а не только /home/username. Нам нужны fingerprint, владелец, origin, наличие approved change. Учитываем AuthorizedKeysCommand, SSH certificates, authorized principals и возможные cloud-injected keys.

Не забываем: несанкционированный ключ опасен, но неизвестный комментарий в конце public key сам по себе ещё ничего не доказывает. И не надо складывать private keys или secrets в общедоступную Jira-задачу.

5.2 Persistence — где Linux запускает вещи без нашего участия

# Включённые systemd service/timer units systemctl list-unit-files --type=service,timer \ --state=enabled --no-pager # Запланированные timers systemctl list-timers --all --no-pager # Недавно изменённые unit files (только приоритизация) find /etc/systemd/system /usr/local/lib/systemd/system \ -type f -mtime -30 -print 2>/dev/null # Системные cron locations find /etc/cron.d /etc/cron.daily /etc/cron.hourly \ -maxdepth 2 -type f -print 2>/dev/null 

Дополнительно смотрим user crontabs, at, user-level systemd units, drop-ins, /etc/profile.d, shell startup, PAM и restart policies контейнеров.

И маленький нюанс: mtime за 30 дней — не граница компрометации. Даты можно поменять, а вредоносная конфигурация может жить годами. Используем фильтр, чтобы начать поиск, а не чтобы закончить его.

5.3 Runtime & Network — что слушает, куда соединяется и от чьего имени

ss -lntup # Listening sockets + process context ss -tanp # TCP connections ip route show # Routes nft list ruleset 2>/dev/null iptables-save 2>/dev/null 

Каждый неожиданный порт или outbound IP я сопоставляю с PID, binary path, owner, systemd unit, change history, service inventory и network flow logs. Reverse shell, запущенный периодически, вовсе не обязан светиться в тот момент, когда мы набрали ss.

Кстати, не начинаем с kill -9 по незнакомому PID: сначала evidence и понимание, что именно работает, если риск активного инцидента позволяет.

5.4 System integrity — что изменилось по сравнению с базой

# Debian/Ubuntu: если утилита уже установлена debsums -c 2>/dev/null # RHEL-подобные системы rpm -Va # Для конкретного suspicious file stat /path/to/suspect sha256sum /path/to/suspect 

Здесь очень легко получить ложное ощущение уверенности. Да, debsums сравнивает установленные package files с checksum-базой. Но Debian прямо пишет в man page, что как security tool он имеет ограниченную ценность. RPM тоже опирается на данные о пакетах, а не на магический внешний эталон.

Вывод: изменение бинарника — важный повод расследовать, но не автоматическое подтверждение rootkit. Отсутствие изменений — не доказательство доверия. Для сильного сравнения нужны verified images, подписанные артефакты, independent snapshots и package provenance.

С YARA я предпочитаю targeted scan, а не ковровую обработку / с полным чтением дисков и сетевых mount points:

# Только проверенные правила и санкционированный файл-образец yara --timeout=30 /opt/ir/rules/reviewed_rules.yar /opt/ir/samples/suspect_file 

Синтаксис — по официальному YARA CLI. Rule match ещё нужно валидировать. No match не означает отсутствие кастомного импланта.

Как может выглядеть evidence "левого присутсвия"

Синтетические примеры корреляции Linux-артефактов

Покажу NDA-очищенный мини-кейс. Только для понимания ситуации и того как действуем.

Сигнал A: service вроде легитимный, но происхождение непонятно.

$ systemctl list-unit-files --type=service | grep telemetry telemetry-bridge.service enabled enabled $ systemctl show telemetry-bridge.service \ -p FragmentPath -p DropInPaths -p User -p ExecStart FragmentPath=/etc/systemd/system/telemetry-bridge.service DropInPaths= User=svc-ci ExecStart={ path=/usr/local/bin/telemetry-bridge ; ... } $ systemctl cat telemetry-bridge.service # /etc/systemd/system/telemetry-bridge.service [Unit] Description=Telemetry bridge for build fleet [Service] User=svc-ci ExecStart=/usr/local/bin/telemetry-bridge --config /etc/telemetry/bridge.yaml Restart=always [Install] WantedBy=multi-user.target 

Пока здесь нет доказательств вредоносности. Это может быть обычный внутренний агент. Но в approved services catalog он отсутствует, в Terraform/IaC нет описания, а происхождение бинарника не подтверждено. Это unexplained deviation, а не «мы нашли malware».

Сигнал B: сетевое соединение, которое надо объяснить.

$ ss -tnp | grep 203.0.113.42 ESTAB 0 0 10.10.4.23:51862 203.0.113.42:443 users:(("telemetry-bridge",pid=2147,fd=11)) 

TLS на 443 может быть нормальной телеметрией. Проверяем владельца назначения, учётку процесса, логи unit, историю развёртывания и бизнес-назначение. Внешний IP сам по себе не означает C2.

Сигнал C: ключ, который мог пережить offboarding.

$ ssh-keygen -lf /home/svc-ci/.ssh/authorized_keys -E sha256 256 SHA256:7aQ2EXAMPLEsyntheticFingerprintNOTREAL ci-deploy (ED25519) 

Здесь fingerprint — фиктивная строка, а не вычисленный хэш реального ключа. Настоящий отпечаток мы сравнили бы с корпоративным реестром разрешённых ключей и журналами SSH. Один отсутствующий change ticket не равен диверсии. Но необъяснённый ключ + неизвестный сервис + исходящий трафик + доступ к deployment secrets — достаточная причина срочно расширять расследование.

Read-only команды для точечной проверки, если права и влияние на продакшен согласованы:

# Реальные свойства сервиса и его конфигурация (без restart/reload) systemctl show telemetry-bridge.service \ -p FragmentPath -p DropInPaths -p User -p ExecStart systemctl cat telemetry-bridge.service # Ограниченная временная выборка из journal (retention зависит от ОС) journalctl --utc --no-pager -u telemetry-bridge.service \ --since '2026-11-01 00:00:00' --until '2026-11-13 23:59:59' # Эффективный SSH policy с учётом гипотетического Match-контекста sshd -T -C user=svc-ci,host=reviewer.example.internal,addr=192.0.2.44 \ | grep -E '^(authorizedkeysfile|authorizedkeyscommand|permitrootlogin|pubkeyauthentication) ' # На доверенной машине, из каталога evidence (cd ./evidence-2026-11-13 && sha256sum -c manifest.sha256) 

sshd -T без -C может не показать влияние Match blocks; здесь host и addr обозначают подключающегося клиента, а не сам сервер; это подтверждает мануал OpenSSH. Локальные логи и утилиты на потенциально скомпрометированном сервере нельзя считать неоспоримыми. Их нужно сопоставлять с forwarded logs, историей CI и control-plane events.

И помним об ограничениях single snapshot: периодический timer сейчас может не работать, user-level systemd может быть выключен, socket activation не обязана выглядеть как активный процесс, а секрет в cloud IAM вообще не отобразится на диске. Поэтому несколько независимых проходов, а не вера в один снимок.

6. Второй проход а найти отклонения, а не читать все логи подряд

Массовый сбор — лишь половина работы. Иначе я просто превращу один большой список серверов в 100 больших TXT-файлов. Спасибо, конечно, но мне нужен ответ.

Поэтому делим хосты на cohorts: CI runners, app nodes, database nodes, production/staging, family ОС, версия image и т.д. После этого смотрим cross-host deviations: необычный UID 0, новый SSH fingerprint, уникальный service/timer, нестандартный listener, непонятный sudo rule.

Нельзя сравнивать PostgreSQL-сервер и build runner как два одинаковых хоста. Иначе аномалий будет столько, что расследование превратится в конкурс на самую красивую таблицу.

Если в инфраструктуре есть osquery, через osqueryi или Fleet можно выполнить:

SELECT username, uid, gid, directory, shell FROM users WHERE uid = 0; SELECT pid, port, protocol, address FROM listening_ports; SELECT pid, name, path, cmdline FROM processes; 

Уточняем схемы tables под вашу версию и платформу; query results зависят от прав, включённой телеметрии, доступности хостов и настроек Fleet. Это не универсальная машина времени, которая видит все предыдущие события.

Для deeper collection использую концепцию Velociraptor Hunts: тестирую Linux-oriented artifacts на одном-двух эталонных хостах, запускаю их на выбранной группе, анализирую consolidated results и дополнительно собираю evidence с outliers. В частности, полезны user/SSH/systemd/cron/process/network artifacts и выборочный collection подозрительных файлов. Не нужно собирать гигабайтные дампы со всех машин без понятной цели и storage plan.

Наиболее убедительная находка — это не просто странная строка, а пересечение нескольких независимых сигналов:

Неожиданный SSH key + Неизвестный systemd service + Непривычный outbound connection + Нет change request / IaC explanation + Доступ к CI/CD или cloud credentials | v Priority: investigate and contain 

Ни один из элементов по отдельности не гарантирует компрометации. В совокупности они формируют attack story.

Небольшой osquery hunt: как находить outliers в масштабе

Если osquery уже работает в окружении, можно использовать такие запросы. Они опираются на опубликованные upstream schemas; перед запуском на всём fleet проверьте доступность таблиц и имена колонок для своей версии через .schema в osqueryi.

-- UID 0: проверить владельцев, но не объявлять их атакующими SELECT username, uid, directory, shell FROM users WHERE uid = 0; -- Linux systemd: сравнивать хосты с одинаковой ролью и образом SELECT id, unit_file_state, active_state, fragment_path, user FROM systemd_units WHERE unit_file_state = 'enabled'; -- Cron: что выполняется, откуда взялось правило SELECT path, command, minute, hour, day_of_week FROM crontab; -- Сетевые listeners + процесс (одноразовый snapshot) SELECT l.address, l.port, l.protocol, p.pid, p.name, p.path, p.cmdline FROM listening_ports AS l LEFT JOIN processes AS p ON l.pid = p.pid; 

Документация по полям: systemd_units, crontab, listening_ports. Не все таблицы доступны на всех ОС, а live query не создаёт задним числом историческую телеметрию.

Сравниваю не «все серверы со всеми», а одинаковые роли, версии образов, environment и release cohort. Если из шести build runners пять имеют три custom units, а шестой четыре, — это повод проверить шестой. Не повод автоматически объявить его заражённым.

7. Linux-хосты — только половина всей е###й картины

Радиус влияния через CI/CD и контрольную плоскость

Допустим, проверили машины. Никаких подтверждённых backdoors. Можно расслабиться? Нет. Потому что DevOps часто управляет не только серверами, но и путём поставки кода на эти серверы.

Представьте, что в GitLab остался deploy key, в CI — runner неизвестного происхождения, в cloud IAM — роль с внешним trust relationship, в Kubernetes — ClusterRoleBinding, а в registry — credential с write access. Человеку уже не нужен shell на Linux: достаточно возможности повлиять на то, что запустится при следующем deployment.

Поэтому проверяем не только host plane, но и control plane:

Source:https://dev.to/ivan-piskunov/devops-ushiel-so-skandalom-riesierch-bekdorov-i-remote-shell-threat-hunting-ghlazami-appsec-48ln