Проекты с замерами
Что сделали, как мерили и что вышло. У каждого числа есть выборка и дата.
RAG-поиск по базе знаний для ИИ-агентов: гибридный поиск, MCP и замер качества
Гибридный RAG-поиск (BM25, векторный поиск и реранкер) по корпоративной базе знаний примерно из 5 300 документов: ИИ-агенты ищут через MCP-сервер, все компоненты поиска работают на локальном оборудовании. Мы построили замер качества поиска на контрольных вопросах, убрали четыре молчаливых дефекта, сверили устройство с практикой по 102 источникам и проверили контекст фрагментов по правилу, записанному до прогона.
Аудит алертинга Grafana: 16 из 209 правил не могли сработать
Проверили не «горит ли алерт», а «может ли он загореться вообще». Для каждого из 209 правил посчитали серии запроса через источник данных самого правила и проверили базовую метрику без порогов. Сломанных слепых правил оказалось 16; все закрыты, а с 22.09 ежедневный сторож отличает «ноль по замыслу» от правила-сироты.
Полнота данных: сбор, который сам сообщает о недоборе
Система аналитики рынка собирает открытые данные о закупках и вакансиях. Аудит показал: частичный сбор нигде не превращался в отказ, а у сборщика карточек не было даже знаменателя. Мы добавили знаменатель, второй проход и вердикт «собрано полностью», а строгость включили только там, где замер недобора дал ноль.