Детекция дубликатов
Алгоритм на хэше ключевых полей находит полные и частичные повторы. За последние сутки модуль удалил 1,2 млн дублей из потока событий.
Как это устроено →Продукт · модули · v3.2
От конструктора регулярных выражений до системы алертов — Regexly закрывает весь путь от сырой строки до проверяемого вывода. Ниже — детальный разбор каждого инструмента.
Модуль 01
§ 01 · Подсказки
Автодополнение по базе из 42 шаблонов. Каждое выражение проверяется на исходных данных до применения.
Писать regex «вслепую» — риск пропустить целые классы записей. Конструктор Regexly подсказывает фрагменты на ходу, показывает, сколько строк из текущего потока выражение уже захватывает, и предупреждает, если паттерн потенциально может вызвать катастрофическое замедление.
Каждое выражение должно доказывать свою точность на реальных данных.
Внутри конструктора есть три режима: быстрый (по готовым шаблонам), экспертный (свой синтаксис с подсветкой групп) и сравнительный — два выражения бок о бок, чтобы увидеть, какие строки они дают и какие теряют. Все наборы правил сохраняются в библиотеку команды и переиспользуются между пайплайнами.
Для сложных случаев — предпросмотр на выборке до 10 000 строк с указанием процента совпадений и примеров пропущенных записей. Так вы видите не «работает», а «работает на 97,4% и вот что осталось».
Модуль 02
Автоматическая нормализация, удаление дубликатов и изоляция выбросов — до того, как данные попадут в любой расчёт.
Алгоритм на хэше ключевых полей находит полные и частичные повторы. За последние сутки модуль удалил 1,2 млн дублей из потока событий.
Как это устроено →Статистические пороги по каждому числовому полю отделяют аномальные значения. Выбросы не удаляются — помечаются и уходят в отдельный отчёт для проверки.
Правила порогов →Null и пустые значения обрабатываются по стратегии, которую вы задаёте: среднее, мода, константа или явный флаг «пропуск». Каждая стратегия фиксируется в метаданных отчёта.
Стратегии заполнения →Модуль 03
§ 03 · Честная графика
Каждый график несёт период, источник и погрешность. Никаких «примерно» без указания доверительного интервала.
Паттерны в потоке данных часто не видны в агрегированных метриках. Визуализатор Regexly строит тепловые карты частоты, временные ряды с наложенными скользящими средними и диаграммы распределения по кластерам — и всё это обновляется по мере поступления новых строк.
График, который не отвечает на вопрос, не попадает в отчёт.
Каждый визуальный элемент можно «проткнуть» до исходных записей: клик по точке на графике открывает список строк, из которых она посчитана. Это позволяет проверить вывод за минуту и защитить его перед командой без пересборки данных.
Для сравнения периодов есть наложение двух временных рядов с автоматическим расчётом дельты и указанием, где отклонение статистически значимо, а где — шум. Порог значимости настраивается от 90% до 99,9%.
Модуль 04
Любой результат Regexly можно выгрузить как исполняемый код — и продолжить работу в привычной среде.
Regexly собирает запросы для PostgreSQL, ClickHouse и Snowflake. Включая CTE, оконные функции и корректную цитирование идентификаторов. Код готов к вставке в CI/CD.
Синтаксис →Экспорт в pandas-операции или чистый Python с библиотекой re. Каждый скрипт несёт комментарии о том, какие шаги пайплайна он повторяет, и проверяется на выборке перед выдачей.
Примеры скриптов →Классические форматы для отчётов и рассылки. В PDF сохраняются ссылки на исходные записи и метаданные: дата формирования, источник, применённые правила очистки.
Шаблон отчёта →Модуль 05
120+ коннекторов из коробки. Нестандартные источники — через SDK и REST API. Первый отчёт готов в течение 24 часов.
Прямое подключение к PostgreSQL, MySQL, ClickHouse, Oracle и Snowflake. Инкрементальная выгрузка по timestamp — без полных дампов и нагрузки на продакшн.
Готовые интеграции с CRM, платёжными шлюзами и логистическими системами. OAuth, API-ключи и mTLS — на выбор. Для нестандартных эндпоинтов — визуальный конструктор запросов.
Поддержка S3, GCS, Azure Blob и локальных NFS. Автоматическое обнаружение новых файлов по маске, парсинг JSONL, CSV, Parquet и Avro без ручной настройки схем.
Потребление из Kafka, Pulsar и AWS Kinesis в реальном времени. Регулярные выражения применяются к потоку на лету — задержка от события до отчёта составляет менее 90 секунд.
Модуль 06
Пороги, расписания и эскалации — чтобы отклонение в данных не оставалось незамеченным. Два алерта активно работают прямо сейчас.
Установите порог по любой метрике — и Regexly сообщит при пересечении. Поддержка скользящих окон, процента от предыдущего периода и абсолютных значений.
Настройка порогов →Slack, Telegram, Email, PagerDuty и Webhook. Каждый алерт несёт контекст: какие строки затронуты, какой модуль сработал и ссылка на полный отчёт в Regexly.
Каналы →Отдельная панель здоровья: задержка обработки, процент отклонений, количество изолированных выбросов. Если пайплайн «заснул» — алерт уйдёт в течение 60 секунд.
Дашборд здоровья →Модули в цифрах
Демо · 14 дней · без карты
Подключите один источник — и через несколько часов получите первый строгий отчёт, сгенерированный конструктором, очищенный и проалертенный.
Работаем в ЕС и РФ · ISO 27001 · шифрование данных в покое и при передаче