Консолидация данных. Функциональная схема.

    Функциональная схема системы Консолидации данных

        Ниже представлена функциональная схема, некоторой, условной системы консолидации данных. Описано назначение основных подсистем. Приведена примерная структура и связи объектов.

    1. Отчет КД

        Отчет КД - центральный объект системы. Отчет это результат деятельности всех подсистем консолидации данных. Отчет получает подготовленные данные из регистра. В дальнейшем выполняется логика самого отчета по представлению данных пользователю. Пользователь имеет возможность управлять структурой и отборами в отчете. А также сохранять варианты настроек как для себя так и других пользователей. 

    • Настройка отчета

        Настройки отчета основная подсистема определяющая поведение отчета. Определяет порядок получения данных, структуру хранения для отчета и т.д.

    • Параметры

    Список параметров при помощи которых будет производиться выборка данных.

    • Источники

        Источники - так называемый периметр данных, определяют состав узлов получения данных для отчета.

    • Настройка заданий

        Настройка отчета имеет возможность получать данных по расписанию. Для этого есть настройка регламентного задания.

    • Алгоритмы

    Алгоритмы предназначены для подготовки данных. Могут применяться для дополнения или очистки данных.

    • Структура данных

    Структура данных хранит названия и тип полей отчета, а также условия их агрегации и пр. настройки.

    1. Данные

    Хранилище данных реализовано в виде регистров.

    • Хранение данных

    Используется трех ступенчатая структура хранения данных. Такая структура выбрана не случайно - цель обеспечение максимальной производительности системы по извлечению данных.

    • Обработка данных

        Перед загрузкой данные предварительно обрабатываются алгоритмами, выполняется процесс нормализации. Выполняются алгоритмы обработки данных по консолидации и агрегации.

    • Регламентные задания

        Регламентные задания по получению данных настраиваются в настройке отчета. Регламентное задание создает пакет сообщений по параметрам настройки, причем параметры могут вычисляться по произвольной формуле.

    • Получение данных

    При получении данных от источника производиться входной контроль структуры сообщения. Контролируется код ответа, ошибки выполнения. Если ошибок нет, первичные данные сохраняются в системе для последующей обработки.

    1. Глобальные параметры

    Настройки на уровне системы в целом, определяющие функциональность.

    • Общие настройки

        Настройки определяющие режим работы и порядок действий консолидации данных.

    1. Общие подсистемы

    Системообразующие модули служебного назначения.

    • Диагностика подключений

    Роль подсистемы диагностики подключений - определить доступность узлов до начала взаимодействия по отправке пакетов. Информирование пользователя, администратора системы о неполадках подключений или отсутствие ответов от источников, для принятия мер.

    • Системные отчеты

    Системные отчеты предназначены для отображения статистики по сообщениям, подключениям, доступности узлов и пр.

    • Многопоточное получение данных

        Многопоточная реализация механизма отправки и получения данных обязательная подсистема. Она позволяет ускорить сбор данных источников, максимально задействовать ресурсы оборудования. Состоит из двух частей.

    • Управляющее ФЗ

    Регламентное фоновое задание реализующее подготовку потоков для отправки сообщений.

    • Рабочее ФЗ

        Рабочее фоновое задание состоит из нескольких потоков. Параметры потоков задаются в общих настройках системы.

    • Служебные обработки

        Служебные обработки позволяют проводить обслуживание системы. Например, групповое создание сообщений для получения данных отчетов по всем источникам за текущий или предыдущий год.