Функциональная схема системы Консолидации данных
Ниже представлена функциональная схема, некоторой, условной системы консолидации данных. Описано назначение основных подсистем. Приведена примерная структура и связи объектов.
Отчет КД - центральный объект системы. Отчет это результат деятельности всех подсистем консолидации данных. Отчет получает подготовленные данные из регистра. В дальнейшем выполняется логика самого отчета по представлению данных пользователю. Пользователь имеет возможность управлять структурой и отборами в отчете. А также сохранять варианты настроек как для себя так и других пользователей.
Настройки отчета основная подсистема определяющая поведение отчета. Определяет порядок получения данных, структуру хранения для отчета и т.д.
Список параметров при помощи которых будет производиться выборка данных.
Источники - так называемый периметр данных, определяют состав узлов получения данных для отчета.
Настройка отчета имеет возможность получать данных по расписанию. Для этого есть настройка регламентного задания.
Алгоритмы предназначены для подготовки данных. Могут применяться для дополнения или очистки данных.
Структура данных хранит названия и тип полей отчета, а также условия их агрегации и пр. настройки.
Хранилище данных реализовано в виде регистров.
Используется трех ступенчатая структура хранения данных. Такая структура выбрана не случайно - цель обеспечение максимальной производительности системы по извлечению данных.
Перед загрузкой данные предварительно обрабатываются алгоритмами, выполняется процесс нормализации. Выполняются алгоритмы обработки данных по консолидации и агрегации.
Регламентные задания по получению данных настраиваются в настройке отчета. Регламентное задание создает пакет сообщений по параметрам настройки, причем параметры могут вычисляться по произвольной формуле.
При получении данных от источника производиться входной контроль структуры сообщения. Контролируется код ответа, ошибки выполнения. Если ошибок нет, первичные данные сохраняются в системе для последующей обработки.
Настройки на уровне системы в целом, определяющие функциональность.
Настройки определяющие режим работы и порядок действий консолидации данных.
Системообразующие модули служебного назначения.
Роль подсистемы диагностики подключений - определить доступность узлов до начала взаимодействия по отправке пакетов. Информирование пользователя, администратора системы о неполадках подключений или отсутствие ответов от источников, для принятия мер.
Системные отчеты предназначены для отображения статистики по сообщениям, подключениям, доступности узлов и пр.
Многопоточная реализация механизма отправки и получения данных обязательная подсистема. Она позволяет ускорить сбор данных источников, максимально задействовать ресурсы оборудования. Состоит из двух частей.
Регламентное фоновое задание реализующее подготовку потоков для отправки сообщений.
Рабочее фоновое задание состоит из нескольких потоков. Параметры потоков задаются в общих настройках системы.
Служебные обработки позволяют проводить обслуживание системы. Например, групповое создание сообщений для получения данных отчетов по всем источникам за текущий или предыдущий год.