Консолидация данных. Функциональная схема.

Функциональная схема системы Консолидации данных

    Ниже представлена функциональная схема, некоторой, условной системы консолидации данных. Описано назначение основных подсистем. Приведена примерная структура и связи объектов.

  1. Отчет КД

    Отчет КД - центральный объект системы. Отчет это результат деятельности всех подсистем консолидации данных. Отчет получает подготовленные данные из регистра. В дальнейшем выполняется логика самого отчета по представлению данных пользователю. Пользователь имеет возможность управлять структурой и отборами в отчете. А также сохранять варианты настроек как для себя так и других пользователей. 

  • Настройка отчета

    Настройки отчета основная подсистема определяющая поведение отчета. Определяет порядок получения данных, структуру хранения для отчета и т.д.

  • Параметры

Список параметров при помощи которых будет производиться выборка данных.

  • Источники

    Источники - так называемый периметр данных, определяют состав узлов получения данных для отчета.

  • Настройка заданий

    Настройка отчета имеет возможность получать данных по расписанию. Для этого есть настройка регламентного задания.

  • Алгоритмы

Алгоритмы предназначены для подготовки данных. Могут применяться для дополнения или очистки данных.

  • Структура данных

Структура данных хранит названия и тип полей отчета, а также условия их агрегации и пр. настройки.

  1. Данные

Хранилище данных реализовано в виде регистров.

  • Хранение данных

Используется трех ступенчатая структура хранения данных. Такая структура выбрана не случайно - цель обеспечение максимальной производительности системы по извлечению данных.

  • Обработка данных

    Перед загрузкой данные предварительно обрабатываются алгоритмами, выполняется процесс нормализации. Выполняются алгоритмы обработки данных по консолидации и агрегации.

  • Регламентные задания

    Регламентные задания по получению данных настраиваются в настройке отчета. Регламентное задание создает пакет сообщений по параметрам настройки, причем параметры могут вычисляться по произвольной формуле.

  • Получение данных

При получении данных от источника производиться входной контроль структуры сообщения. Контролируется код ответа, ошибки выполнения. Если ошибок нет, первичные данные сохраняются в системе для последующей обработки.

  1. Глобальные параметры

Настройки на уровне системы в целом, определяющие функциональность.

  • Общие настройки

    Настройки определяющие режим работы и порядок действий консолидации данных.

  1. Общие подсистемы

Системообразующие модули служебного назначения.

  • Диагностика подключений

Роль подсистемы диагностики подключений - определить доступность узлов до начала взаимодействия по отправке пакетов. Информирование пользователя, администратора системы о неполадках подключений или отсутствие ответов от источников, для принятия мер.

  • Системные отчеты

Системные отчеты предназначены для отображения статистики по сообщениям, подключениям, доступности узлов и пр.

  • Многопоточное получение данных

    Многопоточная реализация механизма отправки и получения данных обязательная подсистема. Она позволяет ускорить сбор данных источников, максимально задействовать ресурсы оборудования. Состоит из двух частей.

  • Управляющее ФЗ

Регламентное фоновое задание реализующее подготовку потоков для отправки сообщений.

  • Рабочее ФЗ

    Рабочее фоновое задание состоит из нескольких потоков. Параметры потоков задаются в общих настройках системы.

  • Служебные обработки

    Служебные обработки позволяют проводить обслуживание системы. Например, групповое создание сообщений для получения данных отчетов по всем источникам за текущий или предыдущий год.