Визуализация больших данных

Визуализация больших данных

Корж Оксана Васильевна

Москва – 2013

Московский Государственный Университет им. М.В.Ломоносова

Факультет Вычислительной Математики и Кибернетики

2

План лекции

• Эволюция задачи визуализации данных

• Методы научной визуализации

• Визуализация на массивно-параллельных

вычислительных комплексах

• Обзор существующих библиотек визуализации

• Система визуализации VisIt

• Примеры объемного построения изображений

3

Эволюция задачи визуализации

данных

4

Задача визуализации данных

Задача визуализации данных при крупномасштабном эксперименте

5


• Визуализация данных - процесс получения изображения по данным с помощью компьютерной программы


6



• Визуализация данных - это наглядное представление

больших массивов числовой и другой информации, которое представляется возможным благодаря использованию компьютерной графики


7





• Визуализация - инструмент для быстрого и

эффективного анализа информации


8






эффективного анализа информации • Визуализация - способ сокращения размерности данных

при крупномасштабном эксперименте


9






эффективного анализа информации • Визуализация - способ сокращения размерности данных

при крупномасштабном эксперименте • Визуализация - инструмент для наглядного

представления и презентации полученных результатов


10

Зачем нужна визуализация?

• Анализируемые данные имеют слишком

сложную структуру

• Слишком большой объем данных не позволяет

анализировать их в текстовом виде

• Затруднено применение количественных

методов анализа

• Стимулирование восприятия: распознавание

образов(ассоциации), выделение трендов


11

http://www.visual-literacy.org/periodic_table/periodic_table.html

12

Самый простой способ

визуализации?

13



• Построение графиков и диаграмм

14



• Построение графиков и диаграмм

15

Построение поверхностей

• Построение поверхностей (Matlab)

16

Усложним задачу

• Данные многомерные

• Сложная, неоднородная структура данных

• Данные получены в результате

моделирования на многопроцессорном

комплексе

• Размер данных – 200 Гб

17

Усложним задачу

• Данные многомерные

• Сложная, неоднородная структура данных

• Данные получены в результате моделирования на многопроцессорном комплексе

• Размер данных – 200 Гб

Использование специализированных систем визуализации

18

Примеры

19

Примеры

20

Примеры

21

Примеры

22

Проекционные стены

23

The CAVE

24

The CAVE

25

Дополненная реальность

26

Дополненная реальность

27

Методы научной визуализации

• Материалы данного раздела подготовлены по материалам сайта http://www.bu.edu/tech/research/training/tutorials

28


• Для отображения значений на срезе используется метод проекции значений на цветовую палитру (псевдо раскраска): различные цвета присваиваются различным значениям функции в диапазоне. Цвета могут быть интерполированы между исходными значениями.

Срез

29


Несколько срезов

30


Регионы интереса

31


Регион интереса

32


Изоповерхности. Простая поверхность

33


Изоповерхности: поверхность в комбинации со срезами

34


Изоповерхности: изоповерхность в комбинации с объемом

35


Изоповерхности: цвет изоповерхности равен цвету значения на срезе

36


Изоповерхности: полупрозрачная изоповерхность

37


Изоповерхности: полупрозрачность в комбинации с заполнением цвета

38


Изоповерхности: несколько изоповерхностей

39


Изоповерхности: комбинация со срезом.

40


Изоповерхности: два параметра

41


Глифы: каждая точка представлена сферой соответствующего цвета

42


Глифы: уменьшенное количество точек (случайное прореживание)

43


Глифы: сферы меньшего диаметра

44


Объемная визуализация

45


Объемная визуализация и срезы

46


Глифы: если в значении вектора – показывает это стрелками

47


Вектора+изоповерхность

48


Вектора не в каждой точке

49


Вектора не в каждой точке

50


Поток

51


Поток

52


Изображение перегружено

53


Линии тока

54


Линии тока в цвет значений

55


Вместо линий более толстые «трубки»

56


«трубки» срезы

57


«трубки»+несколько изоповерхностей

58


Глифы: стрелки вдоль линий

59


Стрелки и горизонтальный срез

60


«ленты»

61


«ленты» и срезы

62


Объемная визуализация и срезы

63

Визуализация на массивно-

параллельных вычислительных

комплексах

64

Визуализация для МПВС Подходы к организации процесса визуализации на МПВС

Сбор и накопление

данных в процессе

расчета

Организация

хранения и передача

данных на машину

пользователя

Отображение

данных на

локальном дисплее

Аппаратная конфигурация современных многопроцессорных вычислительных комплексов включает в себя три основные составляющие: вычислительные узлы, сервисные (интерфейсные) модули, локальные машины пользователя, к которым подключены дисплейные устройства.

В общей схеме процесса визуального анализа результатов научных вычислений, проводимых на МВС, можно выделить три основных шага:

Визуализация на МПВС

Системы визуализации: обзор архитектуры системы

Вычислительные

узлы

- Счет данных

- 2D видео рендеринг

- 3D и стерео видео рендеринг

- Multi screen видео рендеринг

PC workstation front-end

- Постобработка видео

- Сжатие видео

- Передача видео на

машину пользователя

Внешние источники данных

Обычный дисплей

- Интерфейс

- Декодирование видео

- Масштабирование для

разрешения конкретного

дисплея

- Отображение на

дисплей

Дисплеи

3D дисплей

Multi screen

66

Визуализация для МВС Сценарии работы системы визуализации на МВС


узлы

Интерфейсная

машина

Локальная

машина

визуализация

67



узлы


машина

Локальная

машина



узлы


машина

Локальная

машина


68



узлы


машина

Локальная

машина



узлы


машина

Локальная

машина



узлы


машина

Локальная

машина


69


GPU


узлы


машина


Локальная

машина

70


GPU


узлы


машина


Локальная

машина


узлы


машина

Локальная

машина


Представление данных

Трансформация данных в системе визуализации

Входные данные

Промежуточное

представление

Выходные

данные

Преобразование в

набор объектов

Построение

изображения

Стандартные

форматы для

научных данных:

массивы,

.netcdf

.cube

.pdb

…

Сцена, включающая

в себя набор

объектов,

представляющих

входные данные

Стандартные форматы для

изображений и видео:


2D видео

стерео видео

мульвидовое видео

мультидисплейное видео

…

72

Функциональная схема системы визуализации для МВС

Функциональная схема

Вычислительные узлыИнтерфейсная машинаЛокальная машина

Запуск визуализации в

режиме постобработки

Загрузка данных из

файла,

распределение по

вычислительным

узлам

Построение


Постобработка,

кодирование

видеопотока

Декодирование,

отображение

видео

Передача файла

Инициализация визуализации

Инициализация

параметров,

организация

буфера

Запуск программы счета с

внешней визуализацией

Счетная

программа

Сохранение

истории?

да

Ожидание

запроса истории

Запрос показать

историю

Ожидание

запроса текущего

состояния

Запрос показать

текущее

состояние

Запуск программы счета со

встроенной визуализацией

Сохранение видео

В

ы

б

о

р

р

е

ж

и

м

а

в

и

з

у

а

л

и

з

а

ц

и

и

Добавление кадра

нет

Буфер

данных

73

Обзор существующих библиотек

визуализации

Библиотеки визуализации

Одной из первых универсальных систем

визуализации стала Open Data Explorer

(OpenDX). OpenDX – это версия с открытым

исходным кодом мощного инструмента

Visualization Data Explorer производства

корпорации IBM. Впервые этот инструмент

был выпущен в 1991 году как Visualization

Data Explorer, теперь он доступен в

открытом исходном коде для выполнения

визуализации данных, а также построения

на его основе универсальных приложений

для визуализации данных.

OpenDX

OpenDX может осуществлять трехмерную визуализацию данных заданных в

различных форматах: скалярных, векторных или тензорных. Также библиотека

позволяет строить различные сечения и вращать визуализированный объект так,

чтобы была возможность осуществлять просмотр с различных сторон.


Visualization ToolKit (VTK) – это свободно распространяемая библиотека C++

классов для построения трехмерной графики и визуализации. Эта библиотека

представляет собой объектно-ориентированный инструментарий для

визуализации данных.

В системе реализовано два подхода к визуализации данных. Первый подход – это

графическая модель данных, которая является абстрактной моделью

трехмерной графики. Второй подход – это визуализационная модель, которая

представляет собой управляемый потоком данных процесс визуализации.

Visualization ToolKit


Библиотека pVTK является параллельным расширением системы VTK. Система pVTK

представляет собой расширяемую, переносимую библиотеку, которая инкапсулирует с

точки зрения пользователя детали, связанные с параллельной работой. С систему VTK

добавлены абстрактные сущности Process и Communication для того, чтобы была

возможность осуществить параллелизм по данным, параллелизм на уровне задач,

конвейерную обработку.

pVTK


ParaView - это приложение с открытым кодом предназначенное для визуализации двух- и

трехмерных наборов данных. Приложение предназначено для работы на системах с

различной архитектурой: на однопроцессорных персональных компьютерах, кластерах

и многопроцессорных системах с общей памятью. ParaView может параллельно

обрабатывать большие объемы данных и осуществлять их сборку в единое целое.

Можно выделить следующие основные цели проекта ParaView:

- Разработка мультиплатформенного расширяемого визуализационного приложения с

открытым кодом.

- Поддержка распределенной модели вычислений для визуализации данных большого

объема.

- Удобный пользовательский интерфейс.

- Расширяемая модульная архитектура, основанная на открытых стандартах

ParaView


VisIt – это свободно распространяемый инструмент интерактивной параллельной

визуализации и графического анализа для просмотра научных данных. Инструмент

предназначен для быстрой визуализации данных, анимации данных по времени,

управления визуализированными данными, и сохранении визуализированных данных в

различных форматах. VisIt содержит большой набор визуализационных операций,

позволяющих просматривать данные в различных представлениях. Инструмент

используется для визуализации скалярных и векторных полей, определенных на двух- и

трех мерных сетках. Библиотека разрабатывалась для поддержки визуализации данных

очень большого объема, однако также возможна и работа с данными малого объема.

VisIt


ScientificVR (SVR) - программный пакет для визуализации результатов численного

моделирования сложных физико-химических процессов, а также трехмерных

распределений величин, полученных другим путем, например, в результате

томографических обследований. Пакет имеет гибкую плагин-архитектуру, и его

возможности легко могут быть расширены путем разработки соответствующих

плагинов.

Особенностями пакета являются трехмерная воксельная графика: SVR способен

визуализировать распределение функции в трехмерной области путем задания цвета и

степени прозрачности каждой точки области в зависимости от величины функции в

данной точке. Зависимость цвета и прозрачности от величины функции

устанавливается шкалой цвет-прозрачность, настраиваемой пользователем. SVR

позволяет пользователю увидеть стереоскопическое представление трехмерных

массивов данных.

ScientificVR


Большинство система не поддерживают визуализацию совмещенную со счетом

Большинство систем имеют ограничения по визуализации динамики процессов

Проблемы при работе с большими объемами данных

Поддержка визуализации для стерео и 3D дисплеев у большинства систем отсутствует

Анализ существующих библиотек визуализации

Visualization

system

Open source

Parallel

version

GUI

On-line

methods

Dynamic

visualization

methods

Stereo and

3D image

processing

OpenDX + + + - - -

VTK + - - - - -

pVTK + + - - - -

ParaView + + + + - -

VizIt + + + + + -

SVR - - + - + +

81

Недостатки существующих систем

визуализации

Необходимы прикладные программы, учитывающие специфику суперкомпьютерных архитектур

Огромный объем данных в крупномасштабном эксперименте

Существующие системы не масштабируются эффективно

Появление новых типов дисплейных устройств

Необходимо высокое визуальное качество изображений

82

Система визуализации VisIt

83

Система VisIt: обзор

• VisIt – система с открытым кодом для визуализации

двумерных и трехмерных данных

• Открытый код, масштабируемость, кросс-

платформенность

• Поддержка распределенной модели данных для

визуализации больших массивов

• Интерактивный пользовательский интерфейс

• Модульная архитектура

84

VisIt: Установка на локальную машину

Для начала работы с VisIt необходимо установить программу на

локальной машине. Для этого нужно выполнить следующую

последовательность действий.

• Откройте в браузере страничку

http://wci.llnl.gov/codes/visit/executables.html

• Выберите необходимую версию установщика для вашей

платформы и нажмите кнопку Download.

• Запустите скачанный файл и следуйте инструкциям.

Рекомендуется устанавливать самый свежий релиз. Примеры в

данной лекции приведены для версии VisIt 2.3.2.
















85

VisIt: работа с файлами

86

VisIt: Пример построения графика

87

VisIt: Использование нескольких окон

88

VisIt: масштабирование

89

VisIt: Доступ к файлам на удаленной машине

90

VisIt:совмещение различных графиков

91

VisIt: график контур

92

VisIt: Интерактивные инструменты для

анализа

93

Примеры объемного

построения изображений

102

Ресурсы

Материалы лекции и методичка

http://sqi.cs.msu.su/#/ru/Learning/mezhfakulitetskiy_kurs

Сайт спецкурса по визуализации

http://asvk.cs.msu.ru/vis_sk_2011/

103

Литература

1. Bruce H. McCormick, Thomas A. DeFanti and Maxine D. Brown (eds.)

(1987). Visualization in Scientific Computing. ACM Press.

2. Gregory M. Nielson, Hans Hagen and Heinrich Müller (1997). Scientific

Visualization: Overviews, Methodologies, and Techniques. IEEE

Computer Society.

3. Will Schroeder, Ken Martin, Bill Lorensen The Visualization Toolkit An

Object-Oriented Approach To 3D Graphics, 4th Edition, Kitware, Inc.

publishers, 2006

4. James Ahrens, Berk Geveci and Charles Law, ParaView: An End-User

Tool for Large Data Visualization. In the Visualization Handbook. Edited

by C.D. Hansen and C.R. Johnson. Elsevier. 2005

5. Kitware, Inc., The Visualization Toolkit User's Guide, Kitware, Inc.

publishers., 2006

6. VisIt User's Manual https://wci.llnl.gov/codes/visit/manuals.html

104

Спасибо за внимание

[email protected]

95%

Визуализация больших данных

Documents

Transcript of Визуализация больших данных