Brazilian Journal of Development

Brazilian Journal of Development

Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761

51256

Implementação de uma métrica de qualidade de vídeo em dispositivos móveis

que consideram degradações no domínio do tempo e espaço

Video quality metric implementation in mobile devices that considers

impairments in the time and spatial domain

DOI:10.34117/bjdv6n7-681

Recebimento dos originais: 20/06/2020

Aceitação para publicação: 24/07/2020

Diego Jose De Sousa Gouveia

Graduado em Ciência da Computação pela Universidade Federal de Lavras

Instituição: Universidade Federal de Lavras

Endereço: Câmpus Universitário, Caixa Postal 3037, CEP:37200-000, Lavras - MG - Brasil

E-mail: [email protected]

Marielle Jordane da Silva

Mestre em Engenharia de Sistemas e Automação pela Universidade Federal de Lavras




Douglas Henrique Silva

Mestrando em Engenharia de Sistemas e Automação pela Universidade Federal de Lavras




Renata Lopes Rosa

Professora Adjunto do Departamento da Computação na Universidade Federal de Lavras




Demóstenes Zegarra Rodríguez

Professor Adjunto do Departamento da Computação na Universidade Federal de Lavras




RESUMO

O volume de tráfego do serviço de streaming de vídeo tem incrementado consideravelmente

nos últimos anos, devido ao sucesso de distribuidores de conteúdo como YouTube e Netflix.

Porém, limitações na capacidade e instabilidade de uma rede impactam na qualidade de

experiência (QoE) do usuário. Neste trabalho, propõe-se um modelo de avaliação de qualidade

do streaming de vídeo, e a sua implementação em dispositivos moveis. O modelo proposto

considera as degradações espaciais dos quadros do vídeo e as interrupções temporais. Os

resultados experimentais apresentam o impacto dos fatores de degradação na QoE; destacando-

se que o modelo proposto alcançou uma alta correlação com testes subjetivos. Adicionalmente,



51257

a implementação no dispositivo móvel é de baixo consumo na capacidade de processamento e

de energia.

Palavras-chave: streaming de vídeo, qualidade de vídeo, dispositivos moveis, consumo de

energia.

ABSTRACT

The traffic volume of video streaming service has increased considerably in recent years due to

the success of content distributors such as YouTube and Netflix. However, limitations in

network capacity and instability, impact the user Quality of Experience (QoE). In this work, a

quality assessment model for video streaming service is proposed and implemented in mobile

devices. The proposed model considers the spatial degradations of the video frames and the

temporal interruptions. The experimental results show the impact of degradation factors on the

user's QoE; emphasizing that the proposed model achieved a high correlation with subjective

tests. Furthermore, the implementation on the mobile device has a low consumption in both

processing capacity and energy.

Keywords: video streaming, video quality, mobile devices, energy consumption.

1 INTRODUÇÃO

A cada dia, o número de usuários dos serviços de vídeo oferecidos na Internet vem

aumentando, principalmente devido à popularidade que os serviços de streaming de vídeo têm

atingido, gerando assim um enorme volume de tráfego. Entre os fornecedores e distribuidores de

conteúdo de vídeo de maior sucesso, que utilizam o streaming de vídeo, destacam-se: Youtube,

Netflix, Vimeo e Hulu. Segundo estudos realizados pela Cisco, o streaming de vídeo na Internet

alcançará o 76% do tráfego total da Internet em 2023, e nesse mesmo ano, haverá 5,7 bilhões de

usuários móveis no mundo, que corresponderia ao 71% da população mundial. Esses usuários móveis

contribuem para o aumento do tráfego de streaming de vídeo.

Com resoluções de vídeos de alta qualidade, enormes quantidades de dados estão sendo

entregues; porém, esse volume de tráfego pode ocasionar problemas como: latência, perdas de

informação, largura de banda insuficiente. Essa instabilidade da rede afeta a qualidade do vídeo

recebido e consequentemente a Qualidade de Experiência (QoE) do usuário. De forma similar esse

efeito é dado em outras aplicações no serviço de comunicações [Affonso et al. 2016],[Affonso et al.

2018],[Da Silva et al. 2018], [De Almeida et al. 2019],[Militani et al. 2019],[Rodriguez et al.

2019],[Nunes et al. 2019], [Vieira et al. 2020]. O conceito de QoE aplicado em outras áreas [Rosa et

al. 2018],[Lasmar et al. 2019]. Atualmente, os serviços de vídeo streaming utilizam o Hyper Text

Transfer Protocol (HTTP) que usa o Transport Control Protocol (TCP) como protocolo de camada

de transporte. Assim, a entrega baseada em HTTP/TCP fornece confiabilidade e simplicidade de

implantação [Hisamatsu, Hasegawa, and Murata 2011],[Freire et al. 2020].



51258

Um problema comum na Internet é o congestionamento, devido à redução de largura de banda

ou presença de múltiplos usuários [Jiang, Sekar, and Zhang 2014], [Da Costa et al. 2016]. Para

minimizá-lo, os mecanismos de controle de congestionamento para TCP são implementados [Cai,

Shen, Pan, and Mark 2005]. O TCP ao detectar perdas de pacotes diminui a taxa de transferência, e

se essa nova taxa for menor que a taxa de reprodução, o player esvazia toda a informação do buffer

e, em seguida, realiza um processo de rebuffering. Durante esse período de interrupção temporal,

chamado de pausa, nenhuma informação é exibida, degradando a QoE do usuário final [Coelho and

Melo 2016]. Portanto, é imprescindível determinar métodos de avaliação de qualidade de vídeo que

também considerem as degradações no domínio do tempo, e que devem ser executados no dispositivo

do usuário final.

É importante destacar que as métricas focadas unicamente na avaliação da qualidade da

imagem de cada quadro de um vídeo, como: Peak signal-to-noise ratio (PSNR), Structural SIMilarity

(SSIM), Video Quality Metric (VQM), entre outras, não são suficientes, pois elas avaliam a

degradação espacial do vídeo, mas não a temporal, sem puder determinar a qualidade global do vídeo

na recepção. Nos últimos anos, diferentes métricas de QoE para o streaming de vídeo foram propostas

[Hoßfeld et al. 2011],[Mok et al. 2011],[Begazo et al. 2011][Rodríguez et al. 2012],[Ghadiyaram et

al. 2014], [Rodríguez et al. 2014],[Xue, Erkin, and Wang 2015],[Duanmu et al. 2017], todas elas

focadas nos parâmetros relacionados às interrupções temporais ocorridas na transmissão do vídeo,

como: número, duração, frequência e localização temporal de pausas. Os valores desses parâmetros

são extraídos de uma aplicação implementada no buffer do player que detecta o início e o término de

uma pausa, os quais estão relacionados a limiares de informação armazenada. Deve-se salientar que

atualmente estão disponíveis novos formatos de metadata que incorporarão informações de qualidade

de vídeo e consumo de energia que pode variar no tempo [MPEG 2015]. Assim, as informações de

qualidade espacial no servidor de vídeo podem estar disponíveis também no cliente.

Neste contexto, o objetivo principal deste artigo é propor e implementar em um dispositivo

móvel, um novo modelo de avaliação da qualidade global de vídeo (QGV) no serviço de streaming,

que considera tanto degradações no domínio de tempo quanto no espaço, em um único índice de

qualidade, diferente dos trabalhos, [Mok et al. 2011], [Rodríguez et al. 2012], [Ghadiyaram 2014],

[Wang 2015][Duanmu 2017]. Para atingir esse objetivo, uma base de dados (BD) foi construída a

partir de vídeos originais, a qual foi utilizada para determinar e validar o modelo QGV proposto. Essa

BD considera sequencias de vídeos que apresentam degradações do tipo espacial e temporal. Para

validação de desempenho, testes subjetivos foram realizados, e os resultados alcançados pelo modelo

QGV alcançou uma alta correlação. Adicionalmente, o desempenho da implementação do QGV no

dispositivo móvel e seu impacto na capacidade de processamento é avaliado utilizando testes



51259

subjetivos. Para avaliar o consumo de energia é utilizado um circuito simples que permite medir o

consumo na bateria do dispositivo. Os resultados experimentais mostraram que o desempenho global

do dispositivo e a QoE do usuário não são afetados.

O restante deste artigo esta organizado da seguinte maneira: a Seção 2 apresenta os principais

trabalhos relacionados. O modelo de avaliação de qualidade de vídeo proposto é descrito na Seção 3.

A metodologia de testes é detalhada na Seção 4. Os resultados experimentais e as discussões são

apresentados na Seção 5. Por fim, as conclusões são apresentadas na Seção 6.

2 MÉTODOS DE AVALIAÇÃO DE QUALIDADE DE VÍDEO

Nos últimos anos vem sendo realizados estudos para se determinar um método de avaliação

com um maior grau de exatidão; ou seja, com índices que tenham uma alta correlação com os testes

subjetivos.

Os métodos de avaliação de vídeo podem ser classificados considerando diferentes critérios.

No caso de utilizar o valor médio de pontuações de qualidade (MOS) outorgadas por um grupo de

pessoas é denominado como método subjetivo; e no caso que a estimação da pontuação seja obtida

por um algoritmo, é considerado como método objetivo.

Os métodos subjetivos de avaliação da qualidade de vídeo em aplicações de multimídia são

baseados no conteúdo de vídeo usando o julgamento de um observador e são descritos na

Recomendação ITU-T P.910 [Rec. ITU-T P.910]. As metodologias apresentadas nesta recomendação

são: ACR (Absolute category rating); ACR-HR (Absolute category rating with hidden reference);

DCR (Degradation category rating); PC (Pair comparison method). Por outro lado, a descrição da

metodologia e o procedimento para criar uma referência de vídeo são descritas na Recomendação

ITU-T P.930 [Rec. ITU-T P. 930]. A escala de qualidade de 5 pontuações descrita na metodologia

ACR, a qual é utilizada neste trabalho, é apresentada na Tabela 1 [Rec. ITU-T P.910].

Tabela 1. Escala MOS de 5 pontuações descritas na Metodologia ACR

Descrição adjetiva da qualidade Valor do índice de qualidade (MOS)

Muito bom 5

Bom 4

Regular 3

Ruim 2

Muito Ruim 1



51260

Por outro lado, diferentes critérios podem ser utilizados para classificar os métodos objetivos

de avaliação de qualidade de vídeo. A União Internacional de Telecomunicações (UIT) define

diferentes categorias para os métodos objetivos dependendo do tipo de informação considerada na

entrada do algoritmo de avaliação, sendo estas categorias [Takahashi, Hands, and Barriac 2008]:

Modelo baseado na mídia, o qual utiliza como entrada o sinal de vídeo; assim, não é necessário

conhecer a rede onde o vídeo foi transmitido.

Modelo baseado no nível dos parâmetros dos pacotes, este modelo considera só os cabeçalhos

para estimar a qualidade do vídeo, e não a informação contida nos pacotes transmitidos.

Modelo baseado nos parâmetros de planejamento, o qual se baseia no conhecimento dos

parâmetros da rede e dos elementos que fazem parte da comunicação, como largura de banda,

latência media ou os codificadores empregados.

Modelo baseado no nível de fluxo de bits, que utiliza todos os bits transmitidos, toda informação

do cabeçalho e de carga útil.

Modelos Híbridos, que são os métodos que misturam dois ou mais dos modelos descritos

anteriormente.

As métricas objetivas de avaliação de qualidade espacial do vídeo, estima a qualidade

de cada quadro. As métricas de qualidade mais citadas na literatura, e que são utilizadas no presente

trabalhos são:

PSNR (Peak Signal to Noise Ratio): Esta métrica é uma das primeiras e mais empregados na

literatura, pois tem um significado geométrico claro e pode ser calculado de uma forma

simples; porém, não tem uma alta correlação com os resultados de testes subjetivos. Esta

métrica depende da diferença entre a imagem original e a imagem degradada. O PSNR é

calculado a partir do RMSE (Root Mean Square Error), o qual é obtido ao calcular o valor

médio da subtração entre o quadro de imagem original e o quadro da imagem degradada,

segundo a equação 1.

1 (1)

onde, f é o quadro original, f’ o quadro degradado, N e M são as dimensões da matriz que

representa a imagem. O PSNR é obtido a partir da equação 2.

1

0

1

0

2'

*

1 M

m

N

n

nmfnmfNM

RMSE



51261

(2)

SSIM (Structural SIMilarity): Esta métrica se baseia no modelo visual humano, pois considera

que as imagens são altamente estruturadas, e estas dependências contêm informações muito

relevantes da estrutura do objeto [Wang, Bovik and Sheikh 2004]. A informação estrutural

em uma imagem é definida, como os atributos que representam a estrutura do objeto,

independente da luminosidade e do contraste. Na Figura 1, adaptada de [Wang, Bovik and

Sheikh 2004], é apresentado o diagrama de blocos funcional do sistema utilizado para obter o

índice de qualidade SSIM.

Figura 1. Diagrama de blocos funcional da métrica SSIM

A equação 3 define a relação dos três elementos considerados: luminosidade, contraste

e estrutura da imagem.

(3)

Onde a função de brilho é presentada em (4), onde μ denota a intensidade do brilho

médio das imagens x e y, e C1 é uma constante de ajuste.

(4)

A função de contraste é determinada por (5), onde σ representa o desvio padrão da

amostra do brilho das duas imagens, e C2 é uma constante de ajuste.

RMSEPSNR /25010log20

)),(),,(),,((),( yxsyxcyxlfyxS

1

22

12),(

C

Cyxl

yx

yx



51262

(5)

A função de comparação estrutura a seguir, onde σxy é a covariação de amostras de

luminosidade das duas imagens, e C3 é uma constante de ajuste.

(6)

Finalmente, considerando que C2 = C3/2, o índice SSIM é obtido por:

(7)

VQM (Video Quality Metric), esta métrica utiliza a transformada discreta de cosseno (DCT).

Trabalhos anteriores apresentam o modelo de qualidade de vídeo que também incorpora o

DCT, mas o modelo apresentado considera dois tipos de matrizes, uma matriz chamada matriz

de sensibilidade ao contraste para quadros estáticos e outro para quadros dinâmicos aplicados

na mesma etapa para reduzir processamento SCSF (Spatial Contrast Sensitivity Function). Na

Figura 2, adaptada de [Xiao 2000], podem ser observadas as principais etapas funcionais do

modelo VQM.

Figura 2 - Diagrama de blocos do modelo VQM.

Recentemente, os métodos de avaliação de qualidade no serviço de streaming de vídeo

consideram as interrupções temporais como fatores degradantes, e baseados nas caraterísticas delas

como: numero, duração e frequência se determinam modelos de avaliação. Nos últimos anos,

diferentes modelos foram propostos [Hoßfeld et al. 2011],[Mok et al. 2011],[Rodríguez et al.

2012],[Ghadiyaram et al. 2014],[Xue, Erkin, and Wang 2015],[Duanmu et al. 2017]. Os resultados

obtidos pelas soluções descritas nesses trabalhos alcançam resultados correlacionados com testes

subjetivos, demonstrando-se o real impacto da presencia de pausas durante a transmissão, na QoE

2

22

22),(

C

Cyxc

yx

yx

3

3),(

C

Cyxs

yx

xy

))((

)2)(2(),(

2

22

1

22

21

CC

CCyxSSIM

yxyx

yxyx



51263

dos usuários. Porém, ainda não existe um padrão internacional de avaliação de qualidade que

considere as degradações do vídeo que acontecem no domínio do tempo.

É importante destacar, que algumas soluções como DASH (do inglês, Dynamic Adaptive

Streaming over HTTP), utilizam os resultados dos modelos de qualidade que consideram as pausas,

para determinar qual é a resolução mais apropriada do próximo quadro de vídeo a ser transmitido,

em conjunto com outros parâmetros de rede [Rodriguez et al. 2016],[Lentisco et al. 2017].

Neste trabalho, ambos os fatores de degradação de qualidade espacial e temporal do serviço

do streaming do vídeo são considerados no modelo QGV proposto, o qual é apresentado na seguinte

seção.

3 MODELO PROPOSTO DE AVALIAÇÃO DE QUALIDADE GLOBAL DE VÍDEO

STREAMING

A Figura 3 apresenta os principais componentes da solução proposta, modelo QGV, para

avaliação de QoE dos usuários no serviço de streaming de vídeo.

Figura 3. Principais elementos do modelo de avaliação de qualidade no serviço de streaming de vídeo.

Pode-se observar que no servidor de vídeo se realiza uma avaliação espacial de qualidade do

vídeo a ser transmitido; essa informação de valor de qualidade é inserida no arquivo metadata de

acordo com [MPEG 2015] que logo é transmitido ao cliente. Nesta etapa são utilizadas diferentes

métricas intrusivas de qualidade, amplamente citadas em trabalhos relacionados, como PSNR, SSIM

e VQM, cujos modelos foram descritos na seção anterior. O valor de índice de qualidade determina

o modelo de Qualidade Espacial do Vídeo (QEV), definido em (8):

),(max otransmitidoriginal VVMQMQEV (8)



51264

onde, QMmax é o máximo valor na escala de qualidade da métrica utilizada, M(.) representa o

operador de qualidade da métrica; idealmente o vídeo a ser transmitido é o vídeo original, obtendo a

máxima pontuação de qualidade do operador M(.). Assim, QEV estima a degradação do vídeo

transmitido em relação de uma versão de alta qualidade. Com o intuito de apresentar os resultados

em uma única escala, os valores foram ajustados na escala de 0 a 5; onde 0 e 5 representam o mínimo

e máximo valor de qualidade, respectivamente.

No lado do cliente, têm-se dois processos que se realizam em paralelo. O primeiro, referente

à decodificação do arquivo metadata para a leitura do campo do índice de qualidade espacial dos

quadros do vídeo recebido. O segundo processo é referente ao player customizado, ele monitora os

valores de carga do buffer para determinar o inicio e termo de um processo de rebuffering, que

determina o evento de uma pausa. Com a informação obtida do buffer, pode-se determinar para um

determinado segmento de vídeo: o número de pausas, a frequência delas, a duração e a localização

temporal de cada uma.

Em seguida, um algoritmo de avaliação que considera as degradações temporais é modelado.

É importante destacar que o atraso inicial não será considerado como pausa e sim com fator de

degradação adicional. Denominaremos a este modelo de: Qualidade Temporal do Vídeo (QTV), o

qual é apresentado a seguir:

)(),,,( BdTPDNdQTV atrasopausa (9)

onde, dpausa(.) é o operador que estima a degradação causadas pela presença das pausas,

dependente dos parâmetros: N é o número de pausas, D representa a duração media das pausas, P é

o peso de degradação respeito à posição temporal da pausa e T é a duração do vídeo analisado; datraso(.)

é o operador que estima a degradação causada pelo atraso inicial, o qual depende do parâmetro B que

representa o atraso inicial do buffer.

O parâmetro P esta relacionado com o impacto na QoE do usuário de uma pausa acontecer no

início, na parte intermédia ou no final do vídeo analisado. Assim, uma pausa que acontece no começo

do vídeo poderia ter uma degradação diferente das que acontecem em outro segmento do vídeo. Neste

trabalho foram considerados três segmentos de vídeo.

Para modelar o operador dpausa(.) foi proposta a seguinte relação matemática, cujas variáveis

foram determinadas por meio de testes subjetivos:

n

i i

iiipausa

T

PDNkd

1

)..

exp(5 (10)



51265

onde, k é uma constante de ajuste de escala, n representa o número total de quadros que

compõem o vídeo analisado; os demais parâmetros correspondem aos descritos na equação (9). É

importante salientar que foram testadas diferentes funções, como linear e polinomial de segunda e

terceira ordem, e a função exponencial foi a mais correlacionada com os resultados dos testes

subjetivos. Também, a metodologia ACR com a sua escala MOS de 5 pontuações, apresentada na

Tabela 1, forma empregadas nos testes subjetivos por ser a mais utilizada na literatura. Note-se que

o operador modelado determina o valor da degradação e não a qualidade resultante do vídeo.

De forma similar, o operador datraso(.) é modelado utilizando a função exponencial, como

segue:

5 exp( / )atrasod z A T (11)

onde, z é uma constante de ajuste de escala, α é o fator de decaimento da função exponencial,

A é a duração do atraso inicial, e T representa a duração total do vídeo. Deve-se destacar que nos

testes realizados para definir o operador datraso(.) só foi considerado essa única degradação, não foram

incluídas pausas e nenhuma outra degradação espacial nos quadros do vídeo.

Finalmente, definidos os modelos QEV e QTV, o modelo QGV proposto para o serviço de

streaming de vídeo é definido por:

QTVQEVQGV 5 (12)

4 CENÁRIO E METODOLOGIA DE TESTE

Nesta seção, os critérios utilizados na construção de uma base de dados, a metodologia

empregada na realização dos testes subjetivos, e a implementação do estimador de qualidade no

dispositivo móvel são tratados.

4.1 BASE DE DADOS DE VÍDEOS

Para a realização de testes foi criada uma base de dados, cujos arquivos originais foram

obtidos de [Chen et al. 2014]. Esses arquivos de vídeo originais, que não possuem degradações

espaciais de quadros, foram degradados utilizando o cenário de teste da Figura 4. Como o objetivo,

nesta etapa, foi criar uma base de dados utilizou-se um computador no receptor para facilitar a

armazenagem dos vídeos.



51266

Figura 4. Cenário de teste utilizado na degradação de vídeos.

O emulador de rede foi implementado utilizando a ferramenta NETem de licença aberta, no

qual se pode configurar a variação de parâmetros de rede como: perda de pacotes, variação de atrasos

e largura de banda. Neste cenário, o streaming de vídeo foi realizado utilizando o protocolo de

transporte UDP. No servidor de vídeo é instalada a versão web 2.2.21 do Apache rodando em uma

distribuição Linux. No cliente, os vídeos degradados foram salvos.

Em total, foram utilizados 8 vídeos originais, dos quais 4 vídeos, de duração de 90 segundos,

foram submetidos a três tipos de degradações, resultando em degradações de baixa, media e alta

intensidade. Os parâmetros utilizados foram perda de pacotes (1%, 5% e 10%) e variação de atrasos

(0ms, 4ms e 6ms). Assim, foram criados 12 vídeos que contem quadros com degradações espaciais.

Em seguida, as degradações temporais foram inseridas nos 8 vídeos originais e os 12 vídeos

obtidos na etapa anterior. Para isso, fizeram-se testes de streaming de vídeo utilizando o protocolo

TCP, para obter um padrão de distribuições de pausas; posteriormente, para manter um mesmo padrão

de degradação em cada um dos vídeos, se utilizou um editor, no qual a interrupção temporal consiste

em repetir um quadro o número de vezes necessárias para alcançar uma duração de pausa especifica.

Assim, foram considerados os seguintes padrões de distribuição de pausas com diferentes durações

de cada pausa que acontecem em três diferentes segmentos do vídeo, como apresentado na Tabela 2.

Tabela 2. Distribuição de pausas de diferentes durações e considerando três segmentos temporais

ID de

Padrão

Primeiro Segmento

(tempo em seg.)

Segundo Segmento

(tempo em seg.)

Terceiro Segmento

(tempo em seg.)

P_1 0,5 ; 2 --- ---

P_2 --- 0,5 ; 2 ---

P_3 --- --- 0,5 ; 2

P_4 4 2 2

P_5 2 4 2

P_6 2 2 4

P_7 0,5 ; 2 ; 4 0,5 ; 2 4

P_8 4 0,5 ; 2 0,5 ; 2 ; 4

P_9 0,5 ; 0,5 ; 4 ; 4 0,5 ; 0,5 ; 4 ; 4 0,5 ; 0,5 ; 4 ; 4

Servidor de vídeo Emulador de Rede Cliente



51267

Assim, obtiveram-se 72 sequencias de vídeo com degradações somente temporais e 108

vídeos com degradações espaciais e temporais simultaneamente. Os 72 vídeos foram usados para

modelar o operador dpausa.

Adicionalmente, para avaliar o impacto do atraso inicial foram utilizados dos diferentes vídeos

de 60 e 90 segundos de duração nos quais foram inseridos atrasos iniciais de 2, 4, 8, 12, 16 e 20

segundos. Nenhum outro tipo de degradação foi inserido nesses 12 vídeos.

Finalmente, em 24 vídeos, dos 108 vídeos com degradações espaciais e temporais, foram

inseridos atrasos iniciais, para obter sequencias de vídeos que incluam todos os tipos de degradações.

Esses 132 vídeos, que contém duas ou mais degradações foram usados na etapa de validação do

desempenho do modelo proposto. Assim, se elaborou uma base de um total de 228 vídeos, sem incluir

os vídeos originais, que foram usados como material de teste.

4.2 METODOLOGIA DE TESTES SUBJETIVOS

Os testes foram realizados em um ambiente laboratorial, em um período de 17 semanas, no

qual o laboratório não teve mudanças. No início de cada teste, a metodologia foi explicada, onde a

escala de qualidade e pontuações da Tabela 1 foi apresentada; também, alguns vídeos adicionais

foram usados como pré-teste com o objetivo de entender melhor a metodologia. Os testes foram

individuais e não se limitou o tempo para outorgar uma pontuação; e considerando a quantidade de

vídeos, um avaliador podia participar em diferentes dias, para evitar fatiga visual.

Os vídeos foram apresentados aos avaliadores voluntários utilizando, um tablet de 10,1

polegadas e um smartphone de 6,2 polegadas. Os vídeos do mesmo grupo de tipo de degradação

foram divididos em dois grupos para ser apresentados em cada um dos dispositivos. Na execução dos

testes tomaram-se as medidas para não ter objetos próximos, nem reflexos de luz sobre a tela dos

dispositivos para não perturbar a atenção dos avaliadores.

Em total, 186 avaliadores voluntários participaram nos testes, dos quais 101 foram mulheres

e os restantes homens; todos eles declararam não ter problemas de visão. Para determinar o índice

MOS de cada vídeo, foram consideradas pelo menos 15 avaliações. Com os resultados obtidos foi

realizada uma análise estatística para determinar outliers; logrando-se identificar 7 avaliações, as

quais foram descartadas.

Os resultados obtidos nos testes subjetivos foram utilizados para determinar e validar o

modelo de avaliação de qualidade de streaming de vídeo. Adicionalmente, testes subjetivos foram

realizados para avaliar a aplicação instalada considerando o impacto da aplicação no processamento

e no consumo de energia.



51268

4.3 IMPLEMENTAÇÃO E AVALIAÇÃO DO MODELO QGV NO DISPOSITIVO MÓVEL

Com o objetivo de validar a implementação do estimador de qualidade em dispositivos

móveis, se realizou a medição do consumo de processamento e o consumo de bateria para analisar o

impacto no desempenho global do dispositivo. Adicionalmente, se realizaram testes subjetivos, com

a finalidade de avaliar a QoE do usuário.

Para capturar os parâmetros do buffer do player de vídeo, um player personalizado foi

implementado. Os parâmetros ou eventos que podem ser capturados do buffer são: (a) o período de

tempo de início do buffer; (b) período de execução, em qual o vídeo é exibido continuamente sem

pausas; (c) período de recarga do buffer, durante esse período, as pausas aparecem. Considerando

esses eventos de buffer, o número, a duração e a localização temporal das pausas podem ser obtidos.

Além disso, a duração do atraso inicial do buffer pode ser determinada. Além disso, a aplicação

recebe do servidor a qualidade espacial do vídeo utilizando a informação de metadata.

Para avaliar o desempenho da métrica proposta em termos de processamento e consumo de

energia, foram realizados testes adicionais usando os seguintes dispositivos:

Um tablet com tela de 10,1 polegadas, capacidade da bateria de 6150 mAh e tensão nominal

de 3,8 V, 2 GB de memória e processador octacore de 2x1,8 GHz e 6x1,6 GHz.

Um smartphone com tela de 6,2 polegadas, 2 GB de memória e com processador octa-core de

4x2,7 GHz e 4x1,7GHz, com capacidade de bateria de 3000 mAh e tensão nominal de 3,8 V.

A Figura 5 apresenta o cenário móvel de teste, o qual é baseado no cenário de geração de vídeos

apresentado na Figura 4, no qual o NETem controla a largura de banda disponível da transmissão do

canal. O cenário de teste foi isolado e não houve mais dispositivos sem fio conectados na mesma

rede. O estimador proposto foi implementado em ambos o smartphone e o tablet. É importante

destacar que nestes testes foram usados vídeos de mais longa duração (2 vídeos de 16 minutos) para

poder avaliar apropriadamente o impacto no desempenho do dispositivo.

Figura 5. Cenário de teste para avaliar como impacta a aplicação instalada no desempenho dos dispositivos moveis.

Cliente / Usuário

NETEMSERVIDOR

DE VÍDEO

QGV QGV



51269

Finalmente, foram medidos os valores de consumo de energia na bateria do dispositivo, para

validar o impacto que tem no dispositivo.

5 RESULTADOS E DISCUSSÕES

Em primeiro lugar, foram analisados os resultados dos testes subjetivos realizados para avaliar

o impacto do atraso inicial na QoE do usuário. A Figura 6 apresenta os resultados obtidos, que

considera os 6 atrasos iniciais para cada vídeo. Note-se que os resultados são apresentados

considerando a relação: atraso inicial e duração do vídeo, pois a duração de ambos os vídeos não foi

a mesma.

Figura 6. Cenário de teste utilizado na degradação de vídeos.

Com esses resultados, o operador datraso definido em (11) foi determinado com os valores de

z = 4,745 e α=-1,767; assim, esse operador alcançou um coeficiente de correlação de Pearson (PCC)

= 0,9849, R2=0,9731 e um erro absoluto máximo de 0,17 na escala MOS de 5 pontuações.

Em seguida foram analisados os resultados correspondentes aos 72 vídeos que contem

diferentes distribuições de pausas. Deve-se esclarecer que os testes subjetivos foram realizados para

obter a pontuação MOS global do vídeo e não a degradação. Assim, 72 índices MOS foram obtidos,

um para cada vídeo avaliado; obtendo-se um sistema de equações:

n

i i

iiiV

T

PDNkMOS

1

1 )..

exp(55 (13)

onde, o MOSV1 representa o resultado de avaliação do vídeo 1 e os parâmetros são os mesmos

que os definidos em (9).

Para obter um sistema de equações lineares usamos o Ln, e considerando o número de

segmentos temporais, n, igual a 3; obtemos a seguinte relação para o primeiro vídeo analisado:

3 3 31 1 1 2 2 21

1 2 3

( ) ( )V

N D PN D P N D PLn MOS Ln k

T T T (14)

1

2

3

4

5

0% 10% 20% 30% 40%

Ind

ice

de

Qu

alid

ade

(M

OS)

Atrasso Inical/ Duração do Vídeo



51270

Assim, obtemos um sistema linear de 72 equações com as variáveis a ser determinadas: k, P1,

P2 e P3.

1, 1, 2 1

2, 2, 2 2

1

2

3

72, 72, 2 72

1 .... ( )( )

1 .... ( )

: : : :

: : : :

1 .... ( )

V x V x V

V x V x V

V x V x V

t t Ln MOSLn k

t t Ln MOSP

P

Pt t Ln MOS

(15)

onde, 1,V xt a

1, 2V xt representam três termos apresentados na equação anterior para o primeiro

vídeo, especificamente: 1 11, 1 / ,V x N Dt T

21, 1 2 2 and/ V xt N D T 3 3 31, 3 /V xt N D T ;

2,S xt , os vídeos

restantes também usam essa mesma representação. Para a resolução deste sistema de equações

lineares é utilizado o método de mínimos quadrados, especificamente o pseudo-inverso; obtendo-se

o valor de k = 4,23 e os seguintes pesos de degradação para cada um dos 3 segmentos temporais:

Figura 7. Peso de degradação dos três segmentos temporais na qualidade global do vídeo.

Como pode observar-se na Figura 7, o segmento temporal no início do vídeo obteve um peso

maior de degradação na qualidade do vídeo, o que indicaria que pausas no inicio da transmissão do

vídeo afetam com maior intensidade a QoE do usuário. Com os resultados até agora obtidos o modelo

QTV já é definido.

Na Figura 8 (a) pode-se observar o impacto do número de pausas, considerando uma duração

fixa de pausa (4 segundos) e em (b) se observa o impacto da duração das pausas para um número fixo

de pausas (4 pausas), na degradação da qualidade do vídeo determinado pelo modelo QTV. Para

ambos os testes se considerou que as pausas afetaram unicamente o primeiro segmento temporal. Os

resultados foram obtidos usando a relação (13).

0,5

0,7

0,9

1,1

1,3

1,5

P1 P2 P3

Peso

de

Deg

rad

ação

po

r Se

gem

nto

Tem

po

ral

Segmento Temporal



51271

Figura 8. Efeito da ocorrência de pausas no streaming de vídeo. (a) Impacto do número de pausas e (b) duração de

pausa na qualidade do vídeo.

Para avaliação dos algoritmos PSNR, SSIM e VQM, os resultados obtidos por cada um foram

transformados no range da escala de 0 a 5. Como o valor máximo do PSNR é infinito consideramos

como o limiar máximo o valor 50. Nesta etapa, só foram avaliados nos testes subjetivos, os 12 vídeos

que apresentam somente degradações espaciais nos quadros. O desempenho foi avaliado utilizando

o PCC, com base aos resultados dos testes subjetivos. A Tabela 3 apresenta os resultados médios das

três classes de intensidades de degradações utilizadas: baixa (1% e 0 ms.), media (5% e 2 ms.) e alta

(10% e 6ms.); assim, cada classe esta composta por 4 vídeos degradados.

Tabela 3. Avaliação do desempenho dos algoritmos SSIM, VQM e PSNR considerando três intensidades de

degradações de vídeo.

Intensidade de Degradação SSIM VQM PSNR

Baixa 0,9217 0,8926 0,7783

Média 0,9004 0,8811 0,7126

Alta 0,8755 0,8543 0,6238

Com base nos resultados apresentados na Tabela 3, o algoritmo SSIM foi escolhido como o

operador M(.) definido em (8).

Com os resultados obtidos o modelo QGV proposto está definido com todos os seus

parâmetros; assim para avaliar o seu desempenho foram realizados testes subjetivos, em um ambiente

laboratorial, utilizando vídeos que continham degradações espaciais, temporais e em alguns casos

incluíam o atraso inicial, foram utilizados 132 vídeos como material de teste. É importante salientar

que os avaliadores que participaram nos testes referentes à determinação do modelo não participaram

nos testes de validação. A Tabela 4 apresenta os valores do PCC e o erro máximo absoluto que

alcançou o modelo QGV em relação aos resultados dos testes subjetivos.

(a) (b)



51272

Tabela 4. Avaliação do Desempenho do Modelo QGV utilizando Testes Subjetivos

PCC (QGV / T. Subjetivo ) Erro Max. Abs. (QGV / T. Subjetivo )

0,9781 0,2934

Uma vez validada a acurácia do QGV, se passou a analisar a percepção do usuário ao utilizar a

aplicação instalada no dispositivo móvel.

Um total de 29 participantes avaliaram duas sequências de vídeo adicionais usando o cenário

de teste representado na Figura 10. Como afirmado anteriormente, a duração de cada sequência de

vídeo foi de 16 minutos, e os dois vídeos foram apresentados em cada dispositivo. Cada vídeo recebeu

pelo menos 15 pontuações. Os avaliadores são convidados a assistir a duas sequências de vídeo que

correspondem ao mesmo vídeo com e sem a implementação do QGV no dispositivo móvel. Vale

ressaltar que nenhum outro aplicativo estava sendo executado em cada dispositivo ao mesmo tempo

da sessão de streaming de vídeo. Assim, os avaliadores analisaram subjetivamente a facilidade de uso

do aplicativo respeito aos recursos consumidos usando a escala de 5 pontos apresentada na Tabela 1.

Os resultados experimentais são apresentados na Tabela 5, considerando os valores médios nos dois

dispositivos.

Tabela 5. Avaliação perceptual da aplicação instalada no dispositivo

Parâmetro analisado Valor perceptual de qualidade

Processamento

(percepção de sobrecarga e lentidão)

4,9

Energia consumida

(percepção de consumo de bateria)

4,7

Como pode ser observado na Tabela 5, os valores de qualidades percebidos pelos avaliadores

são bastante alto, considerando que o valor máximo da escala é 5, indicando que na percepção do

usuário a aplicação QGV não afeita o desempenho do dispositivo, não apresento que o dispositivo

ficara mais lento e a bateria tampouco foi afetada.

Para obter valores numéricos objetivos de medição da bateria, se conecto um circuito simples

diretamente à bateria do dispositivo para poder monitorar os valores de corrente e bateria, como

apresentado na Figura 9. O micro-controlador de baixo custo foi o Arduino UNO R3 e foram

utilizadas as entradas analógicas A1 e A2, conjuntamente com a porta terra (GND). O valor de R1 é

de 0,22 Ohm. Com este circuito a energia consumida pode ser determinada.



51273

Figura 9. Circuito montado para medir a corrente e voltagem diretamente da bateria do dispositivo.

Para o cálculo, consideramos que o parâmetro de descarga da bateria que representa a carga

consumida pela bateria durante a reprodução do vídeo I [mAh] é estimado usando a seguinte relação

[Trestian, et al. 2012]:

])[(6,3

][][

VVoltagem

JEnergiamAhI (16)

Para calcular o valor da descarga I [mAh] em (16), a energia consumida durante a reprodução

do vídeo é medida usando o circuito apresentado na Figura 9. O valor da tensão V em (16)

corresponde à tensão nominal de 3,8 V para ambos os dispositivos. Nesse teste, foram utilizadas as

mesmas duas sequências de vídeo com 16 minutos de duração; cada um foi reproduzido quatro vezes.

Os valores médios de descarga causados pelos vídeos com e sem a implementação do QGV foram:

para a tablet 1928,11 mAh e 1918,48 mAh, respectivamente; e para o smartphone 1704,22 mAh e

1697,79 mAh, respectivamente. Assim, o valor da descarga é incrementado em apenas 9,63 mAh

(0,50%) e 6,43 mAh (0,379%) quando o QGV está em execução no tablete e smartphone,

respectivamente. Esses resultados demonstraram que não houve impacto negativo significativo no

desempenho do dispositivo móvel. Isso ocorre porque a métrica proposta é baseada apenas nos

parâmetros da camada de aplicação e consome processamento e energia desprezíveis em relação ao

player de vídeo.

6 CONCLUSÕES

Na avaliação do serviço de streaming de vídeo tanto as degradações espaciais quanto as

degradações temporais devem ser consideradas. O modelo proposto neste trabalho considera esses

dois tipos de degradações e atingiu valores altos de acurácia. É importante destacar que os parâmetros

do modelo proposto são extraídos do buffer do tocador do vídeo o que resulta em um modelo de baixo

consumo de recursos de processamento do dispositivo do usuário. O modelo considera o uso da

recomendação [MPEG 2015], onde o índice de qualidade espacial é transmitido. Adicionalmente,

+

-R1

Bateria

Micro controlador

GNDA-1 A-2

serial



51274

uma base de vídeos degradados foi criada para testes e validação do modelo proposto, a qual inclui

vídeos com: atraso inicial, pausas e degradação espacial nos quadros do vídeo, contendo um só tipo

degradação, ou um conjunto de dois ou três deles.

Os resultados alcançados na avaliação do desempenho apresentam uma acurácia alta do

modelo proposto QGV, alcançando: PCC de 0,9781 e erro máximo absoluto de 0,2934, na escala de

0 a 5, em relação aos resultados experimentais dos testes subjetivos. Também se pode verificar o

impacto dos parâmetros na qualidade global do vídeo. Finalmente, a implementação do estimador de

qualidade proposto tem uma baixa complexidade porque é baseada em parâmetros de nível de

aplicação e seu consumo de energia é quase insignificante em relação à energia consumida pelo player

de vídeo que é menor ao 0,5 %; portanto, pode ser facilmente implementado em dispositivos

eletrônicos atuais sem afetar o desempenho dele. Também, o resultado dos testes subjetivos para

avaliar o desempenho da aplicação no dispositivo mostra que a QoE do usuário não é afetada. Como

trabalho futuro, pretende-se estudar como o modelo QGV pode auxiliar na adaptação de diferentes

resoluções de vídeo, utilizando DASH, procurando-se diminuir o número de pausas durante a

transmissão, com o intuito de melhorar a QoE do usuário.

REFERÊNCIAS

Affonso, E. T., Nunes, R. D., Rosa R. L., Pivaro, G. F. and Rodriguez D. Z. (2018), “Speech quality

assessment in wireless voip communication using deep belief network,” IEEE Access, 6(1), Oct.

2019, pages 77022-77032.

Affonso, E. T., Rodriguez D. Z, Rosa R. L., Andrade, T., Bressan, G. (2016) “Voice quality

assessment in mobile devices considering different fading models,” IEEE International Symposium

on Consumer Electronics (ISCE), Set. 2016, pp. 21-22.

Begazo D. C., Rodríguez D. Z. and Ramírez M. A. (2011), “Avaliação de qualidade de vídeo sobre

uma rede IP usando métricas objetivas,” Sistema, Cibernética e Informática 8 (1), May 2011, pp. 226-

229

Cai, L., Shen, X., Pan, J. and Mark, J. (2005) “Performance analysis of TCP friendly AIMD

algorithms for multimedia applications,” In IEEE/ACM Transactions on Networking, April, 2005,

pages 339-355.



51275

Coelho, M. de S. and Melo, C (2016) “Estratégia de Adaptação de Fluxo de Vídeo Baseado em

Fatores de QoE,” In Simposio Brasileiro de Redes de Computadores e Sistemas Distribuidos, pages

272–285.

Da Costa Filho R. I. T., W. Lautenschlager, N. Kagami, V. Roesler and L. P. Gaspary, "Network

Fortune Cookie: Using Network Measurements to Predict Video Streaming Performance and QoE,"

IEEE Global Communications Conference, Washington, DC, 2016, pp. 1-6.

Da Silva, M. J., Melgarejo, D. C., Rosa R. L. and Rodriguez, D. Z. (2019),”Speech Quality Classifier

Model based on DBN that Considers Atmospheric Phenomena,” Journal of Communications

Software and Systems, 16(1), May, 2020, pages, 75-84.

De Almeida, F., Rosa, L. R. and Rodríguez D. Z. (2018), “Voice quality assessment in

communication services using deep learning,” In Proc. Int. Symposium on Wireless Communication

Systems (ISWCS), Aug. 2018, pp. 1-6

Duanmu, Z., Zeng, K., Ma, K., Rehman, A. and Wang, Z. (2017) “A quality-of experience index for

streaming video,” In IEEE Journal of Selected Topics in Signal Processing, 11(1), February 2017,

pages 154–166.

Freire. F. Silva, Carmona, J-V. C., Seixas, L. D. Valente, W. M., Kuribayashi, H. Caarvalho de Matos,

E. M., (2020) “Performance Evaluation of 2K and 4K Video Transmissions over Wireless Networks

in an Indoor Setting,” Brazilian Journal of Development, v. 6 n. 7, pp 42954-42968.

Ghadiyaram, D., Bovik, A. C., Yeganeh, H., Kordasiewicz, R. and Gallant, M. (2014) “Study of the

effects of stalling events on the quality of experience of mobile streaming videos,” In IEEE Global

Conference on Signal and Information Processing, December, 2014, pages 989–993.

Hiroki, O., Hisamatsu, H. and Noborio, H. (2011) “Design and Evaluation of Hybrid Congestion

Control Mechanism for Video Streaming,” In Proceedings of 11th IEEE International Conference

on Computer and Information Technology, Pafos, Cyprus, September, 2011, pages 585-590.

Hisamatsu, H., Hasegawa, G. and Murata, M. (2011) “Non bandwidth-intrusive video streaming over

TCP,” In International Conference on Information Technology, Las Vegas, U.S., April, 2011, pages

78-83.

Hoßfeld, T., Seufert, M., Hirth, M., Zinner, T., Tran-Gia, P. and Schatz, R. (2011) “Quantification of

YouTube QoE via crowdsourcing,” In IEEE International Symposium on Multimedia, December,

2011, pages 494–499.



51276

Jiang, J., Sekar, V. and Zhang, H. (2014) “Improving fairness, efficiency, and stability in http-based

adaptive video streaming with festive,” In IEEE/ACM Transactions on Networking, 22 (1), February,

2014, pages 326–340.

Lasmar, E. L., de Paula F., Rosa R. L., Abrahão J. I., Rodríguez D. Z. (2020), “Rsrs: Ridesharing

recommendation system based on social networks to improve the user’s QoE,” IEEE Transactions

on Intelligent Transportation Systems,” 12(20), October 2019, pages 4728-4740.

Lentisco, C., Bellido L., Cuellar, J., Pastor, E. and Arciniegas, J. (2017), "QoE-Based Analysis of

DASH Streaming Parameters Over Mobile Broadcast Networks," In IEEE Access, 1(5), September

2017, pages 20684–20694.

Militani, D., Vieira, S., Valadão, E., Neles, K., Rosa R. L. and Rodríguez D. Z., (2019) “A machine

learning model to resource allocation service for access point on wireless network,” International

Conference on Software, Telecommunications and Computer, Set. 2019, pp.1-6.

Mok, R. K., Chan, E. W., Luo, X. and Chang, R. K. (2011) “Inferring the QoE of http video streaming

from user-viewing activities,” In ACM SIGCOMM Workshop on Measurements Up the Stack, New

York, NY, USA: ACM, 2011, pages 31–36.

MPEG (2015) “Information technology MPEG systems technologies: Carriage of timed metadata

metrics of media in ISO base media file format,” ISO/IEC 23001-10, September, 2015.

Nunes R. D., Rosa, L. R. and Rodríguez D. Z. (2020), “Performance improvement of a non-intrusive

voice quality metric in lossy networks,” IET Communications, 13(20), August, 2020, pages 3401-

3408

Rodríguez, D. Z., Abrahão, J. A., Begazo, D. C., Rosa, R. L. and Bressan, G. (2012) “Quality metric

to assess video streaming service over tcp considering temporal location of pauses,” IEEE

Transactions on Consumer Electronics, 58(3), August 2012, pages 985–992.

Rodríguez, D. Z., Rosa, R. L., Alfaia E., Abrahao and Bressan, G. (2016) “Video Quality Metric for

Streaming Service Using DASH Standard,” In IEEE Transactions on Broadcasting, 62(3), September

2016, pages 628–639.

Rodríguez, D. Z., Wang, Z., Rosa, R. L. and Bressan, G. (2014) “The impact of video-quality-level

switching on user quality of experience in dynamic adaptive streaming over HTTP,” EURASIP

Journal on Wireless Communications and Networking, 62(3), December 2014 216(2014), pages 2-

15.

javascript:void(0)

javascript:void(0)



51277

Rodríguez, D. Z., Rosa, R. L. Almeida F., Mittag. G., Moller, S., “Speech quality assessment in

wireless communications with mimo systems using a parametric model,” IEEE Access, 7(1), March

2019, pages 35719-35730

Rosa, R. L., Schwartz G. M., Ruggiero, W. V. and Rodríguez, D. Z., (2018) “A knowledge-based

recommendation system that includes sentiment analysis and deep learning,” IEEE Transactions on

Industrial Informatics, 15(4), Aug. 2018, pg 2124-2135

Chen C., Choi, L., Veciana, G., Caramanis, C., Heath, R. and Bovik A. (2014), "Modeling the Time-

Varying Subjective Quality of HTTP Video Streams with Rate Adaptations," In IEEE Trans on Image

Proc. 23(5), May 2014, pages 2206–2221.

Rec. ITU-T P.910 (1999) “ITU-T Recommendation-P.910, Subjective Video Quality Assessment

Methods for Multimedia Applications,” Geneva, September, 1999.

Rec. ITU-T P. 930 (1996) “ITU-T Recommendation-P.930, Principles of a reference impairment

system for video,” Geneva, August, 1996.

Takahashi, A., Hands, D. and Barriac, V. (2008) “Standardization activities in the ITU for a QoE

assessment of IPTV,” In IEEE Comm. Mag., 46(2), p. 78, Feb., 2008.

Testrian R., Moldovan, A., Ormond, O. and Muntema. G-M “Energy consumption analysis of video

streaming to Android mobile devices,” in Proc. IEEE Netw. Oper. Management Symp., Maui, HI,

USA, Apr. 2012, pp. 444–452.

Vieira S. T., Rosa, L. R. and Rodríguez D. Z. (2020), “A Speech Quality Classifier based on Tree-

CNN Algorithm that Considers Network Degradations,” Journal of Communications Software and

Systems,” 16 (2), Jun. 2020, pages 180-187.

Xiao, F. (2000) DCT-based Video Quality Evaluation, 2000.

Xue, Y, Erkin, B. and Wang, Y. (2015) “A novel no-reference video quality metric for evaluating

temporal jerkiness due to frame freezing,” In IEEE Transactions on Multimedia, 17(1), January,

2015, pages 134–139.

Wang, Z., Bovik, A. C. and Sheikh, H. (2004) “Image Quality Assesment: From Error Visibility to

Structural Similarity,” In IEEE Transactions on Image Processing, 13(4), April 2004, pages 154–

166.

javascript:void(0)

javascript:void(0)

Brazilian Journal of Development

Documents

Transcript of Brazilian Journal of Development