Post on 31-Jan-2023
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51256
Implementação de uma métrica de qualidade de vídeo em dispositivos móveis
que consideram degradações no domínio do tempo e espaço
Video quality metric implementation in mobile devices that considers
impairments in the time and spatial domain
DOI:10.34117/bjdv6n7-681
Recebimento dos originais: 20/06/2020
Aceitação para publicação: 24/07/2020
Diego Jose De Sousa Gouveia
Graduado em Ciência da Computação pela Universidade Federal de Lavras
Instituição: Universidade Federal de Lavras
Endereço: Câmpus Universitário, Caixa Postal 3037, CEP:37200-000, Lavras - MG - Brasil
E-mail: diegosousa.st@gmail.com
Marielle Jordane da Silva
Mestre em Engenharia de Sistemas e Automação pela Universidade Federal de Lavras
Instituição: Universidade Federal de Lavras
Endereço: Câmpus Universitário, Caixa Postal 3037, CEP:37200-000, Lavras - MG - Brasil
E-mail: mariellejordane@hotmail.com
Douglas Henrique Silva
Mestrando em Engenharia de Sistemas e Automação pela Universidade Federal de Lavras
Instituição: Universidade Federal de Lavras
Endereço: Câmpus Universitário, Caixa Postal 3037, CEP:37200-000, Lavras - MG - Brasil
E-mail: douglas13mg@gmail.com
Renata Lopes Rosa
Professora Adjunto do Departamento da Computação na Universidade Federal de Lavras
Instituição: Universidade Federal de Lavras
Endereço: Câmpus Universitário, Caixa Postal 3037, CEP:37200-000, Lavras - MG - Brasil
E-mail: rrosa77@gmail.com
Demóstenes Zegarra Rodríguez
Professor Adjunto do Departamento da Computação na Universidade Federal de Lavras
Instituição: Universidade Federal de Lavras
Endereço: Câmpus Universitário, Caixa Postal 3037, CEP:37200-000, Lavras - MG - Brasil
E-mail: demostenes.zegarra@ufla.br
RESUMO
O volume de tráfego do serviço de streaming de vídeo tem incrementado consideravelmente
nos últimos anos, devido ao sucesso de distribuidores de conteúdo como YouTube e Netflix.
Porém, limitações na capacidade e instabilidade de uma rede impactam na qualidade de
experiência (QoE) do usuário. Neste trabalho, propõe-se um modelo de avaliação de qualidade
do streaming de vídeo, e a sua implementação em dispositivos moveis. O modelo proposto
considera as degradações espaciais dos quadros do vídeo e as interrupções temporais. Os
resultados experimentais apresentam o impacto dos fatores de degradação na QoE; destacando-
se que o modelo proposto alcançou uma alta correlação com testes subjetivos. Adicionalmente,
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51257
a implementação no dispositivo móvel é de baixo consumo na capacidade de processamento e
de energia.
Palavras-chave: streaming de vídeo, qualidade de vídeo, dispositivos moveis, consumo de
energia.
ABSTRACT
The traffic volume of video streaming service has increased considerably in recent years due to
the success of content distributors such as YouTube and Netflix. However, limitations in
network capacity and instability, impact the user Quality of Experience (QoE). In this work, a
quality assessment model for video streaming service is proposed and implemented in mobile
devices. The proposed model considers the spatial degradations of the video frames and the
temporal interruptions. The experimental results show the impact of degradation factors on the
user's QoE; emphasizing that the proposed model achieved a high correlation with subjective
tests. Furthermore, the implementation on the mobile device has a low consumption in both
processing capacity and energy.
Keywords: video streaming, video quality, mobile devices, energy consumption.
1 INTRODUÇÃO
A cada dia, o número de usuários dos serviços de vídeo oferecidos na Internet vem
aumentando, principalmente devido à popularidade que os serviços de streaming de vídeo têm
atingido, gerando assim um enorme volume de tráfego. Entre os fornecedores e distribuidores de
conteúdo de vídeo de maior sucesso, que utilizam o streaming de vídeo, destacam-se: Youtube,
Netflix, Vimeo e Hulu. Segundo estudos realizados pela Cisco, o streaming de vídeo na Internet
alcançará o 76% do tráfego total da Internet em 2023, e nesse mesmo ano, haverá 5,7 bilhões de
usuários móveis no mundo, que corresponderia ao 71% da população mundial. Esses usuários móveis
contribuem para o aumento do tráfego de streaming de vídeo.
Com resoluções de vídeos de alta qualidade, enormes quantidades de dados estão sendo
entregues; porém, esse volume de tráfego pode ocasionar problemas como: latência, perdas de
informação, largura de banda insuficiente. Essa instabilidade da rede afeta a qualidade do vídeo
recebido e consequentemente a Qualidade de Experiência (QoE) do usuário. De forma similar esse
efeito é dado em outras aplicações no serviço de comunicações [Affonso et al. 2016],[Affonso et al.
2018],[Da Silva et al. 2018], [De Almeida et al. 2019],[Militani et al. 2019],[Rodriguez et al.
2019],[Nunes et al. 2019], [Vieira et al. 2020]. O conceito de QoE aplicado em outras áreas [Rosa et
al. 2018],[Lasmar et al. 2019]. Atualmente, os serviços de vídeo streaming utilizam o Hyper Text
Transfer Protocol (HTTP) que usa o Transport Control Protocol (TCP) como protocolo de camada
de transporte. Assim, a entrega baseada em HTTP/TCP fornece confiabilidade e simplicidade de
implantação [Hisamatsu, Hasegawa, and Murata 2011],[Freire et al. 2020].
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51258
Um problema comum na Internet é o congestionamento, devido à redução de largura de banda
ou presença de múltiplos usuários [Jiang, Sekar, and Zhang 2014], [Da Costa et al. 2016]. Para
minimizá-lo, os mecanismos de controle de congestionamento para TCP são implementados [Cai,
Shen, Pan, and Mark 2005]. O TCP ao detectar perdas de pacotes diminui a taxa de transferência, e
se essa nova taxa for menor que a taxa de reprodução, o player esvazia toda a informação do buffer
e, em seguida, realiza um processo de rebuffering. Durante esse período de interrupção temporal,
chamado de pausa, nenhuma informação é exibida, degradando a QoE do usuário final [Coelho and
Melo 2016]. Portanto, é imprescindível determinar métodos de avaliação de qualidade de vídeo que
também considerem as degradações no domínio do tempo, e que devem ser executados no dispositivo
do usuário final.
É importante destacar que as métricas focadas unicamente na avaliação da qualidade da
imagem de cada quadro de um vídeo, como: Peak signal-to-noise ratio (PSNR), Structural SIMilarity
(SSIM), Video Quality Metric (VQM), entre outras, não são suficientes, pois elas avaliam a
degradação espacial do vídeo, mas não a temporal, sem puder determinar a qualidade global do vídeo
na recepção. Nos últimos anos, diferentes métricas de QoE para o streaming de vídeo foram propostas
[Hoßfeld et al. 2011],[Mok et al. 2011],[Begazo et al. 2011][Rodríguez et al. 2012],[Ghadiyaram et
al. 2014], [Rodríguez et al. 2014],[Xue, Erkin, and Wang 2015],[Duanmu et al. 2017], todas elas
focadas nos parâmetros relacionados às interrupções temporais ocorridas na transmissão do vídeo,
como: número, duração, frequência e localização temporal de pausas. Os valores desses parâmetros
são extraídos de uma aplicação implementada no buffer do player que detecta o início e o término de
uma pausa, os quais estão relacionados a limiares de informação armazenada. Deve-se salientar que
atualmente estão disponíveis novos formatos de metadata que incorporarão informações de qualidade
de vídeo e consumo de energia que pode variar no tempo [MPEG 2015]. Assim, as informações de
qualidade espacial no servidor de vídeo podem estar disponíveis também no cliente.
Neste contexto, o objetivo principal deste artigo é propor e implementar em um dispositivo
móvel, um novo modelo de avaliação da qualidade global de vídeo (QGV) no serviço de streaming,
que considera tanto degradações no domínio de tempo quanto no espaço, em um único índice de
qualidade, diferente dos trabalhos, [Mok et al. 2011], [Rodríguez et al. 2012], [Ghadiyaram 2014],
[Wang 2015][Duanmu 2017]. Para atingir esse objetivo, uma base de dados (BD) foi construída a
partir de vídeos originais, a qual foi utilizada para determinar e validar o modelo QGV proposto. Essa
BD considera sequencias de vídeos que apresentam degradações do tipo espacial e temporal. Para
validação de desempenho, testes subjetivos foram realizados, e os resultados alcançados pelo modelo
QGV alcançou uma alta correlação. Adicionalmente, o desempenho da implementação do QGV no
dispositivo móvel e seu impacto na capacidade de processamento é avaliado utilizando testes
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51259
subjetivos. Para avaliar o consumo de energia é utilizado um circuito simples que permite medir o
consumo na bateria do dispositivo. Os resultados experimentais mostraram que o desempenho global
do dispositivo e a QoE do usuário não são afetados.
O restante deste artigo esta organizado da seguinte maneira: a Seção 2 apresenta os principais
trabalhos relacionados. O modelo de avaliação de qualidade de vídeo proposto é descrito na Seção 3.
A metodologia de testes é detalhada na Seção 4. Os resultados experimentais e as discussões são
apresentados na Seção 5. Por fim, as conclusões são apresentadas na Seção 6.
2 MÉTODOS DE AVALIAÇÃO DE QUALIDADE DE VÍDEO
Nos últimos anos vem sendo realizados estudos para se determinar um método de avaliação
com um maior grau de exatidão; ou seja, com índices que tenham uma alta correlação com os testes
subjetivos.
Os métodos de avaliação de vídeo podem ser classificados considerando diferentes critérios.
No caso de utilizar o valor médio de pontuações de qualidade (MOS) outorgadas por um grupo de
pessoas é denominado como método subjetivo; e no caso que a estimação da pontuação seja obtida
por um algoritmo, é considerado como método objetivo.
Os métodos subjetivos de avaliação da qualidade de vídeo em aplicações de multimídia são
baseados no conteúdo de vídeo usando o julgamento de um observador e são descritos na
Recomendação ITU-T P.910 [Rec. ITU-T P.910]. As metodologias apresentadas nesta recomendação
são: ACR (Absolute category rating); ACR-HR (Absolute category rating with hidden reference);
DCR (Degradation category rating); PC (Pair comparison method). Por outro lado, a descrição da
metodologia e o procedimento para criar uma referência de vídeo são descritas na Recomendação
ITU-T P.930 [Rec. ITU-T P. 930]. A escala de qualidade de 5 pontuações descrita na metodologia
ACR, a qual é utilizada neste trabalho, é apresentada na Tabela 1 [Rec. ITU-T P.910].
Tabela 1. Escala MOS de 5 pontuações descritas na Metodologia ACR
Descrição adjetiva da qualidade Valor do índice de qualidade (MOS)
Muito bom 5
Bom 4
Regular 3
Ruim 2
Muito Ruim 1
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51260
Por outro lado, diferentes critérios podem ser utilizados para classificar os métodos objetivos
de avaliação de qualidade de vídeo. A União Internacional de Telecomunicações (UIT) define
diferentes categorias para os métodos objetivos dependendo do tipo de informação considerada na
entrada do algoritmo de avaliação, sendo estas categorias [Takahashi, Hands, and Barriac 2008]:
Modelo baseado na mídia, o qual utiliza como entrada o sinal de vídeo; assim, não é necessário
conhecer a rede onde o vídeo foi transmitido.
Modelo baseado no nível dos parâmetros dos pacotes, este modelo considera só os cabeçalhos
para estimar a qualidade do vídeo, e não a informação contida nos pacotes transmitidos.
Modelo baseado nos parâmetros de planejamento, o qual se baseia no conhecimento dos
parâmetros da rede e dos elementos que fazem parte da comunicação, como largura de banda,
latência media ou os codificadores empregados.
Modelo baseado no nível de fluxo de bits, que utiliza todos os bits transmitidos, toda informação
do cabeçalho e de carga útil.
Modelos Híbridos, que são os métodos que misturam dois ou mais dos modelos descritos
anteriormente.
As métricas objetivas de avaliação de qualidade espacial do vídeo, estima a qualidade
de cada quadro. As métricas de qualidade mais citadas na literatura, e que são utilizadas no presente
trabalhos são:
PSNR (Peak Signal to Noise Ratio): Esta métrica é uma das primeiras e mais empregados na
literatura, pois tem um significado geométrico claro e pode ser calculado de uma forma
simples; porém, não tem uma alta correlação com os resultados de testes subjetivos. Esta
métrica depende da diferença entre a imagem original e a imagem degradada. O PSNR é
calculado a partir do RMSE (Root Mean Square Error), o qual é obtido ao calcular o valor
médio da subtração entre o quadro de imagem original e o quadro da imagem degradada,
segundo a equação 1.
1 (1)
onde, f é o quadro original, f’ o quadro degradado, N e M são as dimensões da matriz que
representa a imagem. O PSNR é obtido a partir da equação 2.
1
0
1
0
2'
*
1 M
m
N
n
nmfnmfNM
RMSE
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51261
(2)
SSIM (Structural SIMilarity): Esta métrica se baseia no modelo visual humano, pois considera
que as imagens são altamente estruturadas, e estas dependências contêm informações muito
relevantes da estrutura do objeto [Wang, Bovik and Sheikh 2004]. A informação estrutural
em uma imagem é definida, como os atributos que representam a estrutura do objeto,
independente da luminosidade e do contraste. Na Figura 1, adaptada de [Wang, Bovik and
Sheikh 2004], é apresentado o diagrama de blocos funcional do sistema utilizado para obter o
índice de qualidade SSIM.
Figura 1. Diagrama de blocos funcional da métrica SSIM
A equação 3 define a relação dos três elementos considerados: luminosidade, contraste
e estrutura da imagem.
(3)
Onde a função de brilho é presentada em (4), onde μ denota a intensidade do brilho
médio das imagens x e y, e C1 é uma constante de ajuste.
(4)
A função de contraste é determinada por (5), onde σ representa o desvio padrão da
amostra do brilho das duas imagens, e C2 é uma constante de ajuste.
RMSEPSNR /25010log20
)),(),,(),,((),( yxsyxcyxlfyxS
1
22
12),(
C
Cyxl
yx
yx
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51262
(5)
A função de comparação estrutura a seguir, onde σxy é a covariação de amostras de
luminosidade das duas imagens, e C3 é uma constante de ajuste.
(6)
Finalmente, considerando que C2 = C3/2, o índice SSIM é obtido por:
(7)
VQM (Video Quality Metric), esta métrica utiliza a transformada discreta de cosseno (DCT).
Trabalhos anteriores apresentam o modelo de qualidade de vídeo que também incorpora o
DCT, mas o modelo apresentado considera dois tipos de matrizes, uma matriz chamada matriz
de sensibilidade ao contraste para quadros estáticos e outro para quadros dinâmicos aplicados
na mesma etapa para reduzir processamento SCSF (Spatial Contrast Sensitivity Function). Na
Figura 2, adaptada de [Xiao 2000], podem ser observadas as principais etapas funcionais do
modelo VQM.
Figura 2 - Diagrama de blocos do modelo VQM.
Recentemente, os métodos de avaliação de qualidade no serviço de streaming de vídeo
consideram as interrupções temporais como fatores degradantes, e baseados nas caraterísticas delas
como: numero, duração e frequência se determinam modelos de avaliação. Nos últimos anos,
diferentes modelos foram propostos [Hoßfeld et al. 2011],[Mok et al. 2011],[Rodríguez et al.
2012],[Ghadiyaram et al. 2014],[Xue, Erkin, and Wang 2015],[Duanmu et al. 2017]. Os resultados
obtidos pelas soluções descritas nesses trabalhos alcançam resultados correlacionados com testes
subjetivos, demonstrando-se o real impacto da presencia de pausas durante a transmissão, na QoE
2
22
22),(
C
Cyxc
yx
yx
3
3),(
C
Cyxs
yx
xy
))((
)2)(2(),(
2
22
1
22
21
CC
CCyxSSIM
yxyx
yxyx
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51263
dos usuários. Porém, ainda não existe um padrão internacional de avaliação de qualidade que
considere as degradações do vídeo que acontecem no domínio do tempo.
É importante destacar, que algumas soluções como DASH (do inglês, Dynamic Adaptive
Streaming over HTTP), utilizam os resultados dos modelos de qualidade que consideram as pausas,
para determinar qual é a resolução mais apropriada do próximo quadro de vídeo a ser transmitido,
em conjunto com outros parâmetros de rede [Rodriguez et al. 2016],[Lentisco et al. 2017].
Neste trabalho, ambos os fatores de degradação de qualidade espacial e temporal do serviço
do streaming do vídeo são considerados no modelo QGV proposto, o qual é apresentado na seguinte
seção.
3 MODELO PROPOSTO DE AVALIAÇÃO DE QUALIDADE GLOBAL DE VÍDEO
STREAMING
A Figura 3 apresenta os principais componentes da solução proposta, modelo QGV, para
avaliação de QoE dos usuários no serviço de streaming de vídeo.
Figura 3. Principais elementos do modelo de avaliação de qualidade no serviço de streaming de vídeo.
Pode-se observar que no servidor de vídeo se realiza uma avaliação espacial de qualidade do
vídeo a ser transmitido; essa informação de valor de qualidade é inserida no arquivo metadata de
acordo com [MPEG 2015] que logo é transmitido ao cliente. Nesta etapa são utilizadas diferentes
métricas intrusivas de qualidade, amplamente citadas em trabalhos relacionados, como PSNR, SSIM
e VQM, cujos modelos foram descritos na seção anterior. O valor de índice de qualidade determina
o modelo de Qualidade Espacial do Vídeo (QEV), definido em (8):
),(max otransmitidoriginal VVMQMQEV (8)
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51264
onde, QMmax é o máximo valor na escala de qualidade da métrica utilizada, M(.) representa o
operador de qualidade da métrica; idealmente o vídeo a ser transmitido é o vídeo original, obtendo a
máxima pontuação de qualidade do operador M(.). Assim, QEV estima a degradação do vídeo
transmitido em relação de uma versão de alta qualidade. Com o intuito de apresentar os resultados
em uma única escala, os valores foram ajustados na escala de 0 a 5; onde 0 e 5 representam o mínimo
e máximo valor de qualidade, respectivamente.
No lado do cliente, têm-se dois processos que se realizam em paralelo. O primeiro, referente
à decodificação do arquivo metadata para a leitura do campo do índice de qualidade espacial dos
quadros do vídeo recebido. O segundo processo é referente ao player customizado, ele monitora os
valores de carga do buffer para determinar o inicio e termo de um processo de rebuffering, que
determina o evento de uma pausa. Com a informação obtida do buffer, pode-se determinar para um
determinado segmento de vídeo: o número de pausas, a frequência delas, a duração e a localização
temporal de cada uma.
Em seguida, um algoritmo de avaliação que considera as degradações temporais é modelado.
É importante destacar que o atraso inicial não será considerado como pausa e sim com fator de
degradação adicional. Denominaremos a este modelo de: Qualidade Temporal do Vídeo (QTV), o
qual é apresentado a seguir:
)(),,,( BdTPDNdQTV atrasopausa (9)
onde, dpausa(.) é o operador que estima a degradação causadas pela presença das pausas,
dependente dos parâmetros: N é o número de pausas, D representa a duração media das pausas, P é
o peso de degradação respeito à posição temporal da pausa e T é a duração do vídeo analisado; datraso(.)
é o operador que estima a degradação causada pelo atraso inicial, o qual depende do parâmetro B que
representa o atraso inicial do buffer.
O parâmetro P esta relacionado com o impacto na QoE do usuário de uma pausa acontecer no
início, na parte intermédia ou no final do vídeo analisado. Assim, uma pausa que acontece no começo
do vídeo poderia ter uma degradação diferente das que acontecem em outro segmento do vídeo. Neste
trabalho foram considerados três segmentos de vídeo.
Para modelar o operador dpausa(.) foi proposta a seguinte relação matemática, cujas variáveis
foram determinadas por meio de testes subjetivos:
n
i i
iiipausa
T
PDNkd
1
)..
exp(5 (10)
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51265
onde, k é uma constante de ajuste de escala, n representa o número total de quadros que
compõem o vídeo analisado; os demais parâmetros correspondem aos descritos na equação (9). É
importante salientar que foram testadas diferentes funções, como linear e polinomial de segunda e
terceira ordem, e a função exponencial foi a mais correlacionada com os resultados dos testes
subjetivos. Também, a metodologia ACR com a sua escala MOS de 5 pontuações, apresentada na
Tabela 1, forma empregadas nos testes subjetivos por ser a mais utilizada na literatura. Note-se que
o operador modelado determina o valor da degradação e não a qualidade resultante do vídeo.
De forma similar, o operador datraso(.) é modelado utilizando a função exponencial, como
segue:
5 exp( / )atrasod z A T (11)
onde, z é uma constante de ajuste de escala, α é o fator de decaimento da função exponencial,
A é a duração do atraso inicial, e T representa a duração total do vídeo. Deve-se destacar que nos
testes realizados para definir o operador datraso(.) só foi considerado essa única degradação, não foram
incluídas pausas e nenhuma outra degradação espacial nos quadros do vídeo.
Finalmente, definidos os modelos QEV e QTV, o modelo QGV proposto para o serviço de
streaming de vídeo é definido por:
QTVQEVQGV 5 (12)
4 CENÁRIO E METODOLOGIA DE TESTE
Nesta seção, os critérios utilizados na construção de uma base de dados, a metodologia
empregada na realização dos testes subjetivos, e a implementação do estimador de qualidade no
dispositivo móvel são tratados.
4.1 BASE DE DADOS DE VÍDEOS
Para a realização de testes foi criada uma base de dados, cujos arquivos originais foram
obtidos de [Chen et al. 2014]. Esses arquivos de vídeo originais, que não possuem degradações
espaciais de quadros, foram degradados utilizando o cenário de teste da Figura 4. Como o objetivo,
nesta etapa, foi criar uma base de dados utilizou-se um computador no receptor para facilitar a
armazenagem dos vídeos.
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51266
Figura 4. Cenário de teste utilizado na degradação de vídeos.
O emulador de rede foi implementado utilizando a ferramenta NETem de licença aberta, no
qual se pode configurar a variação de parâmetros de rede como: perda de pacotes, variação de atrasos
e largura de banda. Neste cenário, o streaming de vídeo foi realizado utilizando o protocolo de
transporte UDP. No servidor de vídeo é instalada a versão web 2.2.21 do Apache rodando em uma
distribuição Linux. No cliente, os vídeos degradados foram salvos.
Em total, foram utilizados 8 vídeos originais, dos quais 4 vídeos, de duração de 90 segundos,
foram submetidos a três tipos de degradações, resultando em degradações de baixa, media e alta
intensidade. Os parâmetros utilizados foram perda de pacotes (1%, 5% e 10%) e variação de atrasos
(0ms, 4ms e 6ms). Assim, foram criados 12 vídeos que contem quadros com degradações espaciais.
Em seguida, as degradações temporais foram inseridas nos 8 vídeos originais e os 12 vídeos
obtidos na etapa anterior. Para isso, fizeram-se testes de streaming de vídeo utilizando o protocolo
TCP, para obter um padrão de distribuições de pausas; posteriormente, para manter um mesmo padrão
de degradação em cada um dos vídeos, se utilizou um editor, no qual a interrupção temporal consiste
em repetir um quadro o número de vezes necessárias para alcançar uma duração de pausa especifica.
Assim, foram considerados os seguintes padrões de distribuição de pausas com diferentes durações
de cada pausa que acontecem em três diferentes segmentos do vídeo, como apresentado na Tabela 2.
Tabela 2. Distribuição de pausas de diferentes durações e considerando três segmentos temporais
ID de
Padrão
Primeiro Segmento
(tempo em seg.)
Segundo Segmento
(tempo em seg.)
Terceiro Segmento
(tempo em seg.)
P_1 0,5 ; 2 --- ---
P_2 --- 0,5 ; 2 ---
P_3 --- --- 0,5 ; 2
P_4 4 2 2
P_5 2 4 2
P_6 2 2 4
P_7 0,5 ; 2 ; 4 0,5 ; 2 4
P_8 4 0,5 ; 2 0,5 ; 2 ; 4
P_9 0,5 ; 0,5 ; 4 ; 4 0,5 ; 0,5 ; 4 ; 4 0,5 ; 0,5 ; 4 ; 4
Servidor de vídeo Emulador de Rede Cliente
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51267
Assim, obtiveram-se 72 sequencias de vídeo com degradações somente temporais e 108
vídeos com degradações espaciais e temporais simultaneamente. Os 72 vídeos foram usados para
modelar o operador dpausa.
Adicionalmente, para avaliar o impacto do atraso inicial foram utilizados dos diferentes vídeos
de 60 e 90 segundos de duração nos quais foram inseridos atrasos iniciais de 2, 4, 8, 12, 16 e 20
segundos. Nenhum outro tipo de degradação foi inserido nesses 12 vídeos.
Finalmente, em 24 vídeos, dos 108 vídeos com degradações espaciais e temporais, foram
inseridos atrasos iniciais, para obter sequencias de vídeos que incluam todos os tipos de degradações.
Esses 132 vídeos, que contém duas ou mais degradações foram usados na etapa de validação do
desempenho do modelo proposto. Assim, se elaborou uma base de um total de 228 vídeos, sem incluir
os vídeos originais, que foram usados como material de teste.
4.2 METODOLOGIA DE TESTES SUBJETIVOS
Os testes foram realizados em um ambiente laboratorial, em um período de 17 semanas, no
qual o laboratório não teve mudanças. No início de cada teste, a metodologia foi explicada, onde a
escala de qualidade e pontuações da Tabela 1 foi apresentada; também, alguns vídeos adicionais
foram usados como pré-teste com o objetivo de entender melhor a metodologia. Os testes foram
individuais e não se limitou o tempo para outorgar uma pontuação; e considerando a quantidade de
vídeos, um avaliador podia participar em diferentes dias, para evitar fatiga visual.
Os vídeos foram apresentados aos avaliadores voluntários utilizando, um tablet de 10,1
polegadas e um smartphone de 6,2 polegadas. Os vídeos do mesmo grupo de tipo de degradação
foram divididos em dois grupos para ser apresentados em cada um dos dispositivos. Na execução dos
testes tomaram-se as medidas para não ter objetos próximos, nem reflexos de luz sobre a tela dos
dispositivos para não perturbar a atenção dos avaliadores.
Em total, 186 avaliadores voluntários participaram nos testes, dos quais 101 foram mulheres
e os restantes homens; todos eles declararam não ter problemas de visão. Para determinar o índice
MOS de cada vídeo, foram consideradas pelo menos 15 avaliações. Com os resultados obtidos foi
realizada uma análise estatística para determinar outliers; logrando-se identificar 7 avaliações, as
quais foram descartadas.
Os resultados obtidos nos testes subjetivos foram utilizados para determinar e validar o
modelo de avaliação de qualidade de streaming de vídeo. Adicionalmente, testes subjetivos foram
realizados para avaliar a aplicação instalada considerando o impacto da aplicação no processamento
e no consumo de energia.
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51268
4.3 IMPLEMENTAÇÃO E AVALIAÇÃO DO MODELO QGV NO DISPOSITIVO MÓVEL
Com o objetivo de validar a implementação do estimador de qualidade em dispositivos
móveis, se realizou a medição do consumo de processamento e o consumo de bateria para analisar o
impacto no desempenho global do dispositivo. Adicionalmente, se realizaram testes subjetivos, com
a finalidade de avaliar a QoE do usuário.
Para capturar os parâmetros do buffer do player de vídeo, um player personalizado foi
implementado. Os parâmetros ou eventos que podem ser capturados do buffer são: (a) o período de
tempo de início do buffer; (b) período de execução, em qual o vídeo é exibido continuamente sem
pausas; (c) período de recarga do buffer, durante esse período, as pausas aparecem. Considerando
esses eventos de buffer, o número, a duração e a localização temporal das pausas podem ser obtidos.
Além disso, a duração do atraso inicial do buffer pode ser determinada. Além disso, a aplicação
recebe do servidor a qualidade espacial do vídeo utilizando a informação de metadata.
Para avaliar o desempenho da métrica proposta em termos de processamento e consumo de
energia, foram realizados testes adicionais usando os seguintes dispositivos:
Um tablet com tela de 10,1 polegadas, capacidade da bateria de 6150 mAh e tensão nominal
de 3,8 V, 2 GB de memória e processador octacore de 2x1,8 GHz e 6x1,6 GHz.
Um smartphone com tela de 6,2 polegadas, 2 GB de memória e com processador octa-core de
4x2,7 GHz e 4x1,7GHz, com capacidade de bateria de 3000 mAh e tensão nominal de 3,8 V.
A Figura 5 apresenta o cenário móvel de teste, o qual é baseado no cenário de geração de vídeos
apresentado na Figura 4, no qual o NETem controla a largura de banda disponível da transmissão do
canal. O cenário de teste foi isolado e não houve mais dispositivos sem fio conectados na mesma
rede. O estimador proposto foi implementado em ambos o smartphone e o tablet. É importante
destacar que nestes testes foram usados vídeos de mais longa duração (2 vídeos de 16 minutos) para
poder avaliar apropriadamente o impacto no desempenho do dispositivo.
Figura 5. Cenário de teste para avaliar como impacta a aplicação instalada no desempenho dos dispositivos moveis.
Cliente / Usuário
NETEMSERVIDOR
DE VÍDEO
QGV QGV
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51269
Finalmente, foram medidos os valores de consumo de energia na bateria do dispositivo, para
validar o impacto que tem no dispositivo.
5 RESULTADOS E DISCUSSÕES
Em primeiro lugar, foram analisados os resultados dos testes subjetivos realizados para avaliar
o impacto do atraso inicial na QoE do usuário. A Figura 6 apresenta os resultados obtidos, que
considera os 6 atrasos iniciais para cada vídeo. Note-se que os resultados são apresentados
considerando a relação: atraso inicial e duração do vídeo, pois a duração de ambos os vídeos não foi
a mesma.
Figura 6. Cenário de teste utilizado na degradação de vídeos.
Com esses resultados, o operador datraso definido em (11) foi determinado com os valores de
z = 4,745 e α=-1,767; assim, esse operador alcançou um coeficiente de correlação de Pearson (PCC)
= 0,9849, R2=0,9731 e um erro absoluto máximo de 0,17 na escala MOS de 5 pontuações.
Em seguida foram analisados os resultados correspondentes aos 72 vídeos que contem
diferentes distribuições de pausas. Deve-se esclarecer que os testes subjetivos foram realizados para
obter a pontuação MOS global do vídeo e não a degradação. Assim, 72 índices MOS foram obtidos,
um para cada vídeo avaliado; obtendo-se um sistema de equações:
n
i i
iiiV
T
PDNkMOS
1
1 )..
exp(55 (13)
onde, o MOSV1 representa o resultado de avaliação do vídeo 1 e os parâmetros são os mesmos
que os definidos em (9).
Para obter um sistema de equações lineares usamos o Ln, e considerando o número de
segmentos temporais, n, igual a 3; obtemos a seguinte relação para o primeiro vídeo analisado:
3 3 31 1 1 2 2 21
1 2 3
( ) ( )V
N D PN D P N D PLn MOS Ln k
T T T (14)
1
2
3
4
5
0% 10% 20% 30% 40%
Ind
ice
de
Qu
alid
ade
(M
OS)
Atrasso Inical/ Duração do Vídeo
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51270
Assim, obtemos um sistema linear de 72 equações com as variáveis a ser determinadas: k, P1,
P2 e P3.
1, 1, 2 1
2, 2, 2 2
1
2
3
72, 72, 2 72
1 .... ( )( )
1 .... ( )
: : : :
: : : :
1 .... ( )
V x V x V
V x V x V
V x V x V
t t Ln MOSLn k
t t Ln MOSP
P
Pt t Ln MOS
(15)
onde, 1,V xt a
1, 2V xt representam três termos apresentados na equação anterior para o primeiro
vídeo, especificamente: 1 11, 1 / ,V x N Dt T
21, 1 2 2 and/ V xt N D T 3 3 31, 3 /V xt N D T ;
2,S xt , os vídeos
restantes também usam essa mesma representação. Para a resolução deste sistema de equações
lineares é utilizado o método de mínimos quadrados, especificamente o pseudo-inverso; obtendo-se
o valor de k = 4,23 e os seguintes pesos de degradação para cada um dos 3 segmentos temporais:
Figura 7. Peso de degradação dos três segmentos temporais na qualidade global do vídeo.
Como pode observar-se na Figura 7, o segmento temporal no início do vídeo obteve um peso
maior de degradação na qualidade do vídeo, o que indicaria que pausas no inicio da transmissão do
vídeo afetam com maior intensidade a QoE do usuário. Com os resultados até agora obtidos o modelo
QTV já é definido.
Na Figura 8 (a) pode-se observar o impacto do número de pausas, considerando uma duração
fixa de pausa (4 segundos) e em (b) se observa o impacto da duração das pausas para um número fixo
de pausas (4 pausas), na degradação da qualidade do vídeo determinado pelo modelo QTV. Para
ambos os testes se considerou que as pausas afetaram unicamente o primeiro segmento temporal. Os
resultados foram obtidos usando a relação (13).
0,5
0,7
0,9
1,1
1,3
1,5
P1 P2 P3
Peso
de
Deg
rad
ação
po
r Se
gem
nto
Tem
po
ral
Segmento Temporal
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51271
Figura 8. Efeito da ocorrência de pausas no streaming de vídeo. (a) Impacto do número de pausas e (b) duração de
pausa na qualidade do vídeo.
Para avaliação dos algoritmos PSNR, SSIM e VQM, os resultados obtidos por cada um foram
transformados no range da escala de 0 a 5. Como o valor máximo do PSNR é infinito consideramos
como o limiar máximo o valor 50. Nesta etapa, só foram avaliados nos testes subjetivos, os 12 vídeos
que apresentam somente degradações espaciais nos quadros. O desempenho foi avaliado utilizando
o PCC, com base aos resultados dos testes subjetivos. A Tabela 3 apresenta os resultados médios das
três classes de intensidades de degradações utilizadas: baixa (1% e 0 ms.), media (5% e 2 ms.) e alta
(10% e 6ms.); assim, cada classe esta composta por 4 vídeos degradados.
Tabela 3. Avaliação do desempenho dos algoritmos SSIM, VQM e PSNR considerando três intensidades de
degradações de vídeo.
Intensidade de Degradação SSIM VQM PSNR
Baixa 0,9217 0,8926 0,7783
Média 0,9004 0,8811 0,7126
Alta 0,8755 0,8543 0,6238
Com base nos resultados apresentados na Tabela 3, o algoritmo SSIM foi escolhido como o
operador M(.) definido em (8).
Com os resultados obtidos o modelo QGV proposto está definido com todos os seus
parâmetros; assim para avaliar o seu desempenho foram realizados testes subjetivos, em um ambiente
laboratorial, utilizando vídeos que continham degradações espaciais, temporais e em alguns casos
incluíam o atraso inicial, foram utilizados 132 vídeos como material de teste. É importante salientar
que os avaliadores que participaram nos testes referentes à determinação do modelo não participaram
nos testes de validação. A Tabela 4 apresenta os valores do PCC e o erro máximo absoluto que
alcançou o modelo QGV em relação aos resultados dos testes subjetivos.
(a) (b)
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51272
Tabela 4. Avaliação do Desempenho do Modelo QGV utilizando Testes Subjetivos
PCC (QGV / T. Subjetivo ) Erro Max. Abs. (QGV / T. Subjetivo )
0,9781 0,2934
Uma vez validada a acurácia do QGV, se passou a analisar a percepção do usuário ao utilizar a
aplicação instalada no dispositivo móvel.
Um total de 29 participantes avaliaram duas sequências de vídeo adicionais usando o cenário
de teste representado na Figura 10. Como afirmado anteriormente, a duração de cada sequência de
vídeo foi de 16 minutos, e os dois vídeos foram apresentados em cada dispositivo. Cada vídeo recebeu
pelo menos 15 pontuações. Os avaliadores são convidados a assistir a duas sequências de vídeo que
correspondem ao mesmo vídeo com e sem a implementação do QGV no dispositivo móvel. Vale
ressaltar que nenhum outro aplicativo estava sendo executado em cada dispositivo ao mesmo tempo
da sessão de streaming de vídeo. Assim, os avaliadores analisaram subjetivamente a facilidade de uso
do aplicativo respeito aos recursos consumidos usando a escala de 5 pontos apresentada na Tabela 1.
Os resultados experimentais são apresentados na Tabela 5, considerando os valores médios nos dois
dispositivos.
Tabela 5. Avaliação perceptual da aplicação instalada no dispositivo
Parâmetro analisado Valor perceptual de qualidade
Processamento
(percepção de sobrecarga e lentidão)
4,9
Energia consumida
(percepção de consumo de bateria)
4,7
Como pode ser observado na Tabela 5, os valores de qualidades percebidos pelos avaliadores
são bastante alto, considerando que o valor máximo da escala é 5, indicando que na percepção do
usuário a aplicação QGV não afeita o desempenho do dispositivo, não apresento que o dispositivo
ficara mais lento e a bateria tampouco foi afetada.
Para obter valores numéricos objetivos de medição da bateria, se conecto um circuito simples
diretamente à bateria do dispositivo para poder monitorar os valores de corrente e bateria, como
apresentado na Figura 9. O micro-controlador de baixo custo foi o Arduino UNO R3 e foram
utilizadas as entradas analógicas A1 e A2, conjuntamente com a porta terra (GND). O valor de R1 é
de 0,22 Ohm. Com este circuito a energia consumida pode ser determinada.
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51273
Figura 9. Circuito montado para medir a corrente e voltagem diretamente da bateria do dispositivo.
Para o cálculo, consideramos que o parâmetro de descarga da bateria que representa a carga
consumida pela bateria durante a reprodução do vídeo I [mAh] é estimado usando a seguinte relação
[Trestian, et al. 2012]:
])[(6,3
][][
VVoltagem
JEnergiamAhI (16)
Para calcular o valor da descarga I [mAh] em (16), a energia consumida durante a reprodução
do vídeo é medida usando o circuito apresentado na Figura 9. O valor da tensão V em (16)
corresponde à tensão nominal de 3,8 V para ambos os dispositivos. Nesse teste, foram utilizadas as
mesmas duas sequências de vídeo com 16 minutos de duração; cada um foi reproduzido quatro vezes.
Os valores médios de descarga causados pelos vídeos com e sem a implementação do QGV foram:
para a tablet 1928,11 mAh e 1918,48 mAh, respectivamente; e para o smartphone 1704,22 mAh e
1697,79 mAh, respectivamente. Assim, o valor da descarga é incrementado em apenas 9,63 mAh
(0,50%) e 6,43 mAh (0,379%) quando o QGV está em execução no tablete e smartphone,
respectivamente. Esses resultados demonstraram que não houve impacto negativo significativo no
desempenho do dispositivo móvel. Isso ocorre porque a métrica proposta é baseada apenas nos
parâmetros da camada de aplicação e consome processamento e energia desprezíveis em relação ao
player de vídeo.
6 CONCLUSÕES
Na avaliação do serviço de streaming de vídeo tanto as degradações espaciais quanto as
degradações temporais devem ser consideradas. O modelo proposto neste trabalho considera esses
dois tipos de degradações e atingiu valores altos de acurácia. É importante destacar que os parâmetros
do modelo proposto são extraídos do buffer do tocador do vídeo o que resulta em um modelo de baixo
consumo de recursos de processamento do dispositivo do usuário. O modelo considera o uso da
recomendação [MPEG 2015], onde o índice de qualidade espacial é transmitido. Adicionalmente,
+
-R1
Bateria
Micro controlador
GNDA-1 A-2
serial
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51274
uma base de vídeos degradados foi criada para testes e validação do modelo proposto, a qual inclui
vídeos com: atraso inicial, pausas e degradação espacial nos quadros do vídeo, contendo um só tipo
degradação, ou um conjunto de dois ou três deles.
Os resultados alcançados na avaliação do desempenho apresentam uma acurácia alta do
modelo proposto QGV, alcançando: PCC de 0,9781 e erro máximo absoluto de 0,2934, na escala de
0 a 5, em relação aos resultados experimentais dos testes subjetivos. Também se pode verificar o
impacto dos parâmetros na qualidade global do vídeo. Finalmente, a implementação do estimador de
qualidade proposto tem uma baixa complexidade porque é baseada em parâmetros de nível de
aplicação e seu consumo de energia é quase insignificante em relação à energia consumida pelo player
de vídeo que é menor ao 0,5 %; portanto, pode ser facilmente implementado em dispositivos
eletrônicos atuais sem afetar o desempenho dele. Também, o resultado dos testes subjetivos para
avaliar o desempenho da aplicação no dispositivo mostra que a QoE do usuário não é afetada. Como
trabalho futuro, pretende-se estudar como o modelo QGV pode auxiliar na adaptação de diferentes
resoluções de vídeo, utilizando DASH, procurando-se diminuir o número de pausas durante a
transmissão, com o intuito de melhorar a QoE do usuário.
REFERÊNCIAS
Affonso, E. T., Nunes, R. D., Rosa R. L., Pivaro, G. F. and Rodriguez D. Z. (2018), “Speech quality
assessment in wireless voip communication using deep belief network,” IEEE Access, 6(1), Oct.
2019, pages 77022-77032.
Affonso, E. T., Rodriguez D. Z, Rosa R. L., Andrade, T., Bressan, G. (2016) “Voice quality
assessment in mobile devices considering different fading models,” IEEE International Symposium
on Consumer Electronics (ISCE), Set. 2016, pp. 21-22.
Begazo D. C., Rodríguez D. Z. and Ramírez M. A. (2011), “Avaliação de qualidade de vídeo sobre
uma rede IP usando métricas objetivas,” Sistema, Cibernética e Informática 8 (1), May 2011, pp. 226-
229
Cai, L., Shen, X., Pan, J. and Mark, J. (2005) “Performance analysis of TCP friendly AIMD
algorithms for multimedia applications,” In IEEE/ACM Transactions on Networking, April, 2005,
pages 339-355.
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51275
Coelho, M. de S. and Melo, C (2016) “Estratégia de Adaptação de Fluxo de Vídeo Baseado em
Fatores de QoE,” In Simposio Brasileiro de Redes de Computadores e Sistemas Distribuidos, pages
272–285.
Da Costa Filho R. I. T., W. Lautenschlager, N. Kagami, V. Roesler and L. P. Gaspary, "Network
Fortune Cookie: Using Network Measurements to Predict Video Streaming Performance and QoE,"
IEEE Global Communications Conference, Washington, DC, 2016, pp. 1-6.
Da Silva, M. J., Melgarejo, D. C., Rosa R. L. and Rodriguez, D. Z. (2019),”Speech Quality Classifier
Model based on DBN that Considers Atmospheric Phenomena,” Journal of Communications
Software and Systems, 16(1), May, 2020, pages, 75-84.
De Almeida, F., Rosa, L. R. and Rodríguez D. Z. (2018), “Voice quality assessment in
communication services using deep learning,” In Proc. Int. Symposium on Wireless Communication
Systems (ISWCS), Aug. 2018, pp. 1-6
Duanmu, Z., Zeng, K., Ma, K., Rehman, A. and Wang, Z. (2017) “A quality-of experience index for
streaming video,” In IEEE Journal of Selected Topics in Signal Processing, 11(1), February 2017,
pages 154–166.
Freire. F. Silva, Carmona, J-V. C., Seixas, L. D. Valente, W. M., Kuribayashi, H. Caarvalho de Matos,
E. M., (2020) “Performance Evaluation of 2K and 4K Video Transmissions over Wireless Networks
in an Indoor Setting,” Brazilian Journal of Development, v. 6 n. 7, pp 42954-42968.
Ghadiyaram, D., Bovik, A. C., Yeganeh, H., Kordasiewicz, R. and Gallant, M. (2014) “Study of the
effects of stalling events on the quality of experience of mobile streaming videos,” In IEEE Global
Conference on Signal and Information Processing, December, 2014, pages 989–993.
Hiroki, O., Hisamatsu, H. and Noborio, H. (2011) “Design and Evaluation of Hybrid Congestion
Control Mechanism for Video Streaming,” In Proceedings of 11th IEEE International Conference
on Computer and Information Technology, Pafos, Cyprus, September, 2011, pages 585-590.
Hisamatsu, H., Hasegawa, G. and Murata, M. (2011) “Non bandwidth-intrusive video streaming over
TCP,” In International Conference on Information Technology, Las Vegas, U.S., April, 2011, pages
78-83.
Hoßfeld, T., Seufert, M., Hirth, M., Zinner, T., Tran-Gia, P. and Schatz, R. (2011) “Quantification of
YouTube QoE via crowdsourcing,” In IEEE International Symposium on Multimedia, December,
2011, pages 494–499.
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51276
Jiang, J., Sekar, V. and Zhang, H. (2014) “Improving fairness, efficiency, and stability in http-based
adaptive video streaming with festive,” In IEEE/ACM Transactions on Networking, 22 (1), February,
2014, pages 326–340.
Lasmar, E. L., de Paula F., Rosa R. L., Abrahão J. I., Rodríguez D. Z. (2020), “Rsrs: Ridesharing
recommendation system based on social networks to improve the user’s QoE,” IEEE Transactions
on Intelligent Transportation Systems,” 12(20), October 2019, pages 4728-4740.
Lentisco, C., Bellido L., Cuellar, J., Pastor, E. and Arciniegas, J. (2017), "QoE-Based Analysis of
DASH Streaming Parameters Over Mobile Broadcast Networks," In IEEE Access, 1(5), September
2017, pages 20684–20694.
Militani, D., Vieira, S., Valadão, E., Neles, K., Rosa R. L. and Rodríguez D. Z., (2019) “A machine
learning model to resource allocation service for access point on wireless network,” International
Conference on Software, Telecommunications and Computer, Set. 2019, pp.1-6.
Mok, R. K., Chan, E. W., Luo, X. and Chang, R. K. (2011) “Inferring the QoE of http video streaming
from user-viewing activities,” In ACM SIGCOMM Workshop on Measurements Up the Stack, New
York, NY, USA: ACM, 2011, pages 31–36.
MPEG (2015) “Information technology MPEG systems technologies: Carriage of timed metadata
metrics of media in ISO base media file format,” ISO/IEC 23001-10, September, 2015.
Nunes R. D., Rosa, L. R. and Rodríguez D. Z. (2020), “Performance improvement of a non-intrusive
voice quality metric in lossy networks,” IET Communications, 13(20), August, 2020, pages 3401-
3408
Rodríguez, D. Z., Abrahão, J. A., Begazo, D. C., Rosa, R. L. and Bressan, G. (2012) “Quality metric
to assess video streaming service over tcp considering temporal location of pauses,” IEEE
Transactions on Consumer Electronics, 58(3), August 2012, pages 985–992.
Rodríguez, D. Z., Rosa, R. L., Alfaia E., Abrahao and Bressan, G. (2016) “Video Quality Metric for
Streaming Service Using DASH Standard,” In IEEE Transactions on Broadcasting, 62(3), September
2016, pages 628–639.
Rodríguez, D. Z., Wang, Z., Rosa, R. L. and Bressan, G. (2014) “The impact of video-quality-level
switching on user quality of experience in dynamic adaptive streaming over HTTP,” EURASIP
Journal on Wireless Communications and Networking, 62(3), December 2014 216(2014), pages 2-
15.
Brazilian Journal of Development
Braz. J. of Develop., Curitiba, v. 6, n. 7 , p.51256-51277, jul. 2020. ISSN 2525-8761
51277
Rodríguez, D. Z., Rosa, R. L. Almeida F., Mittag. G., Moller, S., “Speech quality assessment in
wireless communications with mimo systems using a parametric model,” IEEE Access, 7(1), March
2019, pages 35719-35730
Rosa, R. L., Schwartz G. M., Ruggiero, W. V. and Rodríguez, D. Z., (2018) “A knowledge-based
recommendation system that includes sentiment analysis and deep learning,” IEEE Transactions on
Industrial Informatics, 15(4), Aug. 2018, pg 2124-2135
Chen C., Choi, L., Veciana, G., Caramanis, C., Heath, R. and Bovik A. (2014), "Modeling the Time-
Varying Subjective Quality of HTTP Video Streams with Rate Adaptations," In IEEE Trans on Image
Proc. 23(5), May 2014, pages 2206–2221.
Rec. ITU-T P.910 (1999) “ITU-T Recommendation-P.910, Subjective Video Quality Assessment
Methods for Multimedia Applications,” Geneva, September, 1999.
Rec. ITU-T P. 930 (1996) “ITU-T Recommendation-P.930, Principles of a reference impairment
system for video,” Geneva, August, 1996.
Takahashi, A., Hands, D. and Barriac, V. (2008) “Standardization activities in the ITU for a QoE
assessment of IPTV,” In IEEE Comm. Mag., 46(2), p. 78, Feb., 2008.
Testrian R., Moldovan, A., Ormond, O. and Muntema. G-M “Energy consumption analysis of video
streaming to Android mobile devices,” in Proc. IEEE Netw. Oper. Management Symp., Maui, HI,
USA, Apr. 2012, pp. 444–452.
Vieira S. T., Rosa, L. R. and Rodríguez D. Z. (2020), “A Speech Quality Classifier based on Tree-
CNN Algorithm that Considers Network Degradations,” Journal of Communications Software and
Systems,” 16 (2), Jun. 2020, pages 180-187.
Xiao, F. (2000) DCT-based Video Quality Evaluation, 2000.
Xue, Y, Erkin, B. and Wang, Y. (2015) “A novel no-reference video quality metric for evaluating
temporal jerkiness due to frame freezing,” In IEEE Transactions on Multimedia, 17(1), January,
2015, pages 134–139.
Wang, Z., Bovik, A. C. and Sheikh, H. (2004) “Image Quality Assesment: From Error Visibility to
Structural Similarity,” In IEEE Transactions on Image Processing, 13(4), April 2004, pages 154–
166.