Jornadas do Mar 2014 – “Mar: Uma onde de Progresso”
Escola Naval, Almada, Novembro 11 – Novembro 14, 2014
Sistema de Visão para Aterragem Automática de UAV
Nuno Pessanha Santos
ÍNDICE
2
1. Introdução (Motivação e Objetivos)
2. Sistema de Estimação de pose e tracking
3. Simulação e Resultados Experimentais
4. Conclusões
Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval 2
1. INTRODUÇÃO
3
1. Desenvolver um Sistema para aterragem automática
(AUTOmatic LANDing) para pequenos UAVs a bordo de navios
(capacidade de aterrar em pequenas áreas);
2. Aumentar a capacidade operacional e facilidade de operação
em condições adversas de mar;
3. Validação operacional do conceito.
MOTIVAÇÃO E OBJETIVOS
3Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
2. SISTEMA DE ESTIMAÇÃO
44Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
CÂMARARGB
DETEÇÃO DA AERONAVE
FRAME - Ft ESTIMAÇÃO DA POSE
ALGORITMO DE TRACKING
2. SISTEMA DE ESTIMAÇÃO
5
ESTIMAÇÃO DE POSE
5
O método proposto é dividido em quatro partes:
• Deteção da Aeronave;
• Inicialização das partículas;
• Avaliação das Partículas;
• Otimização de pose.
Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
Z
X
Y
TModelo 3D
PROJEÇÃO
ROTATION & TRANSLATION
N HIPÓTESES
(PARTÍCULAS)
AVALIAR A LIKELIHOODCADA POSSIBILIDADE
CÂMARA RGB
T
ESTAÇÃO DE CONTROLO
Área de Aterragem
5 m
6 m
2. SISTEMA DE ESTIMAÇÃO
6
DETEÇÃO DA AERONAVE
6
• A deteção inicial da região de interesse (ROI) é muito
importante – pontos característicos usados para inicialização
das partículas;
• Ambiente exterior (invariância à luminosidade e capacidade de
deteção do objeto correto - UAV);
• A deteção inicial é feita utilizando um classificador em cascata
(Local Binary Pattern) pré-treinado.
Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
2. SISTEMA DE ESTIMAÇÃO
INICIALIZAÇÃO DAS PARTÍCULAS
7
• A inicialização é feita ao comparar as características das
bounding boxes detetadas com as geradas sinteticamente para
o UAV em múltiplas poses;
• A base de dados é criada offline e indexada de maneira
eficiente para acesso rápido.
Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
CÂMARARGB
CLASSIFICADOR(ROI OBJETO)
ALGORITMOFAST
CALCULOPARÂMETROS
BB
MELHORES POSSIBILIDADESBASE DE DADOS
CALCULARX,Y,Z PARA CADA POSE
DA BASE DE DADOS
INICIALIZAÇÃO DAS
PARTÍCULAS
2. SISTEMA DE ESTIMAÇÃO
8
INICIALIZAÇÃO DAS PARTÍCULAS
8Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
Alfa
𝛼
Beta
𝛽
Gama
𝛾
Ângulo
BB Θ
Altura
BB
Largura
BB
Aspect Ratio
BB
BB Centro
𝐶𝑥
BB Centro
𝐶𝑦
2. SISTEMA DE ESTIMAÇÃO
9
AVALIAÇÃO DAS PARTÍCULAS
9Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
FRAME
CUDA(GPU)
OPENGL(PBO)
MOSTRAR(OPCIONAL)
OBJETO - CAD(OFFLINE)
RESULTADO(PESO DA PARTÍCULA)
PROCESSAMENTO PARALELO
UMA VEZ POR ITERAÇÃO
2. SISTEMA DE ESTIMAÇÃO
10
AVALIAÇÃO DAS PARTÍCULAS
10
Foram usadas duas funções distintas de likelihood:
• Diferença entre o histograma interior (objeto) e o histograma
exterior limitado por uma bounding box (Acima de 25 metros);
• Abordagem híbrida em que combina a função de likelihood
descrita anteriormente com um método baseado em contornos
(Abaixo de 25 metros).
Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
2. SISTEMA DE ESTIMAÇÃO
11
OTIMIZAÇÃO DE POSE
11
O processo de otimização funciona em três fases:
• Inicialização;
• Otimização grosseira;
• Otimização fina.
Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
INICIALIZAÇÃOPARTÍCULAS
CÁLCULOLIKELIHOOD
ATUALIZAR O VETOR DAS MELHORES PARTÍCULAS
ANÁLISE DA FASE DE OTIMIZAÇÃO
GERAR NOVAS PARTÍCULAS
INICIALIZAÇÃOOTIMIZAÇÃOGROSSEIRA
OTIMIZAÇÃOFINA
LIMIAR MÍNIMO
LIMIAR
2. SISTEMA DE ESTIMAÇÃO
12
ALGORITMO DE TRACKING
12Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
CAPTURAR FRAME
CLASSIFICADOR(LBP)
EXTRAIR ROIDETEÇÃO
CALCULAR LIKELIHOOD PARA CADA POSSIBILIDADE
ATUALIZAR VETOR DAS MELHORES
PARTÍCULAS
SEM DETEÇÃO - OBJETO
CORRIGIR DISTORÇÃO RADIAL E TANGENCIAL
FAST & BB -> ROIBASE DE DADOS
(DISTÂNCIA EUCLIDEANA)
ANÁLISE DA FASE DE OTIMIZAÇÃO
FILTRAGEM DA MELHOR PARTÍCULA (UKF)
P MELHORES POSSIBILIDADESBASE DE DADOS(INICIALIZAÇÃO)
ESTIMATIVA POSE
2. SISTEMA DE ESTIMAÇÃO
ALGORITMO DE TRACKING
13Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
Pk-1 + Q
{ i}12D
{ i}13D
{ i}13DA()
{ i}12D
H()
{ i}7D
Pzz
Pxz
Unscented Kalman Filter
Van Der Merwe, R., A. Doucet, N. De Freitas and E. Wan (2000). The unscented particle filter. NIPS.
3. EXPERIMENTAL & SIMULAÇÃO
14
DETEÇÃO DO OBJETO - UAV
14
• O tempo de processamento médio do classificador emcascata para uma frame são 59 ms (1280x720);
• O algoritmo FAST demora em media menos de 1 ms(1280x720).
NOTA: Implementação em C++ num processador de 2,40GHzintel i7 CPU usando uma NVIDIA GeForce GT 750M.Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
3. EXPERIMENTAL & SIMULAÇÃO
15
INICIALIZAÇÃO DAS PARTÍCULAS
15
• As melhores possibilidades são usadas para inicializar oprocedimento de optimização de pose;
• Existem algumas possibilidades com a mesma relação deBB e ângulo que não correspondem à pose real, mas estaspossibilidades são filtradas na primeira iteração.
Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
3. EXPERIMENTAL & SIMULAÇÃO
16
OTIMIZAÇÃO DAS PARTÍCULAS
16
Descobrimos que 4 Iterações com 100 partículas sãosuficientes para um bom desempenho na deteção de pose.
Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
3. EXPERIMENTAL & SIMULAÇÃO
17
AVALIAÇÃO DO DESEMPENHO QUANTITATIVO
17
• Foi criado um conjunto de teste para várias distâncias deUAV: 5,10,15,20,25,30,35,40,45 e 50 usando 850 framessintéticas para cada distância;
• A área de aterragem é irregular e tem cerca de 5x6metros, precisamos assim de garantir um erro mínimo detranslação de 1 metro para garantir uma aterragem fiável.
Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
3. EXPERIMENTAL & SIMULAÇÃO
18
AVALIAÇÃO DO DESEMPENHO QUANTITATIVO
18
ERRO DE TRANSLAÇÃO
Distância
(metros)
Valor média
(metros)
Mediana
(metros)
5 0,27 0,19
10 0,54 0,40
15 0,92 0,70
20 1,32 0,92
25 1,68 1,28
30 2,1 1,45
35 2,4 1,66
40 2,9 1,99
45 3,5 2,43
50 3,8 2,61
ERRO DE ROTAÇÃO
Distância
(metros)
Valor média
(metros)
Mediana
(metros)
5 37,2 9,4
10 52,3 14,6
15 60,5 22,1
20 62,5 23,3
25 63,3 27,0
30 75,4 52,2
35 75,1 46,6
40 77,2 56,5
45 74,9 41,8
50 79,3 61,7
• O erro de translação diminui com a proximidade obtendo um valormédio de 0,27 metros a uma distância de 5 metros;
• O erro de rotação aos 5 metros também decresce com aproximidade (de forma menos acentuada do que com a translação),obtendo um valor mediano de 9,4 graus (função de likelihoodhíbrida).
Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
3. EXPERIMENTAL & SIMULAÇÃO
ALGORITMO DE TRACKING
19Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
MediçãoSequência
(Estimativa)
Média Mediana Média Mediana
X (m): - 0,021 - 0,009 -0,011 -0,009
Y (m): 0,026 0,018 0,037 0,034
Z (m): 1,015 0,621 0,904 0,212
Erro de atitude
verdadeiro / medido
(graus)
72,79 23,30
Erro de atitude
verdadeiro / Estimado
(graus)
31,94 29,54
3. EXPERIMENTAL & SIMULAÇÃO
20
ALGORITMO DE TRACKING
13Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
4. CONCLUSÕES
1021
• Foi introduzido um método para estimar a pose de um UAV
conhecido a partir de imagens adquiridas a bordo de um navio;
• O algoritmo apresentado apresenta as seguintes características:
• Deteção de UAV baseado num classificador em cascata;
• Uma nova metodologia para inicialização das partículas
baseada num base de dados indexada por propriedades da
bounding box;
• Otimização das partículas inspirada nos métodos de evolução
que demonstrou propriedades de convergência interessantes.
Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
4. CONCLUSÕES
22
• A arquitetura de deteção de pose permite uma estimativa de
posição precisa (cerca de 4 % de erro médio aos 5 metros) e
uma estimativa de atitude razoável (cerca de 10 % de erro
médio aos 5 metros);
• Filtragem temporal permite obter melhores resultados de
estimativa entre frames, diminuindo o erro obtido;
• Neste momento o foco está centrado na otimização da
filtragem e em usar a capacidade de processamento paralelo
da GPU (CUDA) para um cálculo da likelihood de cada partícula
de forma mais rápida.Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval
Top Related