Sistema de Visão para Aterragem Automática de UAV

Jornadas do Mar 2014 – “Mar: Uma onde de Progresso”

Escola Naval, Almada, Novembro 11 – Novembro 14, 2014

Sistema de Visão para Aterragem Automática de UAV

Nuno Pessanha Santos

ÍNDICE

2

1. Introdução (Motivação e Objetivos)

2. Sistema de Estimação de pose e tracking

3. Simulação e Resultados Experimentais

4. Conclusões

Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval 2

1. INTRODUÇÃO

3

1. Desenvolver um Sistema para aterragem automática

(AUTOmatic LANDing) para pequenos UAVs a bordo de navios

(capacidade de aterrar em pequenas áreas);

2. Aumentar a capacidade operacional e facilidade de operação

em condições adversas de mar;

3. Validação operacional do conceito.

MOTIVAÇÃO E OBJETIVOS

3Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval

2. SISTEMA DE ESTIMAÇÃO


CÂMARARGB

DETEÇÃO DA AERONAVE

FRAME - Ft ESTIMAÇÃO DA POSE

ALGORITMO DE TRACKING


5

ESTIMAÇÃO DE POSE

5

O método proposto é dividido em quatro partes:

• Deteção da Aeronave;

• Inicialização das partículas;

• Avaliação das Partículas;

• Otimização de pose.

Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval

Z

X

Y

TModelo 3D

PROJEÇÃO

ROTATION & TRANSLATION

N HIPÓTESES

(PARTÍCULAS)

AVALIAR A LIKELIHOODCADA POSSIBILIDADE

CÂMARA RGB

T

ESTAÇÃO DE CONTROLO

Área de Aterragem

5 m

6 m


6

DETEÇÃO DA AERONAVE

6

• A deteção inicial da região de interesse (ROI) é muito

importante – pontos característicos usados para inicialização

das partículas;

• Ambiente exterior (invariância à luminosidade e capacidade de

deteção do objeto correto - UAV);

• A deteção inicial é feita utilizando um classificador em cascata

(Local Binary Pattern) pré-treinado.



INICIALIZAÇÃO DAS PARTÍCULAS

7

• A inicialização é feita ao comparar as características das

bounding boxes detetadas com as geradas sinteticamente para

o UAV em múltiplas poses;

• A base de dados é criada offline e indexada de maneira

eficiente para acesso rápido.


CÂMARARGB

CLASSIFICADOR(ROI OBJETO)

ALGORITMOFAST

CALCULOPARÂMETROS

BB

MELHORES POSSIBILIDADESBASE DE DADOS

CALCULARX,Y,Z PARA CADA POSE

DA BASE DE DADOS

INICIALIZAÇÃO DAS

PARTÍCULAS


8



Alfa

𝛼

Beta

𝛽

Gama

𝛾

Ângulo

BB Θ

Altura

BB

Largura

BB

Aspect Ratio

BB

BB Centro

𝐶𝑥

BB Centro

𝐶𝑦


9

AVALIAÇÃO DAS PARTÍCULAS


FRAME

CUDA(GPU)

OPENGL(PBO)

MOSTRAR(OPCIONAL)

OBJETO - CAD(OFFLINE)

RESULTADO(PESO DA PARTÍCULA)

PROCESSAMENTO PARALELO

UMA VEZ POR ITERAÇÃO


10

AVALIAÇÃO DAS PARTÍCULAS

10

Foram usadas duas funções distintas de likelihood:

• Diferença entre o histograma interior (objeto) e o histograma

exterior limitado por uma bounding box (Acima de 25 metros);

• Abordagem híbrida em que combina a função de likelihood

descrita anteriormente com um método baseado em contornos

(Abaixo de 25 metros).



11

OTIMIZAÇÃO DE POSE

11

O processo de otimização funciona em três fases:

• Inicialização;

• Otimização grosseira;

• Otimização fina.


INICIALIZAÇÃOPARTÍCULAS

CÁLCULOLIKELIHOOD

ATUALIZAR O VETOR DAS MELHORES PARTÍCULAS

ANÁLISE DA FASE DE OTIMIZAÇÃO

GERAR NOVAS PARTÍCULAS

INICIALIZAÇÃOOTIMIZAÇÃOGROSSEIRA

OTIMIZAÇÃOFINA

LIMIAR MÍNIMO

LIMIAR


12



CAPTURAR FRAME

CLASSIFICADOR(LBP)

EXTRAIR ROIDETEÇÃO

CALCULAR LIKELIHOOD PARA CADA POSSIBILIDADE

ATUALIZAR VETOR DAS MELHORES

PARTÍCULAS

SEM DETEÇÃO - OBJETO

CORRIGIR DISTORÇÃO RADIAL E TANGENCIAL

FAST & BB -> ROIBASE DE DADOS

(DISTÂNCIA EUCLIDEANA)

ANÁLISE DA FASE DE OTIMIZAÇÃO

FILTRAGEM DA MELHOR PARTÍCULA (UKF)

P MELHORES POSSIBILIDADESBASE DE DADOS(INICIALIZAÇÃO)

ESTIMATIVA POSE




Pk-1 + Q

{ i}12D

{ i}13D

{ i}13DA()

{ i}12D

H()

{ i}7D

Pzz

Pxz

Unscented Kalman Filter

Van Der Merwe, R., A. Doucet, N. De Freitas and E. Wan (2000). The unscented particle filter. NIPS.

3. EXPERIMENTAL & SIMULAÇÃO

14

DETEÇÃO DO OBJETO - UAV

14

• O tempo de processamento médio do classificador emcascata para uma frame são 59 ms (1280x720);

• O algoritmo FAST demora em media menos de 1 ms(1280x720).

NOTA: Implementação em C++ num processador de 2,40GHzintel i7 CPU usando uma NVIDIA GeForce GT 750M.Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval


15


15

• As melhores possibilidades são usadas para inicializar oprocedimento de optimização de pose;

• Existem algumas possibilidades com a mesma relação deBB e ângulo que não correspondem à pose real, mas estaspossibilidades são filtradas na primeira iteração.



16

OTIMIZAÇÃO DAS PARTÍCULAS

16

Descobrimos que 4 Iterações com 100 partículas sãosuficientes para um bom desempenho na deteção de pose.



17

AVALIAÇÃO DO DESEMPENHO QUANTITATIVO

17

• Foi criado um conjunto de teste para várias distâncias deUAV: 5,10,15,20,25,30,35,40,45 e 50 usando 850 framessintéticas para cada distância;

• A área de aterragem é irregular e tem cerca de 5x6metros, precisamos assim de garantir um erro mínimo detranslação de 1 metro para garantir uma aterragem fiável.



18

AVALIAÇÃO DO DESEMPENHO QUANTITATIVO

18

ERRO DE TRANSLAÇÃO

Distância

(metros)

Valor média

(metros)

Mediana

(metros)

5 0,27 0,19

10 0,54 0,40

15 0,92 0,70

20 1,32 0,92

25 1,68 1,28

30 2,1 1,45

35 2,4 1,66

40 2,9 1,99

45 3,5 2,43

50 3,8 2,61

ERRO DE ROTAÇÃO

Distância

(metros)

Valor média

(metros)

Mediana

(metros)

5 37,2 9,4

10 52,3 14,6

15 60,5 22,1

20 62,5 23,3

25 63,3 27,0

30 75,4 52,2

35 75,1 46,6

40 77,2 56,5

45 74,9 41,8

50 79,3 61,7

• O erro de translação diminui com a proximidade obtendo um valormédio de 0,27 metros a uma distância de 5 metros;

• O erro de rotação aos 5 metros também decresce com aproximidade (de forma menos acentuada do que com a translação),obtendo um valor mediano de 9,4 graus (função de likelihoodhíbrida).





MediçãoSequência

(Estimativa)

Média Mediana Média Mediana

X (m): - 0,021 - 0,009 -0,011 -0,009

Y (m): 0,026 0,018 0,037 0,034

Z (m): 1,015 0,621 0,904 0,212

Erro de atitude

verdadeiro / medido

(graus)

72,79 23,30

Erro de atitude

verdadeiro / Estimado

(graus)

31,94 29,54


20



4. CONCLUSÕES

1021

• Foi introduzido um método para estimar a pose de um UAV

conhecido a partir de imagens adquiridas a bordo de um navio;

• O algoritmo apresentado apresenta as seguintes características:

• Deteção de UAV baseado num classificador em cascata;

• Uma nova metodologia para inicialização das partículas

baseada num base de dados indexada por propriedades da

bounding box;

• Otimização das partículas inspirada nos métodos de evolução

que demonstrou propriedades de convergência interessantes.


4. CONCLUSÕES

22

• A arquitetura de deteção de pose permite uma estimativa de

posição precisa (cerca de 4 % de erro médio aos 5 metros) e

uma estimativa de atitude razoável (cerca de 10 % de erro

médio aos 5 metros);

• Filtragem temporal permite obter melhores resultados de

estimativa entre frames, diminuindo o erro obtido;

• Neste momento o foco está centrado na otimização da

filtragem e em usar a capacidade de processamento paralelo

da GPU (CUDA) para um cálculo da likelihood de cada partícula

de forma mais rápida.Jornadas do Mar 2014 – “Mar: Uma onde de progresso” 11 – 14 Novembro 2014, Escola Naval

10

If you have any questions, comments or suggestions feel free to contact

me at [email protected]

mailto:[email protected]

Sistema de Visão para Aterragem Automática de UAV

Documents

Transcript of Sistema de Visão para Aterragem Automática de UAV