Uso de anycast para balanceamento de carga na Globo.com

38
globo .com Uso de anycast para balanceamento de carga na Globo.com

description

Apresentação feita no SBRC 2012, Ouro Preto, MG

Transcript of Uso de anycast para balanceamento de carga na Globo.com

Page 1: Uso de anycast para balanceamento de carga na Globo.com

globo.comUso de anycast para balanceamento de carga na Globo.com

Page 2: Uso de anycast para balanceamento de carga na Globo.com

Uso de Anycast para balanceamento de carga

na Globo.com Marcus Vinícius G. Cesário

[email protected]

SBRC 2012 - 01/05/2012

Page 3: Uso de anycast para balanceamento de carga na Globo.com

Agenda‣ Caracterização do tráfego

‣ Análise das soluções

‣ Estrutura Anycast

Page 4: Uso de anycast para balanceamento de carga na Globo.com

1 Caracterização do tráfego

Page 5: Uso de anycast para balanceamento de carga na Globo.com
Page 6: Uso de anycast para balanceamento de carga na Globo.com
Page 7: Uso de anycast para balanceamento de carga na Globo.com

0

0.30

0.60

0.90

1.20

1.50

1.80

2.10

2.40

2.70

3.00

dezembro/2011

Páginas Vistas

bilh

ões

Globo.com G1 Globoesporte.comEgo. Receitas.com TechTudoFutpedia Novelas 18:00 Novelas 19:00Novelas 21:00

Demanda

fonte: Google Analytics

Page 8: Uso de anycast para balanceamento de carga na Globo.com

Demanda

Page 9: Uso de anycast para balanceamento de carga na Globo.com

Demanda

Page 10: Uso de anycast para balanceamento de carga na Globo.com

Demanda‣ Momentos de alta demanda

‣ ex: BBB com até 510 mil votos/min

0

150

300

450

600

26/03/2010 27/03/2010 28/03/2010 29/03/2010 30/03/2010 31/03/2010 01/04/2010

Votos por Minuto

Page 11: Uso de anycast para balanceamento de carga na Globo.com

Comportamento dos clientes

‣ Média de 4 a 8 conexões simultâneas

‣ 147 / 6 = 25

RTT do servidor (ms)

Tempo total (ms)

7 175

25 625

50 1250

150 3750

Page 12: Uso de anycast para balanceamento de carga na Globo.com

Premissas‣ Entrega de Conteúdo com grande consumo de

banda

‣ Percepção da Internet como um serviço 24/7/365

‣ necessidade de manutenções preventivas e corretivas

‣ Distribuição de carga e tolerância a falhas

‣ Operação pelo Datacenter no RJ ‣ Operação e monitoração pela estrutura de NOC do Rio de Janeiro

Page 13: Uso de anycast para balanceamento de carga na Globo.com

Solução escalável, com garantia de qualidade para o usuário e baixo custo?

Page 14: Uso de anycast para balanceamento de carga na Globo.com

2 Diferenças entre soluções

Page 15: Uso de anycast para balanceamento de carga na Globo.com

Esquemas de roteamento

Page 16: Uso de anycast para balanceamento de carga na Globo.com

Esquemas de roteamento

Page 17: Uso de anycast para balanceamento de carga na Globo.com

Esquemas de roteamento

Page 18: Uso de anycast para balanceamento de carga na Globo.com

Esquemas de roteamento

Page 19: Uso de anycast para balanceamento de carga na Globo.com

Site 2Site 1

1.1.1.1 2.2.2.2DNS Server

1.1.1.1 2.2.2.2

Região A Região B

Global Server Load Balancing

Page 20: Uso de anycast para balanceamento de carga na Globo.com

Site 2Site 1

1.1.1.1 2.2.2.2DNS Server

1.1.1.1 2.2.2.2

Região A Região B

Global Server Load Balancing

X

X

Page 21: Uso de anycast para balanceamento de carga na Globo.com

Content Delivery Network‣ Tecnologia dependente de Operadoras

‣ IP’s para cada localidade = mais suscetível a ataques

‣ Dimensionada para picos de acesso?

‣ Sistema de gerência dos pontos físicos

Page 22: Uso de anycast para balanceamento de carga na Globo.com

dig www.akamai.com

@Server Answer Avg RTT

201.7.183.120200.182.35.144200.182.35.163

10.564

8.8.8.8(google)

72.246.216.4272.246.216.33

157.753 +1493%

208.67.222.222(opendns.org)

23.67.53.10723.67.53.144

153.44 +1452%

4.2.2.1(level 3)

69.31.72.11569.31.72.129

152.381 +1442%

20/04/2012 - 15:00 as 15:10

Page 23: Uso de anycast para balanceamento de carga na Globo.com

Impacto da localidade

Page 24: Uso de anycast para balanceamento de carga na Globo.com

Impacto da localidade

Page 25: Uso de anycast para balanceamento de carga na Globo.com

Client subnet in DNS requests

‣ Opção EDNS0

‣ RFC2671 Agosto/1999

‣ Internet-draft 25/04/12

‣ Intended status: Experimental

Page 26: Uso de anycast para balanceamento de carga na Globo.com

Anycast

Site 2Site 1

1.1.1.1 1.1.1.1DNS Server

1.1.1.1 1.1.1.1

Região A Região B

Page 27: Uso de anycast para balanceamento de carga na Globo.com

Anycast

Site 2Site 1

1.1.1.1 1.1.1.1DNS Server

1.1.1.1 1.1.1.1

Região A Região B

X

Page 28: Uso de anycast para balanceamento de carga na Globo.com

Uso comum do Anycast‣ DNS

‣ Multicast Rendezvous Points (RP)

‣ Syslog

‣ Exportação de fluxos (flow)

‣ IPv4/IPv6 relay routers

‣ Sink hole networks

Page 29: Uso de anycast para balanceamento de carga na Globo.com

3 Estrutura Anycast

Page 30: Uso de anycast para balanceamento de carga na Globo.com

Estrutura Anycast‣ PoP’s conectados aos principais provedores de

serviço Internet - fixo / móvel / PTT Metro

‣ proximidade com o usuário

‣ Sessões BGP com anúncios simultâneos

‣ Possibilidade de crescimento em outros pontos físicos sem alterações no projeto

‣ Facilidade de manutenção

Page 31: Uso de anycast para balanceamento de carga na Globo.com

Estrutura Anycast

Page 32: Uso de anycast para balanceamento de carga na Globo.com

Perfil de tráfego

Page 33: Uso de anycast para balanceamento de carga na Globo.com

Perfil de tráfego‣ 97.65% Brasil

Page 34: Uso de anycast para balanceamento de carga na Globo.com

Perfil de tráfego‣ 81.34% do tráfego a 1 AS HOP de distancia

Page 35: Uso de anycast para balanceamento de carga na Globo.com

“Pop Switch?”

Page 36: Uso de anycast para balanceamento de carga na Globo.com

“Pop Switch?”

‣ “Never heard of it”

Page 37: Uso de anycast para balanceamento de carga na Globo.com

Anycast‣ Solução testada e confiável com TCP

‣ Barato e “Vendor Agnostic”

‣ Gerência simplificada

‣ Tolerância a falhas

‣ Melhor performance na entrega do conteúdo