28 jun

¿Cómo usar Marathon-lb en Apache Mesos?

marathon-lb

Voy a explicar como trabajar con Marathon-lb (sustituto de marathon-haproxy-bridge) para Apache Mesos, hay parte teórica y parte práctica :),  hace un tiempo expliqué qué era Apache-Mesos y cómo empezar a trabajar con uno de su Frameworks llamado Marathon, también comentamos como utilizar marathon-haproxy-bridge para balancear peticiones de los Dockers que tengamos esparcidos por todo el cluster.

Antes de empezar nos debemos poner un poco en contexto, os recomiendo que leáis las entradas anteriores, para entender el ecosistema.

Parte teórica 

¿Qué es marathon-lb?

Marathon-lb es una solución que nos da la gente de Mesosphere para poder balancear de forma sencilla los servicios que tenemos en nuestro cluster de Apache Mesos, como sabemos por norma general cuando vamos desplegando Dockers en Apache Mesos estos empezaran a correr en slaves de Mesos aleatorios y en puertos aleatorios, esta dinámica hace complicado que podamos en trabajar con esos Dockers a no se que tengamos algún punto de entrada. Eso exactamente es lo que nos da marathon-lb.

¿Qué nos ofrece?

  1. Integración directa con Marathon, dependencia únicamente del Framework de Marathon
  2. Punto de entrada a los Dockers que tengamos corriendo en Apache Mesos
  3. Escalabilidad horizontal
  4. Actualizaciones de configuracion en tiempo real, conectando marathon-lb a Martahon usando SSE
  5. HealthChecks, tanto del propio HAProxy como a través de  Marathon
  6. TLS/SSL
  7. HaProxy Templates (la configuracion de HAProxy se realiza a través de labels de Docker, sublime)
  8. Imagen Docker para correrlo en Apache Mesos

¿Cómo funciona?

El funcionamiento en si es de lo más sencillo, marathon-lb “solo” es un script hecho en python que una vez conectado a Marathon  a través de SSE, y va actualizando la configuración del HAProxy que lleva en su interior, por cada aplicación que lancemos en Apache Mesos marathon-lb hará la asociación entre el punto de entrada que le hayamos dicho y el los Dockers con sus respectivos puertos.

La asociación entre HAProxy y los Dockers lo podemos hacer por dos métodos, puerto o usando un virtual host.

En el caso de querer una asociación por puerto, o sea que la url de acceso sea del tipo lo

http://marathon-lb.company.com:10001

Deberemos lanzar el Docker definiendo un puerto de servicio que será utilizado por marathon-lb como puerta de entrada, en este caso el 10001

Otro caso de uso es la asociación por virtual host, en este caso la url de entrada podría ser algo como.

http://miservicio.company.com

Para usar esta opción deberemos lanzar el Docker con la label

HAPROXY_{n}_VHOST

Por ejemplo

HAPROXY_VHOST = "http://miservicio.company.com" 

Antes de pasar a la parte practica decir que

Parte práctica

Objetivos

  • Tener un único punto de entrada que nos de acceso a todos los Dockers de un servicio que estén corriendo en nuestro Apache Mesos, en este ejemplo será un Nginx

Características de práctica

  1. Utilizaremos el acceso por Virtual Host
  2. Conectaremos marathon-lb a Marathon usando SSE
  3. Lanzaremos el docker de marathon-lb en modo Host.

¿Como lanzamos marathon-lb en Apache Mesos ?

Como es lógico primero de todo deberemos montar el JSON para poder lanzar marathon-lb en nuestro Apache Mesos a través del Framework Marathon, el JSON tiene una pinta tal que así y explicamos cada punto más abajo

Campos:

“cmd” :

  •  /marathon-lb/run sse : Ejecucion de marathon-lb en modo sse
  • –marathon: Url de nuestro Marathon
  • –group : Con esta opcion estamos diciendo cuales son los dockers que queremos que se usen a través de marathon-lb, en nuestro caso aquello que lleven HAPROXY_0_GROUP: “qa“.
  • –health-check:  Con esta opcion estamos diciendo que HAProxy no active el docker hasta que el healthcheck de Marathon este ok. 

 “ports”:

  • Por seguridad al ejecutar el Docker en modo HOST, deberemos asegurar que los puertos que utiliza nuestro HAProxy están disponibles en el Slave de Mesos, junto con “requirePorts” : true, añadiendo los puertos tendremos  en PORT0-1-2 que los utilizaremos para hacer el healtcheck de HAProxy

“constraints”:

  • Con estas dos constraints nos aseguramos que no vayamos a tener dos Marathon-lb en el mismo host (puede ser redundante con la opción de ports) y decidimos en que datacenter queremos lanzadlos.

 “healthchecks”:

  • Con este COMMAND comprobamos que el servicio este levantado y Marathon pueda darnos información del estado de HAProxy

Lanzamos marathon-lb

curl -X POST -H "Content-Type: application/json"  --data @marathon-lb-test.json 'http://marathon.company.com:8080/v2/apps'

Veremos en Marathon:

marathon-lb

¿Cómo lanzamos Nginx para que trabaje con Marathon-lb?

Ejemplo de JSON que deberíamos lanzar para que trabajara con marathon-lb, la explicación mas abajo.

Aquí la parte más importante, los labels que hemos añadido en el JSON, a través de labels en nuestro Docker haremos la configuración de nuestro HAProxy, tenemos una lista bastante extensa de opciones, en este ejemplo explicare los que me parecieron más comunes de utilizar.

Podemos encontrar la lista en el github de Mesosphere

“labels”

  • “HAPROXY_BACKEND_WEIGHT”: Peso que tendrá esta backend en HAProxy respecto a otros.
  • “HAPROXY_MODE”: http o tcp
  • “HAPROXY_BALANCE”: Tipo de balance
  • “HAPROXY_GROUP”:  Grupo al que pertenece, con esta opcion asociaremos nuestro nginx al HAProxy que queramos.
  • “HAPROXY_BACKEND_STICKY_OPTIONS” :  Una sticky cookie 
  • “HAPROXY_VHOST”:  Pues lo más importante a que fqdn nuestro HAPoxy nos dará acceso 

Lanzamos nginx

curl -X POST -H "Content-Type: application/json"  --data @nginx.json 'http://marathon.company.com:8080/v2/apps'

Veremos en Marathon:

Apache Mesos Nginx Marathon

Escalamos a 5 nginx

Apche Mesos Marathon scale

Si nos fijamos tenemos, como esperábamos cada nginx en un puerto diferente.

Si comprobamos HAProxy veremos en el log interno qué es lo que hizo.

marathon_lb: received event of type deployment_success
marathon_lb: received event of type health_status_changed_event
marathon_lb: fetching apps
marathon_lb: received event of type deployment_step_success
marathon_lb: GET http://marathon.company.com:8080/v2/apps?embed=apps.tasks
marathon_lb: got apps ['/test/ha/nginx/nginx', '/tools/docker/registry', '/prova-logs','/test/ha/marathon-lb-test']
marathon_lb: generating config
marathon_lb: HAProxy dir is /marathon-lb
marathon_lb: configuring app /test/ha/nginx/nginx
marathon_lb: frontend at *:10001 with backend test_ha_nginx_nginx_10001
marathon_lb: adding virtual host for app with hostname miguel.haproxy.com
marathon_lb: adding virtual host for app with id /test/ha/nginx/nginx
marathon_lb: backend server 192.168.1.100:50071 on server
marathon_lb: backend server 192.168.1.101:58437 on server
marathon_lb: backend server 192.168.1.102:12213 on server
marathon_lb: backend server 192.168.1.103:45197 on server
marathon_lb: backend server 192.168.1.104:14673 on server
marathon_lb: reading running config from /marathon-lb/haproxy.cfg
marathon_lb: updating tasks finished, took 0.24720096588134766 seconds

Podemos ver como marathon-lb

  1. Detecto un nuevo deploy
  2. Comprobó las aplicaciones y únicamente se quedo con las que cumplen la opción –group que explicamos mas arriba
  3. Creo el backend para nuestro ngnix y asigno el virtul host miguel.haproxy.com
  4. Añade todos los dockers que tenemos en nuestro mesos slave en
  5. Actualiza la configuracion
  6. Todo esto en 0.2472 segundos.

Si  comprobamos la pagina de stats de HAProxy podremos ver .

Apache Mesos HAPoxy

Por último comprobamos que nos contesta

curl -H "Host: miguel.haproxy.com" http://192.168.1.10
Welcome to nginx!
Thank you for using nginx.

Todo funcionando!

 

 

12 abr

Balanceo de servicios con Marathon en Mesos

Dentro de la temática de los últimos post sobre Mesos, esta vez vamos a explicar como conseguir balanceo de servicios con Marathon en Mesos o sea tener un montón de servicios corriendo a través de Marathon en nuestro cluster de Mesos y poder trabajar con ellos a lo unisono.

Primero de todo debemos ver donde esta el problema, tenerlo claro para entender la solución.

Imaginemos que tenemos un servidor web, como hemos explicado en los post anteriores este servicio puede correr en cualquier puerto en cualquier nodo del cluster, es mas podemos tener mil servicios iguales en el mismo nodo corriendo en diferentes puertos. Como es de esperar esto hace muy difícil poder utilizarlos todos como si fuera uno solo (idea principal)

Vamos a verlo en una imagine

Balanceo de servicios con Marathon en Mesos

Balanceo de servicios con Marathon en Mesos

  1. Tenemos dos Slaves
  2. Tenemos los servicios (SVC 1 y 2) corriendo en los puertos 31000 y 31200, como sabemos estoy puertos son asignados aleatoriamente por Marathon.
  3. Nos interesa que cuando accedamos al puerto X este nos envíe a uno de los servicios (SVC) que este corriendo en el cluster.

Ahora que vemos la problemática vamos a ver como al solucionamos, al lío!

Balanceo de servicios con Marathon en apache mesos

Nota: Debemos quedarnos con la idea, la solución propuesta nos puede gustar más o menos

Instalaremos un HAProxy en cada nodo de Slave, Marathon nos ofrece un script que nos facilita la solución.

Instalación balanceo de servicios

Descargamos e instalamos en cada nodo el siguiente script, lo que hace es conectarse a la api de Marathon para sacar información de en qué puerto esta corriendo los servicios.

wget https://raw.githubusercontent.com/mesosphere/marathon/master/bin/haproxy-marathon-bridge

Necesita saber las urls y puertos donde esta corriendo Marathon, en nuestro caso esta en los nodos master, para ello crearemos un fichero y pondremos la información

/etc/haproxy-marathon-bridge/marathons

Y añadimos

marathon1.company.com:8080
marathon2.company.com:8080
marathon3.company.com:8080

Por último, deberemos añadir un cron que se ejecute cada minuto, de tal manera que se conecte a la API de Marathon vea en que puertos esta corriendo nuestros servicios y nos lo añada a la configuración de HA proxy.

./haproxy-marathon-bridge install_cronjob

Vamos a ver un ejemplo de como funciona esta solución.

Primero de todo os explico la situación inicial, para que podáis entender rápidamente el gif que hay mas abajo.

Balanceo de servicios con Marathon en Mesos

Balanceo de servicios con Marathon en Mesos

Tenemos un json que nos crea en el cluster de Mesos instancias http con python a través de Marathon, en la situación inicial tenemos 1 instancia corriendo únicamente.

Haremos incrementar el numero de instancias a 10, de tal manera que tendremos 10 instancias en el cluster corriendo en puertos aleatorios, y veremos como la configuración de HAProxy se actualiza con las nuevas instancias.

Por último veremos como atacando al puerto 8080 (puerto que decidimos donde queríamos tener el servicio corriendo), veremos el slave host, donde estamos atacando y veremos como se van balanceando las peticiones.

Tendremos

  • Panel 0 : Donde lanzaremos el curl para incrementar el numero de instancias.
  • Panel 1 : Número de servicio http que tenemos en un salve, situación inicial 1
  • Panel 2 : Curl al servicio web donde veremos como entre en el balanceo un nuevo salve.
  • Panel 3 : Configuración de HAProxy
Balanceo de servicios con Marathon en Mesos

Balanceo de servicios con Marathon en Mesos

Como podemos ver, con esta solución lo que conseguimos es poder escalar nuestras aplicaciones sin necesidad de “preocuparnos” del puerto en el que esta corriendo.

El concepto cambia, escalamos aplicaciones, no escalamos servidores para montar aplicaciones.

Ahora reflexionemos sobre ello.