16 mar

Marathon framework para Apache-Mesos

Después de explicar qué es Apache-Mesos y cómo se instala llega el momento de poner a funcionar el sistema, para ello lo que vamos a instalar es Marathon y lo utilizaremos para correr aplicaciones en los slaves de Apache-Mesos.

Pues vamos al lio

¿Qué es Marathon?

Marathon es un framework que corre junto a Mesos y que nos permite lanzar a través de él aplicaciones de larga duración, o sea que vayan a estar tiempo dando servicio, por ejemplo un Apache, servicios Python …, viene siendo un init para el cluster de Mesos, a más a más dispone de una API que hace la gestión realmente sencilla.

¿Cómo se instala Marathon?

Siguiendo con la arquitectura de los post anteriores, tenemos en nuestras maquinas Centos añadidos los repositorios de Mesosphere, asi pues que la instalacion es tan sencilla como lanzar en todos los masters del cluster de Mesos el siguiente comando

yum install marathon

Al utilizar el paquete que nos da Mesosphere la configuración es automática, por defecto nos utilizara el mismo ZooKeeper que tenemos configurado para Mesos.

Únicamente me encontré con un problema a la hora de configurarlo y fue que me hacia falta cambiar el puerto por el cual estaba escuchando ya que se solapaba con otros servicios, esto se hace de una forma muy fácil.

Las opciones que nos encontramos en http://mesosphere.github.io/marathon/docs/command-line-flags.html se activan creando un fichero de configuración de la siguiente manera, por ejemplo para modificar el puerto por el cual escucha

cat /etc/marathon/conf/http_port
7070

¿Cómo se trabaja con Marathon?

Una vez instalado comprobamos que el servicio esta corriendo.

marathon.service - Marathon
Loaded: loaded (/usr/lib/systemd/system/marathon.service; enabled)
Active: active (running) since Sun 2015-03-15 09:14:58 UTC; 7min ago
Main PID: 1352 (java)
CGroup: /system.slice/marathon.service
├─1352 java -Djava.library.path=/usr/local/lib -Djava.util.logging.SimpleFormatter.format=%2$s%5$s%6$s%n -Xmx512m -cp /usr/local/bin/marathon mesosphere.marathon.Main --http_port 7070 --zk zk://172.3...
├─1368 logger -p user.info -t marathon[1352]
└─1369 logger -p user.notice -t marathon[1352]

Tenemos dos formas de trabajar, a través de una web o por command line.

Interfaz web

Para conectarnos a Marathon iremos a la ip de nuestro master y el puerto por defecto 8080.

Veremos algo tal que así, en mi caso ya dispongo de algunas tareas corriendo.

marathon

Por la interfaz web podemos hacer cosas muy sencillas, por ejemplo si le damos a New App nos permitirá lanzar una aplicación con algunos parámetros base.

marathon2

Por ejemplo podemos hacer una tarea que lace un echo y se espere 5 segundos, como hemos dicho, Marathon se asegurara que esa tarea siempre este corriendo en el cluster de Mesos, a más a más como explicamos en los post anteriores nos asegurará que tendremos los recursos que nos hacen falta, en este caso un 10% de la cpu disponible 16MB de Ram y sin disco necesario.

marathon task

Como hemos dicho sin nos fijamos en el gif, esta tarea tiene un final, pero el cluster se encargara de que siempre este funcionando, cuando se detecte que la tarea se finalizo se volverá a lanzar.

runAPP.gif

Si le damos encima de la aplicación podemos ver datos muy interesantes como por ejemplo, cuando se lanzo, en que nodo del cluster se encuentra o que versión esta desplegada. Cada cambio que apliquemos en las condiciones que queremos que corra nuestra aplicación (por ejemplo aumentarle la RAM) será una nueva versión, de tal manera que podremos volver atrás en las configuraciones.

Información de la tarea

infotaskConfiguración

configure

 

Hasta aquí la parte sencilla, ahora vamos al command line y vamos a explicar como se mueven las aplicaciones por el cluster.

Marathon como no podría ser de otra manera tiene una API para gestionar las tareas, las peticiones sobre las tareas nuevas o ya existentes se realizan envío de ficheros json, tenemos diferentes opciones todas están descritas aquí.

Vamos a poner ejemplo de las más comunes.

Creación y modificación de aplicaciones a través de la REST API.

Lo primero es generar un json con las opciones que queramos, en la doc oficial podemos ver que pueden tener un montón de opciones diferentes. https://mesosphere.github.io/marathon/docs/rest-api.html#post-/v2/apps

Aquí voy a poner unos cuantos ejemplos y explicaré las opciones que me resultaron mas útiles.

Ports

{
"cmd": "echo `hostname` test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0",
"id": "/python",
"instances": 3,
"mem": 0.001,
"cpus": 0.001,
"disk": 0,
"ports": [
80
]
}

Este es muy sencillo, pero es interesante ver como podemos pasar un puerto a la lina de ejecución, en este caso nos interesa que nuestro servidor HTTP siempre se ejecute en el puerto 80, esta característica será imperativo para que la aplicación pueda correr en un slave, o sea que dicho slave tenga el puerto 80 libre. Con esto nos permite poder correr diferentes servidores web en el cluster. La variable $PORT0 será un puerto aleatorio que asignara mesos, cuando explique la alta disponibilidad de Marathon veremos como podemos saber ese puerto en todo momento.

HealthChecks

"healthChecks":[
{
"protocol":"TCP",
"gracePeriodSeconds":3,
"intervalSeconds":5,
"portIndex":1,
"timeoutSeconds":5,
"maxConsecutiveFailures":3
}

Podemos asignar HeathCheck a la tarea, por defecto cuando el pid de la tarea desaparece se da por finalizada y se vuelve a lanzar, pero como sabemos esto no siempre es significativo, podemos entonces verificar el funcionamiento de nuestra aplicación a través de un check TCP o una respuesta HTTP

upgradeStrategy

"upgradeStrategy": {
"minimumHealthCapacity": 1
},

Esta opción es muy interesante, con ella le diremos el número mínimo de instancias que debe haber en el caso que realicemos un cambio de configuración, cuando se realiza dicho cambio las tareas se vuelven a lanzar, imaginemos que tenemos 100 apaches, y queremos aumentarle la memoria, en el caso que no hubiéramos puesto esta opción nos encontraríamos que el cluster apagaría todas las instancias para volver a lanzarlas con la nueva configuración.

uris y env

{
"cmd": "env ; /tmp/env ; gzip -d server.gz ; bash server $PORT0",
"cpus": 0.2,
"id": "artifact",
"instances": 1,
"mem": 1,
"disk": 15000,
"backoffSeconds": 1,
"upgradeStrategy": {
"minimumHealthCapacity": 1
},
"tasksRunning": 3,
"tasksStaged": 0,
"ports": [
0
],
"uris": [
"http://172.30.0.145/server.gz"
],
"env": {
"TEST": "ENVIO DE VARIABLE"
}

Como explicamos en los post anteriores cuando lanzamos una tarea Mesos crea un nuevo container, este nuevo espacio aislado tiene sus propias variables de entorno, estas variables se las podemos pasar como vemos en el ejemplo, la  variable TEST.

A más a más dentro del proceso de desligue de la aplicación le podemos decir que se descarga algo de una web, por ejemplo el código de la aplicación. ;)

Constraints

{
"id": "kafka",
"cmd": "/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties",
"mem": 12,
"cpus": 0.001,
"instances": 1,
"constraints": [
["hostname", "UNIQUE"]
]
}

Nos puede interesar tener diferentes servicios en diferentes nodos del cluster, por ejemplo si tenemos un mysql corriendo no nos interesara que los slaves y el master puedan estar en la misma máquina, UNIQUE es nuestro amigo.

Vamos a ver como lanzamos una tarea.

Crearemos una sencilla, un servidor python que correrá en cualquier puerto, la linea de hostname no es necesaria, pero es útil para cuando expliquemos el HA de marathon, le decimos que nos arranque 3 instancias.

{
"cmd": "echo `hostname` ; test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0",
"id": "/zpython",
"instances": 3,
"mem": 0.001,
"cpus": 0.001,
"disk": 0,
"ports": [
80
]
}
curl -H "Content-Type: application/json" -d @python.json http://localhost:7070/v2/apps

Como podemos ver en el gif la tarea se crea y se despliegan 3 instancias

deployAPP.gifSi nos vamos a la web del cluster de Mesos vermeos las tareas corriendo.

runtask

 

Escalada de aplicaciones 

Imaginemos que ahora en vez de 3 necesitariamos 100, pues la cosa seria tan sencilla como modificar la opcion instance y volver a lanzar el curl.

{
"cmd": "echo `hostname`; test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0",
"id": "/zpython",
"instances": 50,
"mem": 0.001,
"cpus": 0.001,
"disk": 0,
"ports": [
80
]
}
curl -H "Content-Type: application/json" -d @python.json http://localhost:7070/v2/apps

Como podéis ver los valores de mem y cpu no tienen sentido, pero los puse asi para que podamos crear aplicaciones sin control.

scalationAPP.gif

Esto es una maravilla a mi parecer.

50

Una vez creadas las 50 tareas, si nos conectamos a un slave como se reparten con un simple ps

[[email protected] centos]# ps aux | grep python
root 471 0.0 0.5 549976 18140 ? Ssl 08:59 0:00 /usr/bin/python -Es /usr/sbin/tuned -l -P
root 24059 0.0 0.0 115216 1472 ? Ss 10:33 0:00 sh -c echo `hostname` >> test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0
root 24062 0.0 0.2 201072 9676 ? S 10:33 0:00 /usr/bin/python -m SimpleHTTPServer 31631
root 24283 0.0 0.0 115216 1472 ? Ss 10:41 0:00 sh -c echo `hostname` >> test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0
root 24286 0.0 0.2 201072 9676 ? S 10:41 0:00 /usr/bin/python -m SimpleHTTPServer 31394
root 24301 0.0 0.0 115216 1468 ? Ss 10:41 0:00 sh -c echo `hostname` >> test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0
root 24304 0.0 0.2 201072 9680 ? S 10:41 0:00 /usr/bin/python -m SimpleHTTPServer 31905

Podemos ver como se han ido asignando puertos “aleatorios” en los servicios, si hacemos una petición a ese puerto buscando el fichero test.txt nos deberá dar el hostname de la maquina donde esta corriendo.

[[email protected] centos]# curl localhost:31842/test.txt
ip-172-30-0-116.us-west-2.compute.internal

Si queremos volver a dejar todo como estaba el procedimiento es el mismo, cambiamos el 50 por 3 y listos.

decrecerAPP
Vamos a ver que pasaría en el caso que uno de nuestros servicios python dejará de funcionar repentinamente, ya que dijimos que siempre deberíamos tener 50 corriendo.

killAPP

Como podemos ver es muy rapida.

Por último vamos a ver donde podemos encontrar nuestras aplicaciones dentro de los slaves, si no le hemos dicho lo contrario todos los contenedores son creados en /tmp.

Si nos vamos a ese nivel y hacemos un find del fichero txt podremos ver lo siguiente.

[[email protected] mesos]# find . -name test.txt
./slaves/20150315-085909-1862278828-5050-809-S1/frameworks/20150109-162856-2449481388-5050-10637-0000/executors/python.504a72d9-caf2-11e4-82c6-0233785b9264/runs/72d62e43-101c-4e20-89b6-f0b93b1baa94/test.txt
./slaves/20150315-085909-1862278828-5050-809-S1/frameworks/20150109-162856-2449481388-5050-10637-0000/executors/python.53d3e7ba-caf2-11e4-82c6-0233785b9264/runs/3798405d-b0d4-40ed-9939-7b29eb40c68b/test.txt
./slaves/20150315-085909-1862278828-5050-809-S1/frameworks/20150109-162856-2449481388-5050-10637-0000/executors/python.c2094b5c-caf3-11e4-8d09-02f82bce2403/runs/6c67ef7b-1bac-44cf-850e-209b99517c08/test.txt
...
[[email protected] mesos]# pwd
/tmp/mesos

La ruta que vemos es el mismo identificador que vemos en la pagina de Mesos Cluster
taskid

 

En el siguiente post explicaremos como montar HA para las aplicaciones de Marathon.