16 mar

Marathon framework para Apache-Mesos

Después de explicar qué es Apache-Mesos y cómo se instala llega el momento de poner a funcionar el sistema, para ello lo que vamos a instalar es Marathon y lo utilizaremos para correr aplicaciones en los slaves de Apache-Mesos.

Pues vamos al lio

¿Qué es Marathon?

Marathon es un framework que corre junto a Mesos y que nos permite lanzar a través de él aplicaciones de larga duración, o sea que vayan a estar tiempo dando servicio, por ejemplo un Apache, servicios Python …, viene siendo un init para el cluster de Mesos, a más a más dispone de una API que hace la gestión realmente sencilla.

¿Cómo se instala Marathon?

Siguiendo con la arquitectura de los post anteriores, tenemos en nuestras maquinas Centos añadidos los repositorios de Mesosphere, asi pues que la instalacion es tan sencilla como lanzar en todos los masters del cluster de Mesos el siguiente comando

yum install marathon

Al utilizar el paquete que nos da Mesosphere la configuración es automática, por defecto nos utilizara el mismo ZooKeeper que tenemos configurado para Mesos.

Únicamente me encontré con un problema a la hora de configurarlo y fue que me hacia falta cambiar el puerto por el cual estaba escuchando ya que se solapaba con otros servicios, esto se hace de una forma muy fácil.

Las opciones que nos encontramos en http://mesosphere.github.io/marathon/docs/command-line-flags.html se activan creando un fichero de configuración de la siguiente manera, por ejemplo para modificar el puerto por el cual escucha

cat /etc/marathon/conf/http_port
7070

¿Cómo se trabaja con Marathon?

Una vez instalado comprobamos que el servicio esta corriendo.

marathon.service - Marathon
Loaded: loaded (/usr/lib/systemd/system/marathon.service; enabled)
Active: active (running) since Sun 2015-03-15 09:14:58 UTC; 7min ago
Main PID: 1352 (java)
CGroup: /system.slice/marathon.service
├─1352 java -Djava.library.path=/usr/local/lib -Djava.util.logging.SimpleFormatter.format=%2$s%5$s%6$s%n -Xmx512m -cp /usr/local/bin/marathon mesosphere.marathon.Main --http_port 7070 --zk zk://172.3...
├─1368 logger -p user.info -t marathon[1352]
└─1369 logger -p user.notice -t marathon[1352]

Tenemos dos formas de trabajar, a través de una web o por command line.

Interfaz web

Para conectarnos a Marathon iremos a la ip de nuestro master y el puerto por defecto 8080.

Veremos algo tal que así, en mi caso ya dispongo de algunas tareas corriendo.

marathon

Por la interfaz web podemos hacer cosas muy sencillas, por ejemplo si le damos a New App nos permitirá lanzar una aplicación con algunos parámetros base.

marathon2

Por ejemplo podemos hacer una tarea que lace un echo y se espere 5 segundos, como hemos dicho, Marathon se asegurara que esa tarea siempre este corriendo en el cluster de Mesos, a más a más como explicamos en los post anteriores nos asegurará que tendremos los recursos que nos hacen falta, en este caso un 10% de la cpu disponible 16MB de Ram y sin disco necesario.

marathon task

Como hemos dicho sin nos fijamos en el gif, esta tarea tiene un final, pero el cluster se encargara de que siempre este funcionando, cuando se detecte que la tarea se finalizo se volverá a lanzar.

runAPP.gif

Si le damos encima de la aplicación podemos ver datos muy interesantes como por ejemplo, cuando se lanzo, en que nodo del cluster se encuentra o que versión esta desplegada. Cada cambio que apliquemos en las condiciones que queremos que corra nuestra aplicación (por ejemplo aumentarle la RAM) será una nueva versión, de tal manera que podremos volver atrás en las configuraciones.

Información de la tarea

infotaskConfiguración

configure

 

Hasta aquí la parte sencilla, ahora vamos al command line y vamos a explicar como se mueven las aplicaciones por el cluster.

Marathon como no podría ser de otra manera tiene una API para gestionar las tareas, las peticiones sobre las tareas nuevas o ya existentes se realizan envío de ficheros json, tenemos diferentes opciones todas están descritas aquí.

Vamos a poner ejemplo de las más comunes.

Creación y modificación de aplicaciones a través de la REST API.

Lo primero es generar un json con las opciones que queramos, en la doc oficial podemos ver que pueden tener un montón de opciones diferentes. https://mesosphere.github.io/marathon/docs/rest-api.html#post-/v2/apps

Aquí voy a poner unos cuantos ejemplos y explicaré las opciones que me resultaron mas útiles.

Ports

{
"cmd": "echo `hostname` test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0",
"id": "/python",
"instances": 3,
"mem": 0.001,
"cpus": 0.001,
"disk": 0,
"ports": [
80
]
}

Este es muy sencillo, pero es interesante ver como podemos pasar un puerto a la lina de ejecución, en este caso nos interesa que nuestro servidor HTTP siempre se ejecute en el puerto 80, esta característica será imperativo para que la aplicación pueda correr en un slave, o sea que dicho slave tenga el puerto 80 libre. Con esto nos permite poder correr diferentes servidores web en el cluster. La variable $PORT0 será un puerto aleatorio que asignara mesos, cuando explique la alta disponibilidad de Marathon veremos como podemos saber ese puerto en todo momento.

HealthChecks

"healthChecks":[
{
"protocol":"TCP",
"gracePeriodSeconds":3,
"intervalSeconds":5,
"portIndex":1,
"timeoutSeconds":5,
"maxConsecutiveFailures":3
}

Podemos asignar HeathCheck a la tarea, por defecto cuando el pid de la tarea desaparece se da por finalizada y se vuelve a lanzar, pero como sabemos esto no siempre es significativo, podemos entonces verificar el funcionamiento de nuestra aplicación a través de un check TCP o una respuesta HTTP

upgradeStrategy

"upgradeStrategy": {
"minimumHealthCapacity": 1
},

Esta opción es muy interesante, con ella le diremos el número mínimo de instancias que debe haber en el caso que realicemos un cambio de configuración, cuando se realiza dicho cambio las tareas se vuelven a lanzar, imaginemos que tenemos 100 apaches, y queremos aumentarle la memoria, en el caso que no hubiéramos puesto esta opción nos encontraríamos que el cluster apagaría todas las instancias para volver a lanzarlas con la nueva configuración.

uris y env

{
"cmd": "env ; /tmp/env ; gzip -d server.gz ; bash server $PORT0",
"cpus": 0.2,
"id": "artifact",
"instances": 1,
"mem": 1,
"disk": 15000,
"backoffSeconds": 1,
"upgradeStrategy": {
"minimumHealthCapacity": 1
},
"tasksRunning": 3,
"tasksStaged": 0,
"ports": [
0
],
"uris": [
"http://172.30.0.145/server.gz"
],
"env": {
"TEST": "ENVIO DE VARIABLE"
}

Como explicamos en los post anteriores cuando lanzamos una tarea Mesos crea un nuevo container, este nuevo espacio aislado tiene sus propias variables de entorno, estas variables se las podemos pasar como vemos en el ejemplo, la  variable TEST.

A más a más dentro del proceso de desligue de la aplicación le podemos decir que se descarga algo de una web, por ejemplo el código de la aplicación. ;)

Constraints

{
"id": "kafka",
"cmd": "/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties",
"mem": 12,
"cpus": 0.001,
"instances": 1,
"constraints": [
["hostname", "UNIQUE"]
]
}

Nos puede interesar tener diferentes servicios en diferentes nodos del cluster, por ejemplo si tenemos un mysql corriendo no nos interesara que los slaves y el master puedan estar en la misma máquina, UNIQUE es nuestro amigo.

Vamos a ver como lanzamos una tarea.

Crearemos una sencilla, un servidor python que correrá en cualquier puerto, la linea de hostname no es necesaria, pero es útil para cuando expliquemos el HA de marathon, le decimos que nos arranque 3 instancias.

{
"cmd": "echo `hostname` ; test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0",
"id": "/zpython",
"instances": 3,
"mem": 0.001,
"cpus": 0.001,
"disk": 0,
"ports": [
80
]
}
curl -H "Content-Type: application/json" -d @python.json http://localhost:7070/v2/apps

Como podemos ver en el gif la tarea se crea y se despliegan 3 instancias

deployAPP.gifSi nos vamos a la web del cluster de Mesos vermeos las tareas corriendo.

runtask

 

Escalada de aplicaciones 

Imaginemos que ahora en vez de 3 necesitariamos 100, pues la cosa seria tan sencilla como modificar la opcion instance y volver a lanzar el curl.

{
"cmd": "echo `hostname`; test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0",
"id": "/zpython",
"instances": 50,
"mem": 0.001,
"cpus": 0.001,
"disk": 0,
"ports": [
80
]
}
curl -H "Content-Type: application/json" -d @python.json http://localhost:7070/v2/apps

Como podéis ver los valores de mem y cpu no tienen sentido, pero los puse asi para que podamos crear aplicaciones sin control.

scalationAPP.gif

Esto es una maravilla a mi parecer.

50

Una vez creadas las 50 tareas, si nos conectamos a un slave como se reparten con un simple ps

[roo[email protected] centos]# ps aux | grep python
root 471 0.0 0.5 549976 18140 ? Ssl 08:59 0:00 /usr/bin/python -Es /usr/sbin/tuned -l -P
root 24059 0.0 0.0 115216 1472 ? Ss 10:33 0:00 sh -c echo `hostname` >> test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0
root 24062 0.0 0.2 201072 9676 ? S 10:33 0:00 /usr/bin/python -m SimpleHTTPServer 31631
root 24283 0.0 0.0 115216 1472 ? Ss 10:41 0:00 sh -c echo `hostname` >> test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0
root 24286 0.0 0.2 201072 9676 ? S 10:41 0:00 /usr/bin/python -m SimpleHTTPServer 31394
root 24301 0.0 0.0 115216 1468 ? Ss 10:41 0:00 sh -c echo `hostname` >> test.txt ; /usr/bin/python -m SimpleHTTPServer $PORT0
root 24304 0.0 0.2 201072 9680 ? S 10:41 0:00 /usr/bin/python -m SimpleHTTPServer 31905

Podemos ver como se han ido asignando puertos “aleatorios” en los servicios, si hacemos una petición a ese puerto buscando el fichero test.txt nos deberá dar el hostname de la maquina donde esta corriendo.

[[email protected] centos]# curl localhost:31842/test.txt
ip-172-30-0-116.us-west-2.compute.internal

Si queremos volver a dejar todo como estaba el procedimiento es el mismo, cambiamos el 50 por 3 y listos.

decrecerAPP
Vamos a ver que pasaría en el caso que uno de nuestros servicios python dejará de funcionar repentinamente, ya que dijimos que siempre deberíamos tener 50 corriendo.

killAPP

Como podemos ver es muy rapida.

Por último vamos a ver donde podemos encontrar nuestras aplicaciones dentro de los slaves, si no le hemos dicho lo contrario todos los contenedores son creados en /tmp.

Si nos vamos a ese nivel y hacemos un find del fichero txt podremos ver lo siguiente.

[[email protected] mesos]# find . -name test.txt
./slaves/20150315-085909-1862278828-5050-809-S1/frameworks/20150109-162856-2449481388-5050-10637-0000/executors/python.504a72d9-caf2-11e4-82c6-0233785b9264/runs/72d62e43-101c-4e20-89b6-f0b93b1baa94/test.txt
./slaves/20150315-085909-1862278828-5050-809-S1/frameworks/20150109-162856-2449481388-5050-10637-0000/executors/python.53d3e7ba-caf2-11e4-82c6-0233785b9264/runs/3798405d-b0d4-40ed-9939-7b29eb40c68b/test.txt
./slaves/20150315-085909-1862278828-5050-809-S1/frameworks/20150109-162856-2449481388-5050-10637-0000/executors/python.c2094b5c-caf3-11e4-8d09-02f82bce2403/runs/6c67ef7b-1bac-44cf-850e-209b99517c08/test.txt
...
[[email protected] mesos]# pwd
/tmp/mesos

La ruta que vemos es el mismo identificador que vemos en la pagina de Mesos Cluster
taskid

 

En el siguiente post explicaremos como montar HA para las aplicaciones de Marathon.

23 nov

Instalación de Graphite en HA

Graphite en HA

Instalar Graphite para HA

Vamos a explicar como montar un sistema de Graphite en HA , en esta entrada explicaba como hacer la instalación inicial de graphite , así que partimos de un escenario donde ya tenemos un Graphite instalado y lo que queremos es asegurarnos que en el caso que caiga no nos quedemos sin sistema de métricas.

Por último antes de empezar, el sistema de alta disponibilidad que vamos a montar es tipo mirror.

Pues vamos al lío…

Partes de Graphite

Graphite se compone de una serie de demonios que trabajan al unisono para poder generar las graphicas, vamos a explicar que papel tiene cada uno de ellos, ya que será interesante para entender como montar el sistema de alta disponibilidad.

Carbon-Relay: Es el encargado de tratar la métrica que recibimos en primera instancia, decidira a que carbon-cache enviara la metrica segun el tipo de balanceo que le hayamos dicho (consistent-hashing o relays-rules)

  • Consistent-hashing : Este método se utiliza cuando las métricas siempre irán a los mismos carbón-caches y tenemos más de uno, básicamente lo que hacemos en un balanceo tipo Round-Robin
  • Relays-rules: Dependiendo del patron de la metrica el relay enviará el dato a un o otro carbon-cache(o a otro relay).
/opt/graphite/conf/carbon.conf

# Use relay-rules.conf to route metrics to destinations based on pattern rules
#RELAY_METHOD = rules
#
# Use consistent-hashing for even distribution of metrics between destinations
#RELAY_METHOD = consistent-hashing

Carbon Cache : Este demonio tiene dos funciones, por un lado es el encargado de escribir la métrica en disco y por otro lado es el encargado de recibir las peticiones de la webapp.

Whisper: Es el sistema de escritura que se utiliza por defecto, las métricas se grabaran en fichero wsp (whisper) de forma secuencial.

Webapp : Esta es la parte con la que veremos las metricas, es un django servido por un apache.

Arquitectura deseada.

Donde queremos llegar.

Graphite HA structure

Vamos a explicar el flujo de datos que tendremos y después explicaremos como se configura esta arquitectura.

  1. Los servidores 1 y 2 serán iguales y los servidores 3-4 también.
  2. La estructura se compone de 4 servidores, los 4 tendrán configurado Graphite con la instalación normal (así resulta mas fácil)
  3. Tendremos un balanceador para que nos enviara las peticiones en round robin a los primeros Carbon-relays (Servidor 1 y 2)

Flujo de envío de datos.

  1. Enviaremos las métrias al balanceador
  2. El balanceador en RoundRobin enviara cada métrica a un Carbon-relays de los servidores 1 y 2
  3. Los servidores 1 y 2 enviaran la métrica recibida a los Carbon-relays de los servidores 3-4 a través, NO es roundrobin, tendremos factor de replicación 2 con dos servidores, así que la métrica se enviara dos veces.
  4. Los Carbon-relays de los sservidores 3 y 4 recibirán la métrica, estos se encargaran de enviarlos a los Carbon-cache, tendremos 2 por máquina (un Carbon-cache una Cpu), en este caso con factor de replicación 1, una métrica para cada Carbon-cache (RoundRobin).
  5. Carbon-Cache recibirá la métrica y la grabará en whisper.

 Flujo de consulta de datos

  1. La peticiones las enviaremos a los servidores 3-4.
  2. La peticion llegará al balancedador, este por RoundRobin enviara a uno de los dos sevidores (3-4)
  3. La Webapp recibirá la petición, primero de todo irá al Memcache de los servidores 1-2 para comprobar que no tenga el dato. (Memcache no es necesario, pero aligera la carga)
  4. Si el dato no se encuentra lanzará la petición a los Carbon-cache del mismo servidor por los puertos 7102 y 7002.
  5. Carbon-cache ira a disco  buscar el dato y lo entregará a la webapp

 

Como podemos ver lo que estamos haciendo es simplemente repartir el dato que recibimos entre dos sistemas, de esta manera tendremos un espejo de la arquitectura de Graphite, los servidor 1-3 y los servidores 2-4, pudiendo romper cualquier elemento sin perder servicio.

 

Configuración de la alta disponibilidad

Como hemos visto la arquitectura es simétrica, así pues la configuración de los servidores 1-3 será la misma que la de los servidor 2-4.

Configuración de carbon-relay (Servidores 1-2)

Estos servidores los configuraremos exclusivamente en la sección relay del fichero de configuración de carbon.conf

Le diremos configuraremos el puerto normal y el puerto donde enviaremos las métricas Pickle, (altamente recomendado enviar todo lo que podamos por Pickle)

/opt/graphite/conf/carbon.conf

LINE_RECEIVER_INTERFACE = 0.0.0.0
LINE_RECEIVER_PORT = 2003
PICKLE_RECEIVER_INTERFACE = 0.0.0.0
PICKLE_RECEIVER_PORT = 2014

Seleccionaremos el método de balanceo que queramos, en nuestro caso como queremos un espejo tendremos que activar consistent-hashing

RELAY_METHOD = consistent-hashing

Ahora el factor de replicación, en estos Carbon-relays deberá ser 2, ya que queremos que cada métrica se envíe a ambos grupos de servidores (2-4)

REPLICATION_FACTOR = 2

Como es lógico le tendremos que decir donde están esos servidores, los puertos que ponemos serán los puertos Pickle, ya que todas las comunicaciones que se muevan en el sistema deberían ser Pickle

DESTINATIONS = Servidor3:2014, Servidor4:2014

Esta configuración sera igual en los servidores 1 y 3

Configuración de carbon-relay (Servidores 3-4)

La métrica que se envía desde los servidores 1-2 deberá ser recibida por los Carbon-relay de los servidores 3-4, en este caso ponemos un Carbon-relay por delante ya que vamos a tener mas de un Carbon-cache y nos interesa que podamos balancear entre ellos.

En el fichero carbon.conf de los servidores 3-4 en la seccion [relay], deberemos poner lo siguiente:

/opt/graphite/conf/carbon.conf
PICKLE_RECEIVER_INTERFACE = 0.0.0.0
PICKLE_RECEIVER_PORT = 2014

Donde el PICKLE_RECEIVER_PORT deberá ser el mismo que hemos puesto en los destinos de los primeros Carbon-relay,

</pre>
RELAY_METHOD = consistent-hashing

Ahora el factor de replicación, en estos Carbon-relays deberá ser 1, ya que queremos que cada métrica se envíe a solo un Carbon-cache de los que tenemos en la misma máquina, o sea que consiguiremos un RoundRobin.

 

REPLICATION_FACTOR = 1

Como es lógico le tendremos que decir donde están esos servidores, los puertos que ponemos serán los puertos Pickle, ya que todas las comunicaciones que se muevan en el sistema deberían ser Pickle

DESTINATIONS = 127.0.0.1:2004, 127.0.0.1:2014

Configuración de carbon-cache (Servidores 3-4)

Como vemos en el esquema por cada servidor tendremos dos Carbon-cache, deberemos estar atentos a este punto ya que cambia un poco la configuración estándar.
Deberemos localizar dentro de la sección [cache] en el fichero carbon.conf de los servidores 3 y 4 los siguientes valores.

[cache]
PICKLE_RECEIVER_PORT = 2004
CACHE_QUERY_PORT = 7002

Podremos para el primer Carbon-cache los puertos donde podremos enviar las métricas PICKLE_RECEIVER_PORT, que deberá ser el mismo que hemos configurado en los Carbons-relay de los servidores 3-4.
Y el CACHE_QUERY_PORT que será el puerto por el que la Webapp enviará las consultas.

Con esto tendremos la configuración del primer Carbon-cache de un servidor, ahora deberemos configurar el segundo, tal que así.

[cache:b]
PICKLE_RECEIVER_PORT = 2104
CACHE_QUERY_PORT = 7102

Con esto creamos un nuevo carbón cache b siguiendo la misma lógica que con el primero

Por ultimo deberemos decirle al sistema que levante los dos Carbon-cache.

Podemos tener un init.d tal que así

#!/bin/sh
# !!! generated by puppet !!!

### BEGIN INIT INFO
# chkconfig: 2345 99 80
# Provides: carbon-cache
# Required-Start: $remote_fs $network $time
# Required-Stop: $remote_fs $network
# Default-Start: 2 3 4 5
# Default-Stop: 0 1 6
# Short-Description: Start/Stop carbon-cache
# Description: Enables Graphites carbon-cache data collecting engine
### END INIT INFO

case "$1" in
start)
python /opt/graphite/bin/carbon-cache.py --instance=a start
python /opt/graphite/bin/carbon-cache.py --instance=b start
;;
stop)
python /opt/graphite/bin/carbon-cache.py --instance=a stop
python /opt/graphite/bin/carbon-cache.py --instance=b stop
;;
status)
python /opt/graphite/bin/carbon-cache.py --instance=a status
python /opt/graphite/bin/carbon-cache.py --instance=b status
;;
restart)
$0 stop ; sleep 3 ; $0 start
RC=$?
exit $RC
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
exit 1
;;
esac

exit

Esta configuración será la misma para el servidor 4

Configuración de la Webapp

Ya solo nos queda la Webapp esta se configura en un fichero diferente

Deberemos tocar las siguientes opciones:

vim  /opt/graphite/webapp/graphite/local_settings.py
MEMCACHE_HOSTS = ['Servidor1:11211','Servidor2:11211',]
CARBONLINK_HOSTS = ["127.0.0.1:7002:a", "127.0.0.1:7102:b"]

En el caso que utilicemos Memcache deberemos decirle donde esta y donde encontrara los carbon-query para hacer peticiones de datos, en nuestro esquema se encuentran en la misma máquina.

Esta configuración es la misma para servidor 4

Y con eso ya tendremos el sistema montado, si todo salio bien, en el momento que le enviemos un métrica al Carbon-relay servidor 1 o 2 esta se repartirá entre los servidores 3 y 4

03 ago

LXC integrado con ZFS

Sin títuloNunca trabajé muy seriamente con lxc hasta ahora, total que estuve mirando para aprender sobre el tema y resulta que sacaron lxc 1.0.3, con un monton de cosas muy molonas, entre ellas la posibilidad de que se integre con sistemas de ficheros, desconozco si las versiones anteriores ya podían hacer, yo parto de la 1.0.3 y todo lo anterior esta obsoleto :).

Total que esta integración la tiene con bastantes sistemas, pero me pareció muy interesante dos de ellos btrfs (que también empece a trabajar con el y me parece muy interesante) y por supuesto zfs. Así que no hay mejor forma de entender que leer y después probar.

 

Este post me centrare en hacer trabajar lxc con zfs de forma celestial .

Pues venga al lío que se nos va el Domingo.

Instalación de LXC y ZFS

Primero de todo instalaremos lxc y zfs, la parte de zfs la podéis encontrar explicada en en Instalar OpenZFS en LINUX

[email protected]:~# apt-get install ubuntu-zfs lxc

En mi caso la máquina tiene un disco principal de 8GB y vamos añadir dos más de 10GB cada uno, para poder hacer raidz-1 con zfs, y allí es donde montaremos nuestros lxc,  lo haremos en dos partes, primero zfs.

Los discos que tenemos son los siguientes.

ZFS

Disk /dev/sdb: 10.7 GB, 10737418240 bytes
255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/sdb doesn't contain a valid partition table

Disk /dev/sdc: 10.7 GB, 10737418240 bytes
255 heads, 63 sectors/track, 1305 cylinders, total 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Haremos el pool con los dos de 10GB, sdb y sdc

[email protected]:~# zpool create -f containers raidz /dev/sdb /dev/sdc

[email protected]:~# df -h

containers      9.8G     0  9.8G   0% /containers

Pues ya tenemos el sitio donde meter los containers, ahora a por lxc

LXC

Primero de todo tenemos que decirle a lxc que coloque los containers en el pool de zfs, lo haremos con dos directivas en el fichero

vim /etc/lxc/lxc.conf
lxc.lxcpath = /containers/lxc
lxc.bdev.zfs.root = /containers/lxc

lxc.lxcpath -> Path donde estarán todos los container

lxc.bdev.zfs.root -> Nombre por defecto del zfs root

Deberemos crear el directorio lxc dentro del pool containers,  sino mal asunto.

[email protected]:~# zfs create containers/lxc

[email protected]:~# df -h

containers             9.8G 128K 9.8G  1%     /containers
containers/lxc    9.8G 128K 9.8G  1%    /containers/lxc

Y con esto ya tenemos el entorno montado, ahora es el momento de probar!

LXC más ZFS

Vamos a crear un container de forma normal, pero le daremos la opción -B zfs, es el valor predeterminado del directorio, pero si asignamos zfs o btrfs o lvm, lo que nos debería hacer es que el sistema de ficheros sea zfs y nos generara un nuevo volumen por contenedor y –zfsroot donde le diremos donde esta el container.

[email protected]:~# lxc-create -t ubuntu -n test -B zfs --zfsroot containers/lxc

Como es el primer container, esta descargando la imagen y eso lleva un ratillo… una vez termine nos dice este mensaje que es muy interesante y útil.

##
# The default user is 'ubuntu' with password 'ubuntu'!
# Use the 'sudo' command to run tasks as root in the container.
##

Pues vamos a ver como quedo la situación

[email protected]:~# zfs list
NAME                 USED AVAIL REFER MOUNTPOINT
containers           318M 9.47G 31K /containers
containers/lxc       318M  9.47G 34K /containers/lxc
containers/lxc/test  318M 9.47G 318M /containers/lxc/test/rootfs

Ahí lo tenemos test esta listo para arrancar, no la hagamos esperar mas.

lxc-start --name test

Y ya tenemos el tema andando, ahora por último lo que vamos hacer es sacarle un poco de jugo al zfs, que para eso lo hemos montado, vamos a jugar con la compresión, deduplicacion y snapshots.

Tenemos más detalle de los mismos en post anteriores, así que aquí vamos a ir al lío directamente.

Deduplicacion y compresion

Snapshots

Compresion, deduplicacion y snapshots

zfs set dedup=on containers

zfs set compression=lz4 containers

zpool set listsnapshots=on containers

La compresión en lz4 que es lo que se lleva ahora ;).

Comprobamos que este todo activado.

[email protected]:~# zfs get compression
NAME                PROPERTY    VALUE SOURCE
containers          compression lz4   local
containers/lxc      compression lz4   inherited from containers
containers/lxc/test compression lz4   inherited from containers
[email protected]:~# zfs get dedup
NAME                 PROPERTY VALUE SOURCE
containers           dedup on local
containers/lxc       dedup on inherited from containers
containers/lxc/test  dedup on inherited from containers

Pues venga a jugar!!!

Vamos a crear otro container a ver como se comporta la deduplicacion y la compresion.

lxc-create -t ubuntu -n test2 -B zfs --zfsroot containers/lxc

Una vez creado si comprobamos nos llevaremos una sorpresa

[email protected]:~# zfs get compressratio

containers/lxc/test compressratio 1.00x -
containers/lxc/test2 compressratio 2.10x -

[email protected]:~# zpool list

containers 19.9G 947M 19.0G 4% 1.01x ONLINE -

Uno de los containers esta comprimido pero el otro no, y aún por encima no aplico nada de deduplicacion :(, esto es sencillamente porque hemos aplicado esas características después de crear “test”, así que hay que tenerlo en cuenta.

Vamos hacer un snapshot y crear un nuevo container, ahí si que veremos que la deduplicacion surge efecto.

Creamos el snapshot.

[email protected]:~# zfs snapshot [email protected]
[email protected]:~# zfs list -t snapshot
NAME USED AVAIL REFER MOUNTPOINT
[email protected] 0 - 31K -

Creamos test3

lxc-create -t ubuntu -n test3 -B zfs --zfsroot containers/lxc

Y comprobamos

[email protected]:~# zpool list
containers 19.9G 962M 18.9G 4% 2.02x ONLINE -

Ahora si, tenemos test2 y test3 ocupando como si solo fuera 1 a más a más como están comprimidos el tamaño es inferior respecto test1

containers/lxc/test  319M  4% /containers/lxc/test/rootfs
containers/lxc/test2 153M  2% /containers/lxc/test2/rootfs

Por ultimo los snapshots, como habeis visto hemos realizado un snapshot con zfs, pues otra de las cosas molonas que trae esta version de lxc es que puede controlar los snapshots de zfs, btrfs, lo podemos comprobar haciendo.

[email protected]:~# lxc-snapshot -n test3 -L
snap0 (/containers/lxcsnaps/test3) 2014:08:02 04:53:18
snap1 (/containers/lxcsnaps/test3) 2014:08:02 04:53:33

Ahí los tenemos :)

Podemos crear snapshot de zfs directamente de lxc en un container especifico.

[email protected]:~# lxc-snapshot -n test2
could not find any snapshots to destroy; check snapshot names.

[email protected]:~# zfs list -t snapshot -o name,creation
NAME CREATION
containers/lxc/[email protected] Sat Aug 2 4:58 2014

Lo lanzamos con lxc y lo comprobamos con zfs, al revés que en el caso anterior, parece que si que se entienden(que era el objetivo del post :) )

Pues ya tenemos el sistema montado…

Ale a desfrutarlo!