Esta pagina se ve mejor con JavaScript habilitado

CBSD Gestor de Jails, Bhyve, Qemu y Xen

 ·  ūüéÉ kr0m

CBSD es un software de gesti√≥n de Jails, m√°quinas virtuales Bhyve, m√°quinas virtuales Qemu de otras arquitecturas y Xen bajo FreeBSD, el proyecto ofrece una √ļnica cli para construir y gestionar entornos virtuales de forma r√°pida y sencilla. Adem√°s es posible la instalaci√≥n de una interfaz web llamada Clonos que a algunos les puede resultar atractiva, pero ya sab√©is que la cli siempre ser√° mas potente ya que es posible automatizar todo tipo de tareas.

El artículo se compone de distintas partes:


Configuración inicial:

Antes de empezar mencionar que en este manual no vamos a utilizar Xen ya que implicaría sustituir nuestro sistema operativo por el hipervisor de Xen e instalar FreeBSD como DOM0, en este enlace podemos ver FreeBSD como DOM0 gestionando los DOMU desde CBSD.

Las versiones de CBSD est√°n compuestas de varias partes, los dos primeros n√ļmeros indican la versi√≥n de FreeBSD en la que fu√© probado durante su desarrollo, el tercer n√ļmero indica la versi√≥n de CBSD, por ejemplo con la versi√≥n CBSD v.12.1.13 se trata de la versi√≥n de CBSD 13 que fu√© probado en FreeBSD 12.1.

Instalamos el software necesario desde paquetes binarios, como cliente VNC utilizaremos Vinagre ya que es muy sencillo de utilizar:

pkg install -y cbsd tmux vinagre

Para utilizar Bhyve necesitaremos cargar el módulo vmm(Virtual Machine Monitor), lo cargamos en el arranque:

vi /boot/loader.conf

vmm_load="YES"

Para proveer de red a las Jails utilizaremos alias y para las VMs Bhyve interfaces tap y bridges, para el acceso por TTY a las jails utilizaremos nmdm(null modem terminal driver).
Cargamos los módulos correspondientes:

vi /etc/rc.conf

kld_list="vmm if_tap if_bridge nmdm"

Reiniciamos para aplicar la configuración:

reboot

Inicializamos el nodo:

env workdir="/usr/jails" /usr/local/cbsd/sudoexec/initenv

En la mayor√≠a de casos los valores por defecto son aceptables, simplemente presionamos ENTER si estamos de acuerdo con ellos. Si mas adelante deseamos modificar alg√ļn par√°metro podremos ejecutar los comandos cbsd initenv-tui, bsdconfig cbsd, modificar la base de datos sqlite ${workdir}/var/db/local.sqlite o cargando los valores desde un fichero de configuraci√≥n.

-------[CBSD v.12.1.13]-------
 This is install/upgrade scripts for CBSD.
 Don't forget to backup.
-----------------------------
Do you want prepare or upgrade hier environment for CBSD now?
[yes(1) or no(0)]
yes

Shall i add cbsd user into /usr/local/etc/sudoers.d/cbsd_sudoers sudo file to obtain root privileges for the most cbsd commands?
[yes(1) or no(0)]
no

Shall i modify the /etc/rc.conf to sets cbsd_workdir="/usr/jails"?: 
[yes(1) or no(0)]
yes

nat_enable: Enable NAT for RFC1918 networks?
[yes(1) or no(0)]
no

fbsdrepo: Use official FreeBSD repository? When no (0) the repository of CBSD is preferred (useful for stable=1) for fetching base/kernel?
[yes(1) or no(0)]
yes

zfsfeat: You are running on a ZFS-based system. Enable ZFS feature?
[yes(1) or no(0)]
yes

stable: Use STABLE branch instead of RELEASE by default? Attention: only the CBSD repository has a binary base for STABLE branch ?
(STABLE_X instead of RELEASE_X_Y branch for base/kernel will be used), e.g.: 0 (use release)
0

sqlreplica: Enable sqlite3 replication to remote nodes ?
(0 - no replica, 1 - try to replicate all local events to remote nodes) e.g: 1
0

statsd_bhyve_enable: Configure CBSD statsd services for collect RACCT bhyve statistics? ?
(EXPERIMENTAL FEATURE)? e.g: 0
0

statsd_jail_enable: Configure CBSD statsd services for collect RACCT jail statistics? ?
(EXPERIMENTAL FEATURE)? e.g: 0
0

statsd_hoster_enable: Configure CBSD statsd services for collect RACCT hoster statistics? ?
(EXPERIMENTAL FEATURE)? e.g: 0
0

Configure RSYNC services for jail migration?
[yes(1) or no(0)]
1

Do you want to enable RACCT feature for resource accounting?
[yes(1) or no(0)]
yes

Shall i modify the /etc/rc.conf to sets cbsdd_enable=YES ?
[yes(1) or no(0)]
yes

Shall i modify the /etc/rc.conf to sets rcshutdown_timeout="900"?
[yes(1) or no(0)]
yes

Shall i modify the /etc/sysctl.conf to sets kern.init_shutdown_timeout="900"?
[yes(1) or no(0)]
yes

NOTA: Para conocer que versión de FreeBSD deseamos utilizar podemos consultar este artículo anterior .

Los par√°metros RC a√Īadidos deber√≠an de ser:

vi /etc/rc.conf

# CBSD
# kld_list="vmm if_tap if_bridge nmdm"
# /boot/loader.conf: kern.racct.enable=1 vmm_load="YES"
cbsd_workdir="/usr/jails"
cbsdd_enable="YES"
rcshutdown_timeout="900"

Arrancamos el servicio:

service cbsdd start

CBSD almacena los datos introducidos en una base de datos SQLite pero también se guardan en un fichero en plano para una rápida consulta.

cat ~cbsd/nc.inventory

Si queremos cambiar alguno de los par√°metros configurados podemos ejecutar alguno de los asistentes existentes:

cbsd initenv-tui
bsdconfig cbsd

NOTA: Hay par√°metros que no se pueden modificar desde los asistentes, pero podemos configurar los par√°metros en un fichero y cargarlos.

La lista completa de parámetros la podemos encontrar aquí:

/usr/local/cbsd/share/initenv.conf

La mejor manera de hacerlo es fusionando nuestra configuración actual con lo parámetros del fichero genérico:

cat ~cbsd/nc.inventory > customConfig.txt
echo “#——————-” » customConfig.txt
cat /usr/local/cbsd/share/initenv.conf » customConfig.txt

Ahora editamos el fichero para dejarlo a nuestro gusto:

vi customConfig.txt

Finalmente cargamos los par√°metros:

/usr/local/cbsd/sudoexec/initenv /root/customConfig.txt

Debemos tener en cuenta que cada vez que se actualice la versión de cbsd habrá que ejecutar:

cbsd initenv

Si instalamos CBSD desde paquetes precompilados puede venir con una versión desactualizada de los templates, estos son utilizados para lanzar máquinas virtuales Bhyve. Si estos no están actualizados puede que el template haga referencia a una ISO antigua que ya no esté disponible en los servidores de imágenes y la descarga dará error.

Podemos actualizar los templates desde el propio asistente:

cbsd bconstruct-tui


Si aparece un mensaje advirtiéndonos de que nuestra configuración de git está incompleta y se queja del modo en que mergear los cambios git, tendremos que ir al directorio del repositorio y ejecutar los comandos de configuración:

cd /usr/jails/etc
git config pull.rebase false

Ahora ya podemos lanzar el asistente y no se quejar√°.

Si lo preferimos podemos hacer un pull directamente, obteniendo el mismo resultado que con el asistente:

cd /usr/jails/etc/
git pull

La configuración por defecto de CBSD se encuentra en el directorio: /usr/jails/etc/defaults/

Si queremos modificar alg√ļn valor lo haremos al estilo FreeBSD, es decir generando el mismo fichero en un directorio superior al directorio donde se encuentra el fichero por defecto, este nuevo fichero contendr√° solo los par√°metros que queramos sobreescribir.

Para cambiar el nombre del dominio editaremos los siguientes ficheros:

vi /usr/jails/etc/bhyve-default-default.conf

default_domain="alfaexploit.com"
vi /usr/jails/etc/jail-freebsd-default.conf
default_domain="alfaexploit.com"
vi /usr/jails/etc/jail-freebsd-vnet.conf
default_domain="alfaexploit.com"
vi /usr/jails/etc/jail-freebsd-trusted.conf
default_domain="alfaexploit.com"

Una funcionalidad muy √ļtil si estamos probando CBSD en nuestro pc de sobremesa es el comando blogin que nos permite especificar el comando a ejecutar para hacer login en la VM Bhyve, en mi caso deseo lanzar Vinagre contra la ip loopback en el puerto VNC que se le haya asignado a la VM, pero para poder hacer esto desde root tendremos que exportar la variable DISPLAY, definir el path del fichero Xauthority del usuario que arranc√≥ la sesi√≥n gr√°fica actual y finalmente lanzar como ese usuario el comando Vinagre.

vi /usr/jails/etc/blogin.conf

login_cmd="export DISPLAY=:0.0 && export XAUTHORITY=/home/kr0m/.Xauthority && su -m kr0m -c \"xhost si:kr0m:root\" && su -m kr0m -c \"vinagre 127.0.0.1:${vnc_port}\""

NOTA: Si necesitamos modificar el comando login para una VM en concreto deberemos editar el fichero:  /usr/jails/jails-system/VM_NAME/etc/blogin.conf

Por supuesto si la instalaci√≥n de CBSD se realiz√≥ en un servidor remoto el comando blogin es totalmente in√ļtil, tendremos que configurar los par√°metros VNC de la VM para poder acceder desde el exterior o bindear VNC a la loopback y cada VM en un puerto distinto, el acceso desde fuera se har√≠a mediante t√ļneles Ssh. Ambos procedimientos se detallan mas adelante en este mismo manual.

Por defecto la red de las jails se gestiona mediante alias en el padre, en cambio en Bhyve se hace mediante dispositivos tap y un bridge, pongamos un ejemplo de Jail y Bhyve para que se vea mas claro.


Gestión Jails:

Iniciamos el asisten de construcción de una Jail:

cbsd jconstruct-tui


Arrancamos la Jail:

cbsd jstart jail1
cbsd jls

JNAME  JID  IP4_ADDR       HOST_HOSTNAME    PATH                    STATUS
jail1  4    192.168.69.77  jail1.alfaexploit.com  /usr/jails/jails/jail1  On       

Si dejamos la dirección ip en DHCP nos dará una del rango: 10.0.0.0/16. Si queremos asignar ips por DHCP a las Jails tendremos que utilizar el modo de red VNET, no alias.

Si le asignamos una ip de nuestro rango de red(192.168.69.77) en el padre se crear√° un alias de forma autom√°tica:

ifconfig

em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
 options=81249b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,LRO,WOL_MAGIC,VLAN_HWFILTER>
 ether 34:97:f6:36:bf:45
 inet 192.168.69.4 netmask 0xffffff00 broadcast 192.168.69.255
 inet 192.168.69.77 netmask 0xffffffff broadcast 192.168.69.77
 media: Ethernet autoselect (1000baseT <full-duplex>)
 status: active
 nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>

Entramos dentro de la Jail:

cbsd jlogin jail1
uname -a

FreeBSD jail1.alfaexploit.com 12.1-RELEASE-p10 FreeBSD 12.1-RELEASE-p10 GENERIC  amd64
ifconfig em0
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
 options=81249b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,LRO,WOL_MAGIC,VLAN_HWFILTER>
 ether 34:97:f6:36:bf:45
 inet 192.168.69.77 netmask 0xffffffff broadcast 192.168.69.77
 media: Ethernet autoselect (1000baseT <full-duplex>)
 status: active

Para proporcionar red a las Jails se utilizan alias en la interfaz del padre, al ser alias estas son ips del padre y de la Jail simultáneamente, esto implica ciertos problemas si bindeamos en todas las direcciones disponibles los servicios del padre, por ejemplo si lo hacemos con el servicio Ssh mientras la Jail tenga el servicio arrancado se servirá en esa ip el Ssh de la Jail, si se apaga el Ssh de la Jail se servirá el Ssh del padre, esto puede llevar a confusión.

Cualquier servicio del padre se debe bindear exclusivamente a su direcci√≥n ip, en la jail no hay problema ya que solo ve la ip asignada y con un wildcard se bindea a esta √ļnica ip existente.

En el padre debemos evitar los bindeos genéricos como estos:

ListenAddress 0.0.0.0  
listen *

Esto podría evitarse utilizando la tecnología de red VNET que proveerá de una pila TCP/IP completa a la jail, pero se trata de otra historia que explicaré en un futuro artículo.

Accedemos a la Jail vía SSH:

ssh root@192.168.69.77
jail1:/root@[19:04] #

Si estamos probando CBSD en un equipo de escritorio es muy probable que tengamos el proceso gvfs arrancado, esto puede causar problemas cuando eliminemos jails ya que el proceso de Trash de gvfs puede estar accediendo al filesystem.

Comprobamos si alg√ļn filesystem pertenece a alguna jail eliminada:

zfs list

zroot/ROOT/default/jail1                88K  17.6G    88K  /usr/jails/jails-data/jail1-data

Para localizar el proceso problem√°tico ejecutaremos lsof de una forma similar a la siguiente:

lsof +f – /usr/jails/jails-data/jail1-data

COMMAND     PID USER   FD   TYPE                DEVICE SIZE/OFF NODE NAME
gvfsd-tra 71064 kr0m   31r  VDIR 2588486123,3870875304        2    4 /usr/jails/jails-data/jail1-data

Matamos el proceso:

kill PID

Desmontamos el filesystem y lo destruimos:

umount /usr/jails/jails-data/jail1-data
zfs destroy zroot/ROOT/default/jail1


Gestión VMs Bhyve:

Iniciamos el asistente de construcción de una VM Bhyve:

cbsd bconstruct-tui

En el caso de Bhyve la configuraci√≥n de red se regir√° por la configuraci√≥n que se realice mediante el instalador del SO invitado ignorando los par√°metros del asistente. Estos par√°metros simplemente se guardan en la base de datos SQLite por si fuese necesaria la integraci√≥n con alg√ļn servicio externo como puede ser un servidor DHCP, de este modo podr√≠amos ejecutar un script de configuraci√≥n del DHCP en base a la IP indicada y la direcci√≥n MAC de la VM justo antes de arrancarla, en este art√≠culo podemos ver un ejemplo completo.

Al crear la VM se crean dos interfaces tap en el padre, una para la VM y otra para el padre, estas dos interfaces junto con la interfaz física se meten dentro de un bridge.

Si estamos creando una m√°quina Linux debemos cambiar el firmware de arranque de disco a refind en otros sistemas como DragonFlyBSD parece que el firmware Bhyve funciona sin problemas:


Ahora debemos decidir si queremos sacrificar una direcci√≥n ip de la red para el acceso VNC o si bindeamos el servicio a la loopback y accedemos v√≠a t√ļnel Ssh, mediante loopback el acceso ser√° mas seguro ya que solo estar√° expuesto cuando montemos el t√ļnel y no desperdiciaremos direcciones ips pero tendremos que configurar un puerto VNC distinto por cada VM.

Bhyve VNC-loopback:
Accedemos a las opciones VNC del asistente:

Configuramos un puerto distinto para cada VM:

Bhyve VNC-Ip:
Accedemos a las opciones VNC del asistente:

Configuramos una dirección ip:

Quedando del siguiente modo:

Configuramos la ip como alias en el padre, vamos a dejarlo configurado en el rc.conf y manualmente de este modo en caso de reinicio no se perderá configuración:

sysrc ifconfig_nfe0_alias0="inet IP_VM netmask NETMASK"

Manualmente:

ifconfig INTERFAZ IP_VM netmask NETMASK alias

Terminamos de crear la VM:

Si quisiesemos modificar alg√ļn par√°metro tan solo debemos ejecutar el comando bconfig:

cbsd bconfig jname=kali1

Cuando arranquemos la VM nos preguntar√° si queremos arrancar desde cdrom:

cbsd bstart kali1

May be you want to boot from CD?   
[yes(1) or no(0)]  
1  
Temporary boot device: cd  
vm_iso_path: iso-kali-linux-mate-2020.2-amd64  
No such media: /usr/jails/src/iso/cbsd-iso-kali-linux-2020.2-installer-amd64.iso in /usr/jails/src/iso

En caso de no encontrar la imagen ISO de la distro a instalar nos preguntar√° si debe baj√°rsela de los mirrors:

Shall i download it from: https://gemmei.ftp.acc.umu.se/mirror/kali.org/kali-images/kali-2020.2/ https://cdimage.kali.org/kali-2020.2/ http://mirrors.dotsrc.org/kali-images/kali-2020.2/ http://mirror-1.truenetwork.ru/kali-images/kali-2020.2/ ?  
[yes(1) or no(0)]  
1

Consultamos las VMs disponibles, dependiendo de como configuramos el acceso VNC obtendremos distintas salidas:
VNC-Loopback:

cbsd bls

JNAME  JID    VM_RAM  VM_CURMEM  VM_CPUS  PCPU  VM_OS_TYPE  IP4_ADDR  STATUS  VNC  
kali1  75966  2048    25         1        0     linux       DHCP      On      127.0.0.1:5900  

VNC-Ip:

cbsd bls

JNAME  JID    VM_RAM  VM_CURMEM  VM_CPUS  PCPU  VM_OS_TYPE  IP4_ADDR  STATUS  VNC  
kali1  75903  2048    264        1        0     linux       DHCP      On      192.168.69.144:5900

 
Hacemos login mediante VNC y procedemos con la instalación.

VNC-Loopback:
Montamos el t√ļnel Ssh para acceder desde fuera al VNC:

ssh -L 5900:127.0.0.1:5900 -A -g kr0m@HOST_PADRE

Accedemos por el t√ļnel:

vinagre 127.0.0.1:5900

VNC-Ip:

vinagre 192.168.69.144:5900

En el bridge podemos ver una interfaz para el padre, otra para la VM y la interfaz física:

ifconfig

bridge1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500  
 description: em0  
 ether 02:89:af:f3:c6:01  
 id 00:00:00:00:00:00 priority 32768 hellotime 2 fwddelay 15  
 maxage 20 holdcnt 6 proto rstp maxaddr 2000 timeout 1200  
 root id 00:00:00:00:00:00 priority 32768 ifcost 0 port 0  
 member: tap2 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>  
         ifmaxaddr 0 port 5 priority 128 path cost 2000000  
 member: tap1 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>  
         ifmaxaddr 0 port 4 priority 128 path cost 2000000  
 member: em0 flags=143<LEARNING,DISCOVER,AUTOEDGE,AUTOPTP>  
         ifmaxaddr 0 port 1 priority 128 path cost 20000  
 groups: bridge  
 nd6 options=9<PERFORMNUD,IFDISABLED>  
tap1: flags=8903<UP,BROADCAST,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500  
 description: CBSDSYSTEM0  
 options=80000<LINKSTATE>  
 ether 00:bd:3a:47:f7:01  
 groups: tap  
 media: Ethernet autoselect  
 status: no carrier  
 nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>  
tap2: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500  
 description: kali1-nic0  
 options=80000<LINKSTATE>  
 ether 00:bd:15:46:c5:02  
 groups: tap vm-port  
 media: Ethernet autoselect  
 status: active  
 nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>  
 Opened by PID 43480

Si se han instalado las X estas están bugeadas( 1 , 2 ), el bug en cuestión presenta la siguiente ventana al intentar arrancar las X:

Para solventarlo tendremos que entrar por Ssh y desinstalar el paquete xserver-xorg-video-vesa, el problema es que al arrancar el entorno gr√°fico se queda colgado por el bug y cuando presionamos Ctrl+Alt+F1 estamos enviando las pulsaciones a nuestro FreeBSD, para poder hacerlo dentro del cliente VNC previamente tendremos que deshabilitar las teclas en nuestro SO.

setxkbmap -option srvrkeys:none

Ahora ya podemos hacer login desde la tty no gr√°fica y arrancar el servicio Ssh para desinstalar el paquete conflictivo:

service ssh start

Accedemos por Ssh a la VM:

Desinstalamos el paquete:

apt remove xserver-xorg-video-vesa
reboot

Rehabilitamos Ctrl+Alt+FX:

setxkbmap -option

Como podemos ver kali ya arranca las X con normalidad, si hacemos login veremos que el entorno gr√°fico funciona sin problemas:


Otra forma de tener las X funcionando es instalar el SO mediante el VNC de CBSD y luego acceder por Ssh a la VM para instalar un servidor VNC dentro de esta, así ya no dependeríamos del VNC de Bhyve.

Como apunte final destacar que si solo queremos arrancar ciertas aplicaciones gr√°ficas podemos hacerlo mediante el ssh-xforward sin necesidad de arrancar las X enteras.

Autorizamos la ip de la Kali para que pueda lanzar aplicaciones en local a través de la red, conectamos por Ssh y lanzamos de forma remota la aplicación:

xhost +inet:192.168.69.99
ssh -vYC kr0m@192.168.69.99 burpsuite

Si te ha gustado el artículo puedes invitarme a un RedBull aquí