Sysadmin's Shouts!

a blog for sysadmin's rants and raves…


Leave a comment

ADIOS a VMware v5 y v5.1!

El día 24 de agosto de 2016, se ha puesto en End Of Support las versiones v5 y v5.1 de vSphere, como puede comprobarse en el comunicado oficial de VMware (2145103).

Asi que para aquellos que no hayan actualizado sus equipos a la v5.5, o la v6.0, ya va siendo hora de planificar las actualizaciones.

 

Si quereis leer el comunicado oficial, podeis hacerlo en la siguiente URL:

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2145103&src=vmw_so_vex_ahanc_265

 


Leave a comment

Nagios Plugin for UNIX released

I have released a nagios plugin written in shell script to check if a filesystem is mounted under a UNIX & Linux OS, and it has been posted today in nagios exchange.

It’s a simple-written script in Unix shell, to make it compatible across a bigger number of operating systems, basically it checks if a file system is mounted with a vanilla “mount” command, and checks to see if the fs type matches the result with a grep. If the filesystem is mounted more than once, it gives a warning message with the number of times the FS is mounted under parentheses.

I have checked that it is compatible under the following UNIX, UNIX-like & Linux platforms:

IBM AIX v7.1, v6.1, v5.2 
RHEL v6.6, v4.8, RHL v9 
Ubuntu v10.04.4 LTS 
SuSe v11 
CentOS v6.6, v6.5 
CygWin v2.5.1, v2.0.4 & BusyBox v1.22.1 
Oracle Solaris x86 v11.3, v10 
SCO OpenServer v6.0.0 
SCO UnixWare v7.1.4+, v7.1.4

The plugin description is the following:

Shell Script for Nagios, checks if the FS passed on $1 is mounted under Mount Type $2. 
If no parameter passed on $2 NFS type is assumed by default. 
This script does not check fstab or /etc/filesystem or other tab entries, 
as it is designed to consume as little CPU time as possible and to be used in different 
OS types. 

It is a simple script, but it detects mounts of practically any type of FS, 
and multiple instances mounted of the same FS. 

Released under GPLv3. Author: Carlos Ijalba - 2016.

Alerts given to Nagios: 

OK - "/exports" mounted under "NFS". 
CRITICAL - "/exports" not mounted under "NFS". 
WARNING - "/exports" is mounted several times! (3) 

------------- 

USE: 
check_mount.sh [ $1 - Filesystem ] | optional: [ $2 - Type (NFS by default)] 

Reports: 
OK - $1 mounted under $2. 
CRITICAL - $1 not mounted under $2. 
WARNING - $1 is mounted several times! (number of times mounted) 

Examples: 
check_mount.sh /developer/logs <-- check NFS mount of /developer/logs 
check_mount.sh /developer cifs <-- check CIFS mount of /developer 
check_mount.sh /ora12c nfs4 <-- check NFSv4 mount of /ora12c 
check_mount.sh /db2 ext3 <-- check EXT3 mount of /db2 
check_mount.sh /CICS jfs2 <-- check JFS2 mount of /CICS 

The script’s code is as follows:

#!/bin/sh
#
 Copyright="(C) 2016 - Carlos Ijalba GPLv3" # <perkolator @ gmail.com>
#
# This program is free software: you can redistribute it and/or modify
# it under the terms of the GNU General Public License as published by
# the Free Software Foundation, either version 3 of the License, or
# (at your option) any later version.
#
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
# GNU General Public License for more details.
#
# You should have received a copy of the GNU General Public License
# along with this program. If not, see <http://www.gnu.org/licenses/>.
#
########################################################################################################################
#
# Program: check_mount.sh
#
# Parameters:
#   $1 - FS to check --MANDATORY--
#   $2 - Mount type [ nfs3 | nfs4 | cifs | jfs2 | procfs | ext3 | ext4... ] --OPTIONAL-- (NFS by default)
#
# Output:
#   3 - Error: No FS passed on parameter $1.
#   2 - CRITICAL: FS not OK, the FS specified is not mounted by $2.
#   1 - WARNING: FS not OK, the FS specified is mounted several times (it might not be a problem).
#   0 - OK: FS OK, the FS specified has an instance mounted under $2 mount type.
#
# Description:
#
# Shell Script for Nagios, checks if the FS passed on $1 is mounted under Mount Type $2. If no parameter passed on $2
# NFS type is assumed by default. This script do not check fstab or /etc/filesystem or other tab entries, as it is
# designed to consume as little CPU time as possible and to be used in different OS types.
#
# It is a simple script, but it detects mounts of practically any type of FS, and multiple instances mounted of the same FS.
#
# Verified compatible with the following OS:
#   IBM AIX v7.1, v6.1, v5.2
#   RHEL v6.6, v4.8, RHL v9
#   Ubuntu v10.04.4 LTS
#   SuSe v11
#   CentOS v6.6, v6.5
#   CygWin v2.5.1, v2.0.4 &amp; BusyBox v1.22.1
#   Oracle Solaris x86 v11.3, v10
#   SCO OpenServer v6.0.0
#   SCO UnixWare v7.1.4+, v7.1.4
#
# Versions Date Programmer, Modification
# ------------ ---------- ----------------------------------------------------
# Version=1.00 # 03/06/2016 Carlos Ijalba, Original version.
  Version=1.01 # 10/06/2016 Carlos Ijalba, GPLv3 open source release.
#
########################################################################################################################
#set -x

# Constants
NAGIOS_ERROR=3
NAGIOS_CRIT=2
NAGIOS_WARN=1
NAGIOS_OK=0

# Usage
if [ $# -lt 1 ]
 then
 cat << EOF
check_mount.sh v$Version - $Copyright

 ERROR - No FS passed under parameter \$1

 USE:
   check_mount.sh [ \$1 - Filesystem ] | optional: [ \$2 - Type (NFS by default)]

 Reports:
   OK - \$1 mounted under \$2.
   CRITICAL - \$1 not mounted under \$2.
   WARNING - \$1 is mounted several times! (number of times mounted)

 Examples:
   check_mount.sh /developer/logs &lt;-- check NFS mount of /developer/logs
   check_mount.sh /developer cifs &lt;-- check CIFS mount of /developer
   check_mount.sh /ora12c nfs4 &lt;-- check NFSv4 mount of /ora12c
   check_mount.sh /db2 ext3 &lt;-- check EXT3 mount of /db2
   check_mount.sh /CICS jfs2 &lt;-- check JFS2 mount of /CICS

EOF
 RC=$NAGIOS_ERROR
 exit $RC
fi
FS=$1

# Main

MOUNT=$2
if [ -z "$MOUNT" ]
 then
   MOUNT="nfs" # if $2 not specified, assume NFS by default
fi

MOUNTED=`mount | grep $MOUNT | grep $FS | wc -l | tr -s " "` # execute the command to check the mount...

if [ $MOUNTED -eq 0 ]; then
   MSG="CRITICAL - $FS not mounted under $MOUNT."
   RC=$NAGIOS_CRIT
 elif [ $MOUNTED -eq 1 ]; then
   MSG="OK - $FS mounted under $MOUNT."
   RC=$NAGIOS_OK
 else
   MSG="WARNING - $FS is mounted several times! ($MOUNTED)"
   RC=$NAGIOS_WARN
fi

echo $MSG
exit $RC

# End

I hope it is of use to somebody, if you have any doubts or problems with it, just give the sysadmin a shout!!!
You can check my plugin at nagios exchange here:

Check if FS is Mounted (check_mount.sh) AIX, NFS, UNIX, Linux, Solaris

 

And for more filesystem plugins from nagios exchange, visit:

https://exchange.nagios.org/directory/Plugins/System-Metrics/File-System

 

 


Leave a comment

: Conceptos de Almacenamiento : Parte II

Esta es la 2ª parte de una serie de artículos sobre el almacenamiento enterprise en el mundo IT empresarial.

Tabla de Contenido

Cabinas All Flash
Almacenamiento Virtualizado
por Hardware
por Software
VMware VSAN

 
Cabinas All Flash

Cabinas All Flash son la última generación de cabinas de almacenamiento disponible, como su nombre indica, usan exclusivamente discos SSD y su arquitectura está diseñada para producir y soportar I/O extrema (son las cabinas que proporcionan el rendimiento de IOPs mas alto del mercado).

Técnicamente son cabinas de almacenamiento usando SSDs en vez de discos duros, no obstante y como los SSDs tienen requerimientos diferentes de los HDs convencionales (diferente desgaste, no generan ruido, diferente consumo energético y disipación de calor, etc), estas cabinas suelen utilizar protocolos RAID modificados junto con diseños de caché y buses internos mejorados para esta infraestructura.

Ejemplos de estos dispositivos hardware son: Oracle FS1, EMC XtremIO, IBM FlashSystem, Pure Storage FlashArray.

 
Almacenamiento Virtualizado

por Hardware

Algunos proveedores de almacenamiento disponen de virtualizadores de almacenamiento, los cuales actúan como una capa extra de virtualización por encima de las cabinas de almacenamiento convencionales, haciendo posible el uso y gestión de cabinas de almacenamiento de IBM, HP, EMC, Oracle, NetApp, etcétera, y dar y tratar LUNs desde estas cabinas como si fueran un solo dispositivo de almacenamiento.

De hecho, podríamos decir que la virtualización de almacenamiento es a los cabinas de almacenamiento, lo que una cabina de almacenamiento es a los discos duros:
una forma de proporcionar una capa de gestión por encima de varios dispositivos menos inteligentes para poder hacerlos funcionar en concordancia y proporcionar resiliencia, rendimiento, capacidad, consolidación, gestión y funcionalidades extendidas.

Ejemplos son: IBM SAN Volume Controller (IBM SVC), EMC VPLEX, Hitachi Virtual Storage, NetApp FlexVol.

 

por Software

Almacenamiento Virtualizado por Software, o Software Defined Storage (SDS) son productos los cuales consiguen virtualizar almacenamiento de diferentes fuentes para poderlas hacer funcionar como una sola.
Por lo general usan el almacenamiento local presente en varios servidores para usarlos como almacenamiento distribuido,
haciendo un muy buen uso del espacio desperdiciado por la mayoría de servidores.

Existen varios productos de este tipo, en constante evolución debido a su naturaleza software, y de muy diferente alcance e infraestructura entre ellos.

Ejemplos son VMware VSAN, DataCore SANsymphony, EMC ViPR.

 
VMware VSAN

Virtualizador Software de VMware, no obstante vSAN se instala conjuntamente con Sphere ESXi como una capa para proporcionar almacenamiento virtualizado y distribuido al sistema operativo ESXi.

Con vSAN, sistemas con un numero de discos de discos duros y SSDs, junto con procesadores multicore pueden formar parte de un producto SAN considerable construido bajo las ventajas habituales de VMware.

vSAN requiere un numero mínimo de 2 servidores físicos (3 recomendados), cada uno con 1 SSD y 1 HD, y puede usar gran numero de SSDs y HDs para proporcionar un producto de almacenamiento de gran capacidad y rendimiento, eliminando la necesidad de añadir sistemas físicos de almacenamiento (nos ahorramos la NAS o SAN).

En la última versión se han añadido opciones avanzadas de almacenamiento como Compresión, Deduplicación, Stretched Cluster, All-Flash y soporte de diferentes algoritmos RAID.

Es un producto que VMware continúa mejorando y para el cual se ofrecen constantes mejoras, sencillo de administrar y actualizar.

vSAN es mas barato que la combinación tradicional de SAN/Fabric/Switches de Fibra, especialmente cuando calculamos su precio a un plazo de 4 años junto con soporte y mantenimiento hardware.

Es una buena opción para resiliencia y velocidad: en una SAN de fibra, habitualmente tenemos 1 cabina con sus 2 controladoras, por lo que para maximizar resiliencia, se necesitan 2 cabinas y 2 switches de fibra, lo cual dispara el coste.
Si comparamos este setup contra 3 servidores con 2 SSD y 4 HD cada uno, y dos switches de 10GB, enseguida podemos ver el ahorro en costes asociado.

vSAN escala desde 2 nodos, pero lo mas coherente es empezar con 3 nodos, y a medida que se necesite mas espacio, potencia o resiliencia, añadir mas nodos.

 


2 Comments

: Conceptos de Almacenamiento : Parte I

Más o menos todo el mundo en el mercado de IT entiende los conceptos básicos de
redes de comunicaciones, sin embargo, cuando empezamos a hablar de redes de
almacenamiento, las cosas se empiezan a difuminar, y aquí es donde me gustaría
ayudar.

Este artículo está escrito para explicar los conceptos más comunes en el espacio
de almacenamiento enterprise de IT, ya que hoy día nos encontramos una y otra vez
con los términos: virtualización, almacenamiento, SAN, NAS, RAID, almacenamiento
virtualizado, deduplicación de datos, zoning, etc.

En principio publicaré el artículo en 3 partes, a no ser que me de para publicar
una 4ª…

Tabla de Contenido

Cabina de Almacenamiento / Cabina de Discos
SAN
SAN Fabric
FC Switch Zoning
NAS
Almacenamiento Híbrido o Unificado

Cabina de Almacenamiento / Cabina de Discos

Una Cabina de Almacenamiento es un dispositivo hardware con soporte para un
elevado número de discos duros, y una controladora de discos para poder efectuar
agrupaciones de discos y presentar varios discos como uno solo, ofreciendo
ventajas tales como: mejor rendimiento, prevención de fallos y protección de
pérdida de datos.

Hoy en día los dispositivos de almacenamiento modernos, ya no son referidos por
los fabricantes como cabinas de almacenamiento o cabinas de discos, ya que han
evolucionado y han mutado su nombre en dicha evolución.

Sus variantes modernas son conocidas como Sistemas de Almacenamiento Unificado,
Almacenamiento Virtualizado, Enterprise Storage, etc.

Las primeras cabinas de almacenamiento soportaban agrupaciones de discos RAID y
conectaban a los servidores directamente por conexiones SCSI o similar (ESCON,
FICON, SSA, Infiniband).

SAN_Iji_01

SAN

Una SAN o Storage Area Network, es en su diseño mas básico, una cabina de
almacenamiento con adaptadores de fibra o HBAs (Host Bus Adapters) para proveer
la cabina con conexiones FC (Fiber Channel).

Una SAN puede ser conectada directamente a unos pocos servidores, no obstante el
setup mas corriente es conectar una SAN a un switch de fibra FC y conectar el
switch SAN a varios servidores, formando un fabric.

Una cabina SAN tiene un sistema operativo embebido construido específicamente para
almacenamiento (el cual puede ser basado en Linux, AIX, Windows, etc) instalado
sobre 2 controladoras de almacenamiento formando un clúster activo-pasivo, donde
cada controladora tiene al menos 2 conexiones HBAs, ofreciendo un minimo de 4
conexiones FC para poder ofrecer protección de fallo de caminos múltiples
(multiple path failover).

 

SAN Fabric

SAN Fabric o Switched Fabric es la red formada por cabinas de almacenamiento,
switches y servidores interconectados mediante fibras FC.

Un SAN Fabric se construye como mínimo con 1 cabina SAN (denominado host de
almacenamiento), conectado a 1 switch SAN de fibra, y varios servidores
(denominados clientes de almacenamiento) conectados al switch de fibra.

Si conectamos servidores directamente a una cabina SAN, entonces solamente
podremos conectar 2 servidores con multipath dual, o podremos conectar 4
servidores con 1 única conexión. Estos setups pueden hacerse en PYMES, pero no
es lo normal ni lo recomendado, aunque suele hacerse para ahorrarse los
switches FC.

Si conectamos servidores a una SAN utilizando el setup recomendado (todo
redundado: 2 ports FC por HBA, 2 switches SAN), podremos usar tantas conexiones
como soporte el switch o se tengan licenciadas por switch.

 

Zoning de Switch FC / Creación de Zonas de Switch FC

Una vez tenemos el cableado efectuado, hay que crear las zonas en los switches,
para crear zonas de red entre 1 adaptador cliente a 2 adaptadores host, ya que
cada adaptador cliente (Puerto HBA de cada servidor), tiene que verse con 2
puertos host (2 puertos de SAN) por cada switch; creando una conexión al switch
desde el HBA, pero por 2 caminos diferentes a las controladoras de la cabina SAN.

Ya que las HBAs de los servidores tienen por lo menos 2 puertos, se puede conectar
a 2 switches SAN diferentes, para proporcionar 2 conexiones con diferentes caminos
o PATHs. Usando 2 HBAs, tendremos 4 conexiones en total a la SAN, usando multipath
Existen 2 tipos de zoning (antiguamente llamados soft y hard zoning):
Zonas por Puertos (Port Based Zoning) y Zonas por WWN (WWN Based Zoning).

Zonas por Puertos define los puertos que forman parte de la zona, por lo que si
en el futuro hay que reemplazar un latiguillo de fibra o un HBA, bastará con
reconectar la FC al mismo puerto que el original.

La ventaja de este zoning es que es rápido de implementar (no necesitas conocer
los WWNs), y que cualquiera puede reemplazar la fibra y los HBAs.
La desventaja de este zoning, es que si falla un puerto del switch, un
administrador de almacenamiento deberá modificar la zona para eliminar el puerto
fallido, y añadir el nuevo puerto que lo reemplazará.

Zonas por WWN define las zonas según los WWNs que pertecen a ellas (WWN son los
equivalentes en el mundo de la fibra a las MACs de los interfaces de red).
A todos los WWNs se les asigna un Alias para poder referenciarlo de manera
descriptiva, y las redes se definen agregando los alias de cada WWN a las zonas.

La ventaja de este zoning es que los latiguillos de fibra pueden ser conectados
en cualquier puerto del switch, y de hecho éste tipo de zoning es el recomendado
por el fabricante como Best Practice (el switch se encarga de todo, y si
extendemos el fabric a otro switch, el 2º switch también podrá ser usado).

El único inconveniente de este zoning es que si falla una HBA y hay que
reemplazarla, el administrador de almacenamiento tendrá que redefinir el alias del
WWN de la HBA antigua sobre el nuevo WWN, no obstante esta operación es trivial.

 

NAS

Una NAS o Network Attached Storage, es una cabina de almacenamiento con interfaces
Gb ethernet o FoE (Fibra sobre Ethernet) para proveer almacenamiento de red por
protocolos CIFS, NFS o iSCSI.

Una NAS se puede construir en casa, ya que es sencillamente el caso de montar un
servidor con discos, y luego usar un OS para servir volúmenes lógicos como LUNs
via CIFS, SMB, NFS o iSCSI.

Para esto se puede usar Windows Server 2008 y 2012 ya que tienen un ROL de
almacenamiento para servir discos como NFS o iSCSI, o se puede usar una variedad
de distribuciones Linux específicas para NAS como: FreeNAS, Nas4Free, OpenFiler,
etc.

La Linux distro NanoNAS puede arrancarse desde CD o USB en un servidor pequeño
(o un PC) ya que se ejecutan enteramente en memoria RAM como un RAM-Disk de 4MB,
por lo que es el entorno ideal para hacer pequeñas NAS appliances (para un
laboratorio en casa, por ejemplo).

 

Almacenamiento Híbrido o Unificado

Para unificar almacenamiento y dar lo mejor de ambos mundos, los fabricantes
ofrecen hoy día Cabinas de Almacenamiento Unificado o Híbrido, las cuales tienen
la capacidad de servir LUNs como Fibra (actuando de SAN), CIFS, SMB, NFS o iSCSI
(actuando de NAS).

Técnicamente son SANs, pero con controladoras de almacenamiento adicionales para
poder hacer de pasarela o gateways de las LUNs SAN como volúmenes NAS.

De esta forma se obtiene la funcionalidad de SAN y NAS, sirviendo almacenamiento
virtualizado y podiendose usar además para consolidar servidores de ficheros,
algunos modelos incluso ofrecen funciones de servidor adicionales como software
de backup, deduplicación, compresión y anti-virus.
Ejemplos de cabinas híbridas son: EMC VNX/VNXe, Oracle ZFS Storage Appliance,
IBM Storwize V7000, Hitachi Unified Storage 100.

 


Leave a comment

New Technology on the Media Entertainment

In our days, we have all realized how technology changes our lifes, and what can be done with computer graphics on the media entertainment, as the animated movies are not hand drawn anymore (even Walt Disney had to give up to technology instead of traditional, hand crafted artwork) and the new movies are true pieces of electronic art on their own.

But there are some pieces of amazing software that are used to do special effects, which deserve to be looked at more closely.
One of this pieces of software is MASSIVE:

http://www.massivesoftware.com/index.html

MASSIVE uses technology used for mimicking real life behaviour of flocks, herds, etc. basically replicating the movements of individuals when they are in masses (and all based on artificial intelligence study).

What can this be used for, I hear you say! -easy: to create lots of people or animals for movies, video games, etc. saving LOTS of money and time in filming, and creating more credible scenarios (for example, there is no logical limit for adding soldiers on battleground sequences = more carnage!).

MASSIVE is a plugin for MAYA, a 3d graphics package used by professionals.

 

Another is Alien Skin:

Alien Skin are the makers of 2 great graphic effects plugins Eye Candy & Blow-Up:

http://www.alienskin.com/eyecandy/eye-candy-examples/

http://www.alienskin.com/blowup/blow-up-examples/

EYE-CANDY uses the latest algorithms created for drawing real-life effects like water, ice, smoke, fire, glass, metal, fur, rust, etc.

BLOW-UP uses the latest algorithms in the graphic study to enlarge graphics as much as possible (Near as good as .

EYE-CANDY and BLOW-UP are plugins for the well-known graphic manipulation program Photoshop.
And more than likely that there are a loadful of other utilities out there, but this have been the 3 that have surprised me the most, and I felt compelled
to explain it in my blog.

Thanks for reading!.