Fotografías de Zoraima y Marcelo
Fotografías tomadas con nuestras cámaras Olympus

Respaldo y archivado de las fotografías en linux.

site.jpg English version as a comment at end of page. Uno de los grandes dolores de cabeza del fotografo moderno es como guardar y respaldar las fotografías en forma segura y duradera. Los factores que inciden en este tema son la seguridad, el tiempo y el costo del respaldo. Si además tomamos en cuenta que unas 1200 fotografías a 11 megapixel llegan a ocupar más de 14 gigabytes de espacio tenemos que el panorama no es muy alentador.

Medios de respaldo
Los medios más seguros y confiables para estos tamaños son los discos duros removibles y los DVD, pero cada uno de ellos tienen sus problemas:

DVD: técnicamente vienen garantizados para unos siete años de duración en condiciones óptimas de almacenado, sin embargo he tenido mejores resultados: tengo CD de hace 10 aún perfectamente conservados.

Discos Duros removibles (usb, firewire, tpc/ip): su costo es muy elevado en comparación a los DVD, pero el tiempo es la gran diferencia, aparte que una unidad bien manipulada y bien cuidada puede a dar hasta 10 años de servicio. Estas mismas consideraciones van para discos en red a través de otro computador.

Mi solución para el respaldo
En fin para no discutir largamente sobre estos temas ya trillados por otros les indico la configuración que uso yo personalmente y los programas que utilizo. Uso cuatro respaldos separados, a saber:

  1. Basicamente trabajo con el laptop, así que el computador personal se volvió como un servidor. A los efectos del tema no importa el sistema operativo, pero el mío está en linux y le instalé dos discos de 250 gigabytes cada uno, de manera que dan un total de 500 Gb sin formatear y aproximadamente 465 Gb formateados o usable para archivos.
  2. El segundo es una unidad removible de 500Gb, especificamente una unidad MyBook de Western Digital, un disco silencioso, bien ventilado y muy bien parecido, ya que se asemeja a un libro de lectura. Acepta ser reformateado y utilizé el formato nativo de linux sin ningún problema.
  3. La tercera unidad es otro disco removible de 500Gb también, pero para evitar problemas lo compré de otra marca: es un desktop disk de LaCie. Igualmente bien presentado y bien ventilado, sin embargo se calienta un poco con el uso, al contrario del anterior. También acepta ser formateado en formato nativo de linux sin ningún problema.
  4. El cuarto elemento de mi respaldo son DVD. Durante el año en curso uso DVD+R para ir respaldando todos los archivos del año. Una vez que el año termina realizo un respaldo en DVD-R normales. La ventaja de los DVD de doble capa creo se pierde en la manipulación; me parece más seguro manipular los DVD normales de 4.75 Gb con un solo lado de grabación.

Como manipulo los respaldos? Es sencillo, el laptop tiene un disco limitado de capacidad para guardar fotografías, así que en realidad tengo unos 30 Gb de espacio de trabajo. Al tomar las fotografías las bajo de la cámara y las guardo en el directorio correspondiente en el laptop. Esta organización es muy importante para mí ya que me permite diferenciar trabajos fotográficos de mis fotos personales y de mi familia. Una vez que están en el laptop sencillamente ejecuto el respaldo a las unidades 1, 2 y 3 de la lista usando el comando rsync:

rsync -vrupogt /home/marcelo/cpg/ /home/marcelo/mybook/cpg/
rsync -vrupogt /home/marcelo/cpg/ /home/marcelo/lacie/cpg/
rsync -vrupogt /home/marcelo/cpg/ /home/marcelo/maccasa/cpg/

Opciones:

  • v: emite toda la información de la ejecución al usuario.
  • r: recursivo en la estructura de directorios.
  • u: actualización solamente de archivos más nuevos.
  • p: preserva permisos.
  • o: preserva usuarios.
  • g: preserva grupos.
  • t: preserva fecha y hora del archivo.


nota: si la unidad de respaldo en red es de windows, deberá eliminar las opciones p y g.

y las fotografías están automaticamente guardadas en el disco usb. Cambiando el directorio de destino, en tres sencillos comandos, las fotos están guardadas en forma segura en los tres dispositivos. Ya puedo eliminarlas del laptop hasta tanto no trabaje con ellas. Si requiero trabajar con ellas sencillamene las vuelvo a copiar al laptop de una de las tres unidades usando cualquier programa de manejo de archivo como dolphin, konqueror o md. Sin embargo también es válido crear el directorio de destino y bajarlas con el mismo rsync, obviamente cambiando los parámetros y lo más importante, manteniendo la misma estructura de directorios. Uno de los éxito de mis respaldo es la disciplina. Al terminar el trabajo de fotografías, sencillamente vuelvo a ejecutar los mismos tres comandos con rsync y todos los respaldos están actualizados. Para reforzar la disciplina desarrollé un pequeño programa en gambas que me permite efectuar el comando rsync seleccionando cualquiera de las 4 unidades a cualquiera de las otras seleccionadolas con un botón: selecciono el orígen, selecciono el destino y luego pulso copiar.

Para el respaldo en DVD seleccioné una herramienta que se llama scdbackup que permite respaldar un directorio a un juego de CD o DVD. Es realmente una herramienta de comandos para ser ejecutada en un terminal, sin embargo es sencilla y permite verificar el respaldo completo. Lo mejor de todo es que unos de los formatos que tiene, pemite revisar los archivos en el mismo DVD, siendo esto muy cómodo a la hora de requerir recuperar una fotografía solamente. Para respaldar en DVD yo personalmente prefiero respaldar sin comprimir. Las imágenes tipo jpg ya vienen con compresión, así que es inútil volverlas a comprimir y por otro lado manejar archivos pequeños siempre es más fácil que manejar un archivo grande que contiene las fotografías, ya que para recuperar una foto deberá recuperar todo el DVD completo y luego seleccionar la requerida.

Mi solución para el sincronizado
Hasta este punto todo es fácil, el problema estriba cuando cambiamos la estructura de los directorios ó cuando cambiamos nombres de archivo, ya que si respaldamos usando este método los archivos viejos no serán borrados. Si se requiere borrar los archivos previamente guardados deberá añadirse la opción –delete al comando rsync la cual hace que los archivos ó directorios que no estén presente en el orígen, pero si en el destino serán borrados durante la ejecución del programa. Aquí es donde un error puede significar la pérdida de información valiosa y se require conocer un poco más a fondo el comando rsync. Para diferenciar esta tarea con la anterior yo la llamo sincronización de archivos.

Para windows

  • Para los usuarios de windows el comando rsync es multiplataforma, lo cual indica que existe su versión para w32. Sin embargo deberán eliminar de las opciones de rsync a p y g, ya que los permisos de grupo y usuario no están soportados en formato FAT32 o ntfs.
  • Las unidades de discos removibles usb vienen formateadas con FAT32, por lo tanto no aceptan archivos mayores de 4Gb. Si requieren esta funcionalidad deben reformatear la unidad usando el formato ntfs siguiendo las instrucciones del fabricante.

Referencias:

  1. scdbackup
  2. 5 Free linux Backup Solutions
  3. The linux portal: Software: Backup
  4. dkopp – kornelix: programa de respaldo usando una interfaz gui.

Tags: ,

One Response to “Respaldo y archivado de las fotografías en linux.” »

  1. marcelo Says:

    English translation using google:

    Backup and archiving of photographs in linux.

    One of the biggest headaches of modern photographer is like supporting and save the photos in a safe and durable. The factors that influence this issue are security, time and cost of support. If you also take into account that about 1200 photographs at 11 megapixel will use more than 14 gigabytes of space that is not very encouraging.

    Media support
    The most secure and reliable for these sizes are hard disks and recordable DVD, but each has its problems:

    DVD: technically been secured for about seven years in optimal conditions of storage, however I have had better results: I have 10 CDs still perfectly preserved.

    Removable Hard Disk Drive (USB, Firewire, TCP / IP): its cost is very high compared to DVD, but access time is the big difference, other than a well-handled and properly maintained can give up to 10 years of service. These same considerations go for hard discs in network through another computer.

    My solution for backing
    In order not to discuss on these issues, already done by other people in internet, I expose here my settings I use myself and the programs that I use. Using four separate backup medias, namely:

    1. Basically work with the laptop, so the computer is personal again as a server. For the purpose of the theme no matter the operating system, but mine is in linux and he installed two discs of 250 gigabytes each, so giving a total of 500 Gb unformatted and formatted or approximately 465 GB usable for file storage.
    2. The second is a 500GB removable drive, a unit specifically a Western Digital MyBook unit, a disk-quiet, well ventilated and very good-looking, as it resembles a book for reading. Accepts to be reformatted and uses the native linux filesystem without any problem.
    3. The third unit is another removable disk of 500GB as well, but to avoid problems I bought another brand: is a desktop disk LaCie. Equally well presented, well-ventilated, however heats up a little with use, unlike the previous one. Accept to be formatted in a native linux without any problem.
    4. The fourth element of my back is DVD. During the current year to use DVD+RW to backup all the archives of the year. Once the year ends make a backup on standar DVD-R, of course two copies. The advantage of the dual-layer DVD I think is lost in the manipulation, I feel more secure manipulate the standard DVD 4.75 Gb single-side recording.

    How to manipulate the backups? It’s simple, the laptop has a limited disk capacity to store pictures, so I actually got about 30 gigabytes of space to work. After taking the photographs download from the camera and keep it in the appropriate directory on the laptop. This organization is very important to me because it allows me to differentiate photographic work from my personal photos and my family. Once you are on the laptop simply run a small script for units 1, 2 and 3 listed below, using the command rsync:

    rsync -vrupogt/home/marcelo/cpg/ /home/marcelo/mybook/cpg/
    rsync -vrupogt/home/marcelo/cpg/ /home/marcelo/lacie/cpg/
    rsync -vrupogt/home/marcelo/cpg/ /home/marcelo/maccasa/cpg/

    Options:

    v: any information to be shown to the user.
    r: recursive in the directory structure.
    u: update only newer files.
    p: preserving permissions.
    o: preserving users.
    g: preservation groups.
    t: preserving file date and time.

    Note: If the unit is a network of support in windows, you must remove the options p and g.

    and the pictures are automatically stored on the backups media drives. Changing the destination directory, in three simple commands, the photos are stored safely in all three devices. I can remove them from your laptop until it does not work with them. If you require work with them can be copied again to the laptop from any of the three units using any file management program as a dolphin, or md or konqueror. But it is also valid to create the destination directory and download them with the same rsync, obviously changing the parameters and most importantly, keeping the same directory structure. One of the success of my back is discipline. When the work of photos is up, simply execute commands with the same three rsync and all the backups are up to date. To reinforce the discipline I developed a small program, in gambas, that allows me to execute the command rsync selecting any of the 4 units to any of the other selecting then with a button: I select the origin, destination and then select the backup button.

    For backup DVD chose a tool that is called scdbackup that allows a directory to split to a set of CD or DVD. It is really a tool for commands to be executed in a terminal, however, is simple and allows you to verify the full backing. The best part is that it allows to review the files on the same DVD, being very comfortable when required to retrieve a photograph alone. To backup DVD I personally prefer to do uncompressed. Jpg image types are already compressed, so it is useless to re-compress and on the other side handle small files is always easier to manage a large file that contains the photos, since to recover a photo must recover all the DVD and then select the required.

    My solution for the synchronized
    Until this point everything is easy, the problem is when we change the structure of the directories or when changing file names, because if we using this method the old files will not be erased. If required to delete the files previously saved to be added to the option –delete of the command rsync which makes the files or directories that are not present in the source, but if the destination will be erased during the program execution. This is where a mistake can mean the loss of valuable information and is required to know a little more closely at the command rsync. To differentiate this task with the previous one I call the synchronization task.

    For windows

    * For users of the Windows command rsync is multi-platform, which indicates that there is the version for W32. But should remove the options of rsync p and g, as the group and user permissions are not supported in FAT32 or NTFS format.
    * The units come usb removable disk formatted with FAT32, so they do not accept files larger than 4Gb. If you require this functionality should reformat the drive using the NTFS format with the manufacturer’s instructions.

    References:

    1. scdbackup
    2. 5 Free Linux Backup Solutions
    3. The linux portal: Software: Backup
    4. dkopp – kornelix: backup program using a gui interface.

Leave a Comment