Escribí un script de Fabric para poder automatizar la siguiente tarea:

• Entrar a un servidor con plone mediante ssh.
• Hacer un snapshot del sitio.
• Copiar la base de datos (Data.fs) y el directorio blobstorage a un buildout local.
• Reemplazar la base de datos del buildout local con la base de datos que se ha descargado.

Para hacer todo eso, hice uso de repozo, collective.recipe.backup y Fabric.

Preparación del buildout

Hay que modificar buildout.cfg para instalar las herramientas adecuadas.

[buildout]
parts += 
    fabric
    repozo
    backup

[fabric]
recipe = zc.recipe.egg

[repozo]
recipe = zc.recipe.egg
eggs = ZODB3
scripts = repozo

[backup]
recipe = collective.recipe.backup
#Keep the last 4 backups
keep = 4
#Always make a full backup
full = true
#Gzipit
gzip = true

No olvidar actualizar buildout.

Creación del script

Basta con hacer un script fabfile.py en la raiz del buildout para que el comando bin/fab/ lo tome y liste los comandos disponibles. Me guié de la documentación oficial de fabfile.org para hacer mi script. Y sin más preámbulo, aquí esta:

from os.path import join as joinpath

from fabric.api import run, cd, local, lcd
from fabric.operations import get
from fabric.colors import green

BUILDOUT_DIR = '/directorio/del/buildout/de/plone'

def install_snapshot():
    with cd(BUILDOUT_DIR):
        #Create snapshot on server
        print green('Create snapshot on server')
        run('bin/snapshotbackup')

        #Copy data.fs and related files
        print green('Copy ZODB and related files')
        files = run("ls var/snapshotbackups/ | sort -n | tail -n 3")
        for f in files.split():
            get('var/snapshotbackups/%s'%f, 'var/snapshotbackups')

        #make a tarfile of the blobstorage dirtree, copy it to local and untar it
        print green('Make tarfile of blobstorage and copy it to local buildout')
        with cd('var/blobstoragesnapshots'):
            run('tar -cf blobstorage.0.tar blobstorage.0')
        get('var/blobstoragesnapshots/blobstorage.0.tar',
            'var/blobstoragesnapshots')
        with lcd('var/blobstoragesnapshots'):
            local('tar -xf blobstorage.0.tar')

        #Install new ZODB/Blobstorage snapshot
        print green('Install new ZODB/Blobstorage snapshot')
        local('bin/snapshotrestore')

Ejecutando

Se ejecuta así:

bin/fab -u usuario -H servidor.org install_snapshot

I'm working on a site that uses a lot of galleries made with Jquerytools. Once the galleries grew up, a small bug appared: after the 15th or 16th element, the gallery started to jump. That can be fixed by upgrading to a new version of jquery. Initially, I just dropped the new minified version of jQuery into one of my skin folders on my theme.Solved!

Well, not that easy. One add-on I'm planning to add to the site started to work funny. With the default jquery from plone it behaves just nice. So, in the meanwhile, to make things work, Plone has to serve jQuery 1.7 for galleries and the plain old jQuery 1.4 for the rest of the site.

How to do it

• Place the minified jQuery 1.7 to some skin folder in your theme. Do not name it jquery.js, otherwise it will override the one that Plone ships out of the box.
• Open ZMI and on portal_javascripts add a new entry for the js file. Here is how it looks.

  

  The position is important. Place it just before or after jquery.js. Don't leave it on the bottom.

• Next thing is the condition: request/use_new_jquery. This can be acompished in the a view class. For example:

  class CatalogFolderView(grok.View):
      """                                                                                                                      
      Catalog view for books, audios or dvd's                                                                                  
      """
      grok.context(IATUnifiedFolder)
      grok.template('catalog_view')
      grok.name('folder_catalog_view')
  
      def update(self):
  	super(CatalogFolderView, self).update()
  	#hack hack to be able to use jquery 1.7 on new                                                                       
          self.request.set('use_new_jquery', True)
  
  

• Restart plone and reload. Once test are done, you can go to portal_setup un the ZMI and download the portal_js settings.

• Me quedan aproximadamente 2 meses de la promoción de Amazon (1 año de servicio gratis de una instancia t1.micro y 10 GB de EBS).
• Usé una instancia m1.small para instalar y compilar todo lo necesario. Después se puede achicar a t1.micro para entrar en el montly free tier.
• Probé el AMI de Amazon.Todo de maravilla hasta que intenté instalar nginx (No quiero apache). ¡Para mi sorpresa, solo trae nginx 0.8.6! Si instalo a mano, no me aprovecho por completo los beneficios de las actualizaciones mediante yum. Hacer mis propios RPMs es demasiado complicado para mi aún. A pesar de que en los repositorios de EPEL hay una versión más actualizada de nginx, por alguna razón se sigue instalando la anterior. Por estas razones desistí de usar el AMI de amazon.
• Instalé el AMI oficial de Ubuntu 11.04 y trae nginx 1.0.5. (La última versión estable al día de hoy es la 1.0.11.
• La instalación de paquetes es la usual para aplicaciones Python.

aptitude update
aptitude upgrade
aptitude install python-dev build-essential
aptitude install libpcre3-dev zlib1g-dev libjpeg62-dev libpng12-dev libncurses5-dev libxslt1-dev mercurial git subversion python-pip libsasl2-dev pkg-config
easy_install -U distribute
easy_install -U pip

• Añadí un deploy key en mi repo de github. y lo cloné.
• Y sigue la receta clásica para inicializar un buildout, solo que con algunas modificaciones:

python -S bootstrap.py
bin/buildout -c production.cfg

• Buildout genera la configuración de nginx para mi sitio (en parts/), solo tengo que hacer una liga simbólica y reiniciar nginx:

ln -s /apps/noenieto/parts/nginx/nginx.cfg /etc/nginx/sites-available/noenieto.com

• Puse mi Data.fs en un EBS fuera del EBS de la instancia. Hay que conectarlo a la instancia y montarlo. Añadì la siguiente línea al fstab:

/dev/sdp1    /MyPloneData ext3    rw,noatime,auto    0 0

Creo que es todo.

Recently, on the mailing list for plone-users, a question about performance on a plone site turned into a wealth of useful information for everyone out there that wants to tacke similar problems with their sites.

Here is the mailing list thread: http://plone.293351.n2.nabble.com/Performance-problems-tp7101195p7101195.html

It has references to several tools, products and techniques that normally are spreaded through very different places across the interwebs.

And, now that I'm on it, I'm gonna make a my summary of the issue:

• Performance problems with plone sites are mainly of three types:
• Memory-bound: Find out where the memory leak is. Plone 3 is specially leaky. There seems to be a fix for that.
• For Plone 3, I used to restart plone instances every day to keep memory usage in limits.
• If you use plone on a 64 bit machine, your minimum RAM needs will increase (some times they almost doubles).
• Upgrade to Plone 4.
• CPU-Bound. Some view or template is executing some costly operation every time. This is an oportunity to code optimization. If code optimization is not possible, then you can make use of caching tools like plone.memoize, or cache resources with varnish or plone.app.caching or things like that.
• IO-bound bottleneck. The most difficult to trace, to my opinion.
• Do not increase zserver-threads, decrease it.
• Add more ZEO clients.
• Separate front-end for visitors and backend for editors.
• Tuning for ZEO and ZODB will be useful.
• Maybe make a separate data.fs for the portal_catalog. I've never had the need to do that. It depends on how many objects in the catalog are there.
• Take out heavy stuff out of ZODB (Videos, images files). That's the reason why, on Plone 4, blobstorage is enabled by default. There are other solutions like Products.Reflecto or ore.bigfile.
• RelStorage moves the ZODB from the filesystem to a relational database. It is useful for very high volume of writes (AFIK). But be careful, it is not a silver bullet, you have to take care of tunning your relational DB too and it will become another system to mantain and backup.

Interesting links about the topic

• Tips on how to make a plone site faster.
• Removing KSS.
• Low-level statistics for ZODB.
• Elizabeth Leddy's findings on performance (with suggestions of tools)
• Performance Tunning de Clusters Plone (Portuguese needed, but portuñol can work as well).
• Plone Conference 2010: High performance sites made easy Matthew Wilkes, Jarn AS, Germany.

Please, feel free to point to more information/tools.

I wanted to embedd RSS Feeds directly into Plone and Products.Collage, but I wanted not to store the entries in the ZODB. However, I could not find any suitable product for that task. I did not searched very hard anyway. So I ended up cooking 2 products: iservices.rssdocument and collective.collage.rssdocument.

What does it do?

First: iservices.rssdocument. It provides a RSSDocument content-type. This RSSDocument needs two things (well, three): A Title, the URL of the RSS from which you want to retrieve data from, and the number of entries to display.

With that data on place, it will use a jQuery plugin from http://www.zazar.net/developers/jquery/zrssfeed/ which uses Google's AJAX Feed API to parse the RSS or ATOM and get JSON data of the parsed Feed and finally embedd it into Plone. There is no interaction with the ZODB appart for retrieving the URL, title, description and number of entries to display. So, it's speed and reliability depends upon external factors to plone.

Next: collective.collage.rssdocument. I wanted to use rssdocument into a Collage. So this is an Add-on that allows me to do that. It only provides the "standard" view for the collage. That's just exactly what I needed for my purposes.

Where do I get it?

These two products are already available in Pypi:

• iservices.rssdocument on Pypi
• iservices.rssdocument on Plone.org's index.
• collective.collage.rssdocument on Pypi

They are also available on the collective:

• iservices.rssdocument on the github Collective
• collective.collage.rssdocument on the SVN Collective

Final note: It just works with latest versions with plone4.

http://youtu.be/6AMmfZ4PF3U

Traducción, Traslation, Traduko: Rubén Feldman González

Traducción, Traslation, Traduko: Rubén Feldman González

zenCoding-mode: https://github.com/rooney/zencoding

Actualizaciones:

13-Nov: Problemas con PIL.

25-Nov: El paquete de VirtualBox de rpmfusion tiene problemas.
Es mejor usar el RPM de la web oficial de VirtualBox. Ver la guia para que la instalacion sea exitosa.

Esta guía es para relatarle a los 2 lectores de éste blog lo que uso para desarrollar aplicaciones web hechas en Python. En caso de que esos 2 lectores se den un paseo por /dev/null entonces lo dejo como una guía base para mi cuando instale "Beefy Miracle" dentro de 1 año.

Instalar fedora

Instalar Fedora es muy fàcil. Bájate el ISO desde la web de www.fedoraproject.org, quémalo en disco o en una usb e instala. No olvides respaldar tus datos. Tengo una Dell Latitude D610 con 2.5 GB de RAM. La instalación completa desde una memoria USB tomó alrededor de 20 minutos.

Nota: Checa LiveUSB Creator para hacer discos de instalación de USB.
Nota 2: Lo instalé también en una Toshiba Satélite L645. Tuvimos problemas al particionar el disco duro. ¡Aguas!

Instalar actualizaciones

Siempre se necesitan, justo después de instalar.

yum update -y

Instalar librerías de desarrollo

Se necesitan compiladores y versiones de desarrollo de varias librerías. Y, como ésto será una máquina de desarrollo de aplicaciones y sitios web con python, también se instalan las librerías de desarrollo, virtualenv, pip y docutils.

yum install -y python-devel python-setuptools python-virtualenv python-pip python-docutils make automake gcc gcc-c++ zlib-devel libxslt-devel openssl-devel ncurses-devel ncurses-devel mysql-devel libpng-devel libjpeg-turbo-devel

Herramientas de colaboración (para desarrolladores)

Ya son imprescindibles. Uso varias de ellas: mercurial, subversion, git y bazaar. Tambien uso rapidsvn para ayudarme con algunos comandos de subversion.

Por último, meld, es una excelente herramienta para checar diferencias y hacer mezclas de código. Se integra muy bien con mercurial, subversion y git.

yum install -y mercurial subversion git bzr rapidsvn meld

Bases de datos

Por el momento sólo uso MySQL. MySQL Workbench es una fabulosa herramienta para administrar la base de datos. Otra opción sería instalar php-myadmin, pero necesitaría instalar todo el stack LAMP, así que mejor nos quedamos con MySQL Workbench.

Además de lo anterior, SQLAlchemy requerirá las librerías de desarrollo de mysql.

yum install -y mysql-devel mysql-server mysql-workbench

VirtualBox

Uso VirtualBox para correr una copia pirata de Windoze XP y finalmente sacar los bugs del infame Internet Explorer. Dentro de windows uso el IETester y me ayuda mucho.

Nota: los de saucelabs acaban de sacar VisualScout.

Primero, para evitar problemas, es necesario instalar las librerías de desarrollo del Kernel. De lo contrario, el VirtualBox reportará muchos problemas.

yum install -y dkms kernel-devel kernel-headers

Después, instala el RPM de VirtualBox desde la web oficial de VirtualBox.org.

Nota: No estamos usando el VirtualBox-OSE que ofrece rpmfusion, por que hasta el dìa de hoy (25-Nov-2011), el rpm está mal formado y no incluye varios archivos importantes, por ende el paquete no sirve para nada. El bug ya está reportado.

Herramientas de consola

• Como editor, uso emacs para editar archivos en la terminal.
• Para navegar por carpetas, a veces uso el midnight commander.

yum install -y mc emacs-nox

Editores de texto y WingIDE

• ghex como editor de texto hexadecimal.
• Scribes se tiene que instalar aparte desde http://scribes.sourceforge.net/download.html
• gedit ya viene instalado.
• emacs ya quedó instalado.
• Además de los editores anteriores, uso WingIDE para mis proyectos en Python. Se instala aparte y, por desgracia, es de paga pero es muy bueno para desarrollar apps en Python.

yum install -y ghex

Estoy probando Sublime Text 2 y funciona muy bien.

Colaboración oficinesca  y cosas en la nube

Sólo los voy a listar, por que se instalan desde sitios externos (excepto el xchat y el DèjáDup que ya viene incluido):

• Dropbox (Aunque Fedora ya trae DéjàDup, que parece que ofrece respaldo en la nube pero con tus propios recursos (por ejemplo, en Amazon S3, en RackSpace o en otra máquina por FTP, SSH, WebDav o carpeta local).
• Skype
• xchat o xchat-gnome

yum install -y xchat

Chuleando el GNOME 3

El tema Adawita de Gnome 3.2 se ve un poco más pulido. O tal vez es que ya me acostumbrè. Por otra parte, no recuerdo de dónde saqué estos paquetes que estaban instalados en F15, pero los listo por si alguna vez se me antoja chulear el shell.

• faenza-icon-theme
• gnome-shell-extensions
• gnome-tweak-tool

Navegadores

• Google Chrome o Chromium. No parece que chromium esté disponible por default en los repos de fedora 16. Pero pasearte por la página oficial y descargarte el RPM.
• Midori y/o Epiphany. Por ahí lei que Epiphany te permitiría anclar páginas web como si fueran aplicaciones web con su ventana independiente.

Oficina y gráficos

De vez en cuando uso LibreOffice, Gimp, Inkscape, Shutter, Hamster, RecordMyDesktop y Get Things Gnome. A continuaciòn el comando para instalar todo eso.

yum group install -y "Oficina y Productividad" && yum install -y gimp gimp-data-extras gimpfx-foundry inkscape shutter hamster-applet gtd gtk-recordmydesktop

Nota: A veces uso el Screen Recorder que gnome shell ya trae instalado. Se activa con Ctrl+Alt+Shift+R y se desactiva con la misma combinaciòn de teclas. Pero a veces es muy lento.

EasyLife hace la visa más fácil: http://easylifeproject.org/

Soluciones a problemas específicos en Fedora 16

PIL (Python Imaging Library) y archivos jpeg

Plone hace uso intensivo de PIL y generalmente instalo PIL 1.6 mediant zc.buildout. Es por eso que es necesario que esten instaladas las librerías de desarrollo que le dan soporte a JPG y PNG. No recuerdo si en Fedora 15 todavía se usaba el paquete libjpeg-dev, pero en Fedora 16 parece que ha desaparecido ese paquete y en su lugar se puede usar libjpeg-turbo-devel.

Activar RPM Fusion

Las directivas de Fedora prohiben incluir software que no es completamente libre. Las restricciones se atañen principalmente a las leyes de Copyright de Estados Unidos. Pero hay cierto software que no es Open Source, pero que es útil. RpmFusion ofrece colección de paquetes de software compatibles para F15.

Sigue las instrucciones en ésta página.

During my three years of high-school I was taught the C language. The first paragraphs on my text book on C talked about Unix and some of the doings of Kernigham, Ritchie and Thomson in the Bell Labs.

Once in the University, one of the first things that I did was to get a hold of "The C programming language". I don't remember if it was on spanish or english.

Nowadays I work as a Python programmer on Linux systems. And I enjoy it. So thanks Dennis, and farewell.

#include <stdio.h>

int main (int argc, char * argv[]) {
    printf ("Goodbye, world.\n");

    return 0;
}

Scribes describes itself as a Simple, Slim and Sleek Text Editor for GNOME. And if you love GNOME, You'll love Scribes too.

The mayor feature of scribes is it's lack of screen real-state clutter. That means that it does not have a menu-bar and does not organizes open files in tabs; instead, it relies on the OS's window manager to manage all open windows as well as a list of all opened windows in a Scribes session.

As stated above, Scribes does have a menu toolbar, but it does have a button toolbar and a status bar. But both of them are hidden by default, and when shown, they will be auto hidden after some seconds. When you need to use the toolbar, Scribes relies on a hot-corner (or trigger area). Pretty neat!

Toolbars in Scribes appear when you hover the mouse over the Hot corner.

Besides a few pop-up windows and the two bars, Scribes does not depend on graphic elements like buttons, sliders, etc. To access to it's full potential you will be using using keyboard shortcuts. Keyboard junkies will be pleased!

The basic editing keyboard shortcuts are the one's that you probably already know if you have ever used windows or linux, like Ctr+C and Ctrl+V for copying and pasting text. And to make things easier, Scribes comes with a handy cheat sheet that pops out when you hit Ctrl-H.

A handy cheat sheet for Scribes.

Scribes is not awfully configurable (in the sense of vim or emacs). I think that's OK, because you rarely need to go beyond Scribes' default settings other than the text Font, Tab width, text wrap and dictionary autocorrect.

If you need different colors, Scribes has Themes.

If you need code snippets an automatic text replacement, it has a small templating system for code snippets and an Autoreplace editor.

Should you need anything else from Scribes, the good news is that it is extensible. It's written in Python, what would you expect?

Actually, almost every major feature of Scribes like templates, custom syntax hightlighting colors, bracket completion, theme selector, is written as an extension.

There are common extensions, which are always available to all kinds of documents, and language extensions, which are only available when editing certain type of documents.

For example, for Python, there's a plugin for navigation trough functions and classes, a plugin for syntax checking (using pylint and pyflakes), and a plugin for smart indentation.

Scribes with the python symbol browser.

For HTML, and XML (including ZPT!), there's Sparkup and ZenCoding.

Recent versions of scribes comes with a side pane (hit F4) to navigate files. This broadens the options available to navigate trough multiple windows:

• Focus Previous Windows (Ctrl + PageUp)

• Focus Next window (Ctrl + PageDown)
• Document browser (<WindowsKey> (or <super>) + B or F9)

There are a lots of small details (that is, keyboard shortcuts) all over the app. But It would take me very long to explain every feature, and I will probably bore you. So just head over the Scribes' home page, install it and give it a try.

All I needed to do was to create a file in /etc/nginx/sites-enabled/newsite and add the following:

server {
    listen 80;
    server_name newsite.mysite.com;
    location / {
        root /path/to/folder/with/files;
        autoindex on;
    }
}

Reload nginx and enjoy.

Use Plone 4.1

Migrate site to Plone 4.1 or add proper version dependencies to "extends" sections on buildout.

Add setuptools dependency on plone.app.theming

Depend on plone.app.theming on setup.py:

install_requires=[
 'setuptools',
 # -*- Extra requirements: -*-
          'plone.app.theming',
]

Update GS Profile

If working on a egg, change the profile dependency from collective.xdv to plone.app.theming. On profiles/default/metadata.xml locate the following line:

<dependency>profile-collective.xdv:default</dependency>

And change it to:

<dependency>profile-plone.app.theming:default</dependency>

Also create the file profiles/default/theme.xml with the following contents (This also enables the theme upon installation):

<theme>
 <name>my.theme</name>
 <enabled>true</enabled>
</theme>

On the top level resource directory ...

Change the rules.xml namespace. Open rules.xml (and other xml files) on you static directory. Change the xml namespace from:

 xmlns="http://namespaces.plone.org/xdv"
 xmlns:css="http://namespaces.plone.org/xdv+css"

To:

 xmlns="http://namespaces.plone.org/diazo"
 xmlns:css="http://namespaces.plone.org/diazo/css"

ZCML

Then, on my/theme/configure.zcml locate this line:

<include package="collective.xdv" />

And change it to:

<include package="plone.app.theming" />

Move theme parameters to manifest.cfg

New features of plone.app.theming include multiple themes and packaging themes in ZIP files.

Themes on ZIP files and themes developed on the file system can include a manifest.cfg file, with the classic INI file format, that includes the following:

[theme]
title = My Theme
description = Description of your theme
rules = /++theme++my.theme/directory/rules.xml
prefix = /++theme++my.theme/directory

That file serves as a replacement for some settings that you'd normally insert into plone.app.registry using registry.xml import step.

A los dos que leen este blog, les envío un saludo y me gustaría preguntar: ¿qué escáner recomiendan que sea compatible con GNU/Linux?

Mis restricciones son:

1. Lo voy a usar principalmente para escanear facturas y recibos.
2. Ya tengo una impresora, así es mejor si el escáner no es una multifuncional.
3. Vivo en México, y será difícil encontrar un scanner que no se encuentre a la venta en territorio nacional.
4. La computadora que uso es reciclada y no tiene windows, así que no tengo oportunidad de probar ningún controlador para windoze.
5. Actualmente uso Fedora 15, pero quiero tener la seguridad de que si me muevo a Ubuntu, Gentoo o cualquier otra distro actualizada, el escáner seguirá funcionando.
6. De preferencia que no tenga que configurar absolutamente nada.

¿Entonces, algún buen samaritano que me recomiende un buen escáner para GNU/Linux?

Es una impresora que compró mi hermana o mi mamá y que tenía más de 2 años arrumbada.

Instalar dependencias

Ejecuta esto en la terminal:

sudo yum install tix foomatic\*

¿Y por qué? Pues por que si.

También vas a necesitar otros paquetes como gcc, pero como ya lo tenía instalado y un montonal de paquetes de desarrollo también entonces ya no se qué mas se necesite.

Instalar foo2zjs

Esto me lo copie verbatim de la página de foo2zjs y le puse de mi propia cosecha. No seas huevón como yo, ahórrate unos 20 minutos de andar buscando en google y lee el INSTALL.

mkdir -p ~/Aplicaciones/DriverHP 
cd ~/Aplicaciones/DriverHP
wget -O foo2zjs.tar.gz http://foo2zjs.rkkda.com/foo2zjs.tar.gz
tar zxf foo2zjs.tar.gz
cd foo2zjs
make
./getweb 1020
sudo make install
rpm -e --nodeps system-config-printer-udev
sudo make install-hotplug
sudo make install cups

Cuando termine de ejecutarse todo eso ( y sin errores), desconecta la impresora, apágala y reinicia la máquina.

Después de reiniciar la computadora enciende la impresora y conéctala a la computadora. Abre la herramienta de configuración de impresoras (syste-config-printer) y añade una impresora (Nota: acepta los defaults que te propone el programita y escribe la contraseña mil veces por que te la va a pedir).

Listo.