Le TwiBlog

The one with Twidi

Aller au contenu | Aller au menu | Aller à la recherche

mardi 18 octobre 2011

Django 1.3 et postgresql (problème lié à pysocopg sous ubuntu oneiric)

Vous utilisez django ? En version <= 1.3.1 ?

Vous utilisez postgresql ? (qui utiliserait encore mysql...)

Vous venez de mettre à jour votre (k)unbutu en oneiric ?

Jusque là, tout va bien.

mais d'un coup soudain votre navigateur vous affichera un méchant message au lieu de votre belle page :

 Exception Value: current transaction is aborted, commands ignored until end of transaction block

Ou alors (car ce n'est pas systématique) un jour vous allez lancer un test de votre application django.

Et là c'est le drame :

 psycopg2.ProgrammingError: autocommit cannot be used inside a transaction

MAIS !!??

Le coupable est identifié : psycopg2 qui, en version 2.4.2, casse plus ou moins django.

Le bug est référencé sur le tracker django : https://code.djangoproject.com/ticket/16250

Il est "fixé" mais comme indiqué dans le dernier commentaire, le fix n'est pas dans django 1.3.1 et ne sera donc disponible qu'à partir de django 1.4.

Comment faire ?

Simple.

Il faut donc utiliser psycopg 2.4.1 au lieu de psycopg 2.4.2 fourni avec la dernière ubuntu. Malheureusement le paquet n'est pas disponible.

Pas grave, nous allons le faire à la main !

Avant tout cela vous voudrez peut-être supprimer la version 2.4.2 de psycopg de votre système, dans ce cas :

 sudo apt-get --purge remove python-psycopg2

Puis on commence par installer dans le système les paquets nécessaires à la compilation (n'ayez pas peur) de psycopg2 :

 sudo apt-get build-dep python-psycopg2

Et enfin on va installer la version voulue via pip (mettez sudo si vous n'êtes pas dans un virtualenv) :

 pip install psycopg2==2.4.1

Et voilà tout remarche comme avant !

VIM : effectuer une action à l'enregistrement SAUF dans un répertoire

J'utilise vim pour coder, ce depuis des années.

Comme je n'aime pas les espaces inutiles, j'ai une petite ligne de configuration dans mon .vimrc qui supprime les espaces (ou caractères équivalents) en fin de ligne :

autocmd BufWritePre * %s/\s\+$//e

Sur un projet où je travaille, on m'a demandé explicitement de ne pas le faire. J'ai donc cherché comment ignorer les fichiers dans le répertoire du projet (et sous-répertoires) et après maintes recherches, j'ai fini par trouver :

 autocmd BufWritePre * if expand("%:p") !~ "rep_a_ignorer" | %s/\s\+$//e | endif

Je commence par récupérer le chemin complet du fichier courant, que je compare à une expression rationnelle, et si ça ne correspond pas, je fais mon remplacement.

mardi 21 juin 2011

Lire une vidéo flash en plein écran sous linux bloque l'écran : la solution

Petite mésaventure classique avec Adobe Flash, que personne n'aime mais qui est pourtant aujourd'hui indispensable (si tant qu'on ne tient pas trop à sa batterie, sauf à installer l'excellente extension FlashBlock pour Firefox) : vouloir lire une vidéo, par exemple Youtube, en plein écran, entendre la vidéo se jouer (oui j'ai bien dit entendre, pas voir), mais voir son écran figé sur un aperçu de la vidéo, et plus rien dans X ne répond.

Aucune solution à part redémarrer l'ordinateur ou du moins X.

En 30 secondes de recherche sur le grand ternet, j'ai trouvé la solution pour que cela ne se produise plus :

sudo mkdir /etc/adobe
echo "OverrideGPUValidation=true" >~/mms.cfg
sudo mv ~/mms.cfg /etc/adobe/

A nous les joies de la HD en plein écran sur Youtube !

PS : ce "freeze" ne se produisait pas forcément tout le temps, et dépend à priori du matériel (carte graphique)

lundi 16 mai 2011

Dotcloud, django and auth_basic : exclude a file or a path from authentication

I'm currently developing a website in django (more precisely with satchmo) which is hosted on dotcloud for the development version.

To protect this site, i easily set a "basic authentication" by creating a nginx.conf (documented here and more specifically here) site with these lines :

   auth_basic "Dev version : restricted access";
   auth_basic_user_file /home/dotcloud/current/.htpasswd;

But later i encountered a problem with Paypal and it's "Instant payment notifications" system... because the site is protected and always returned a 401 http error to Paypal.

When i figured out this mess (not as quickly as i hoped...), i decided to remove the authentication for the "ipn" page in my site, while keeping it on the rest of the site.

So i laughed "ah ah easy to do !" and tried this :

   location / {
       auth_basic "Dev version : restricted access";
       auth_basic_user_file /home/dotcloud/current/.htpasswd;
   }
   
   location ^~ /shop/checkout/paypal {
       auth_basic off;
   }

But then, at the end of the "dotcloud push myapp.dev ." command, a little error message came to me

   Reloading nginx configuration: [emerg]: duplicate location "/" in /home/dotcloud/current/nginx.conf:1

So i checked the main nginx.conf file in my dotcloud serveur ("/etc/nginx/nginx.conf" and "/etc/nginx/sites-available/default", after a "dotcloud ssh myapp.dev") and, of course, i saw an existing "location /" block.

But... the dotcloud team gave us a chance to arrange this problem, by letting us having a uwsgi.conf in our project, which will be included into the existing "location /" block.

So, now i have two files :

nginx.conf :

   auth_basic_user_file /home/dotcloud/current/.htpasswd;
   
   location = /shop/checkout/paypal/ipn/ {
       auth_basic off;
   }

uwsgi.conf :

  auth_basic "Dev version : restricted access";

But this is not working. I now have a 404 http error on the "ipn" page. I don't know how nginx works but i think that it's because wsgi is not configured for this page. So, by duplicating the wsgi part of the "location /" block into mine, it seems ok (no need to touch uwsgi.conf, it's ok with only the auth_basic line):

nginx.conf:

   auth_basic_user_file /home/dotcloud/current/.htpasswd;
   
   location = /shop/checkout/paypal/ipn/ {
       auth_basic off;
       uwsgi_pass   unix:///var/dotcloud/uwsgi.sock;
       uwsgi_param SCRIPT_NAME /;
       uwsgi_param UWSGI_SCRIPT wsgi;
       include        uwsgi_params;
   }

And NOW, it works :)

I really found this to "hard" for a so simple thing... maybe i do not understand well how to do this. There is a way to avoid the duplicate configuration between the two location blocks ? If youi have the answer, and/or a better way to do this, comments are opened !

PS : Be reading the main nginx.conf i noticed that it's not just our own nginx.conf and uwsgi.conf which are included, but *nginx.conf and *uwsgi.conf.

PPS : thanks to django, satchmo and dotcloud teams. Great tools !

jeudi 30 décembre 2010

Récupérer une session Firefox perdue par erreur

Il arrive que Firefox crash. Surtout par exemple la version 4, en beta.

Mais Firefox est malin, s'il crash, au retour il vous propose deux options :

  • Commencer une nouvelle session
  • Restaurer les onglets de la session précédente (en permettant de supprimer des onglets)

(Depuis Firefox 3.5 il ne propose cette page qu'au second crash consécutif, il charge en effet la session si un seul crash survient, ce qui peut entrainer un autre crash, d'où cet écran permettant de choisir de supprimer certaines pages de la session)

Si comme moi vous vous servez des onglets comme bookmarks, vous pouvez en avoir des dizaines d'ouverts. C'est encore plus pratique avec Firefox 4 et sa gestion de groupes d'onglets (seuls les onglets d'un groupe sont visibles à un moment donnés)

Mais voilà, au lieu de cliquer sur "Restaurer", vous avez cliqué sur "Commencer une nouvelle session". Et là, c'est le drame (oui il fallait que je place cette phrase).

Pas de panique, Firefox a pensé à vous. Il a gardé dans le dossier de votre profil la session précédente dans un fichier de sauvegarde, sessionstore.bak Il ne reste qu'à remettre ce fichier à la place du fichier de la vraie session, sessionstore.js

Il existe deux solutions pour restaurer ce fichier :

  1. À la main, en copiant le fichier sessionstore.bak à la place de sessionstore.js, dans votre fichier profil, une fois Firefox fermé [connaître l'existence de ces fichiers vous permet de faire une sauvegarde de sessionstore.bak ou sessionstore.js pour une utilisation future)
  2. En tapant about:sessionrestore dans la barre d'adresse, ce qui fera de nouveau apparaître la page de choix dont je parlais au début de ce post

Et voilà vous pouvez respirer à nouveau.

Plus d'infos sur la resturation des sessions dans Firefox, voir "Session Restore" chez MozillaZine (en anglais)

samedi 11 décembre 2010

Transform a linear git repository into a one adapted to a workflow named git-flow

For a few months now, i develop "GRead", a Google Reader client written in python + Qt, for use on the Nokia n900, but with the help of PyQt, works also on any desktop.

It's my first complete project, open-source, and managed by Git, on GitHub.

But i come from Subversion and although i know that git is really powerful and that i can easily manage branches with it, i used to have the same workflow than with Subversion : a linear one.

I mainly work in the master branch, with some developments done in a specific branch but finally merged in the master without nothing in the master during this time.

It was a "subversion applied to git" way of doing things.

And then i saw a git presentation in Paris and the orator spoked about "git-flow".

I was interested in this and i read some stuff about git-flow and decided to apply it to all of my future projects. And on my current main one, GRead

I won't tell you why and how git-flow is great. Just how to transform an linear flow to a git-flow one.

Here is the graph of my repository before :

And after :

For transform my graph i wrote a bash script (it took me lot of hours, i just started too learn git !) which will do everything. It will create master and develop branches, and a branch for each feature or hotfix you specify in the script, and for each tag you want, a release branch.

Launch the script it locally, in the directory of a clone of your repository, and all the magic will apply. It can takes a long time to finish. For me it was 150 commits. The more branches and the more commits you have, the longer it will take to run.

Be careful, some times the script will ask your attention, in several cases :

  • a cherry-pick cannot be applied. Simply ignore it if it's from a merge (read the message just above the alert)
  • an existing branch will be duplicated, you should answer "Y" to continue for this branch (else the branch is ignored)

You can find the script "linear-git-to-git-flow.sh", on GitHub, heavily commented. Just read comments in the first part to know how to use it.

PS : i know that this script can surely be better. But notice that i just started to really use Git... i you have any suggestion i will be happy to enhance this script with your help

Duplicate a Git repository

Imagine you have a repository on GitHub. And you want to play with objects in the Git internal key value store. For example to create a branch for past commits, rearrange branches, etc, etc.

But it can be preferable to have a test repository to do this if you do not want to lost things...

For me it was to adapt the linear development of an application (GRead) to a workflow i discovered at a Git presentation : Git-flow. I'll explain this in the next post on this blog.

The first thing to do for me was to find a way of duplicate my repository on GitHub on which i can work as it was the original one, with same data.

The solution is easy if you know a little of the Git internal, but for me it was not the case (i just did some pull/commit/push by this time)

So thanks to Thomas Mango for giving me the solution :

0. Some variables

  • $myproject is your project name on github and the name of the directory in which the project was cloned.
  • $myotherproject is the name of the duplicate.
  • $meandmyself if your username on GitHub

1. Create a new repository on GitHub, but don't follow steps after that. Just create it.

You now have https://github.com/$meandmyself/$myotherproject

Duplicate your local copy of the repository :

 cp -a $myproject $myotherproject

Change the origin of the copy :

 cd $myotherproject
 git remote rm origin
 git remote add origin git@github.com:$meandmyself/$myotherproject.git

And then push your copy online :

 git push origin master

It's done !

If you want to copy branch too, note that they are already in your local copy. You just have to do this : (work for each local branch) :

 for branch in $(git branch | sed -e s/\*//g); do if  "$branch" != "master" ; then
   git checkout $branch
   git push origin $branch
   git checkout master
   git branch -f $branch origin/$branch
 fi; done

mardi 31 août 2010

Flux RSS de votre timeline Facebook

Étant un utilisateur inconditionnel des flux rss (via Google Reader), je les utilise pour tout ou presque. Excepté Twitter que j'ai pluggé sur mon gtalk via tweet.im (donc je reçois les tweets via ma messagerie sur mon Nokia n900). Il me restait Facebook. Si je dois lancer une application pour suivre le flux... je ne suivrai pas les mises à jour du status de mes amis.

Alors j'ai cherché comment obtenir le flux rss de ma timeline facebook.

Voici les quelques étapes à suivre :

  1. Connectez-vous sur votre Facebook (si si :D)
  2. Allez sur http://www.facebook.com/notes.php?friends (page des articles de vos amis)
  3. Cliquez sur "Articles de mes amis" dans la partie "Abonnement" dans la colonne de gauche
  4. dans l'url obtenu, remplacez "friends_notes" par "friends_status"
  5. et voilà vous avez le flux RSS de votre timeline Facebook

Attention cette URL est privée (elle contient une clé) donc ne la partagez pas, n'importe qui pourrait alors lire le contenu de votre timeline !

jeudi 3 juin 2010

Trier les entrées par titre dans Google Reader

Il peut parfois être utile de trier par titre la liste des entrées de Google Reader.

Rien de très compliqué avec un peu de jQuery.

Tout d'abord, il faut faire tourner jQuery sur la page de Google Reader.

Par exemple avec le bookmarklet jQueryfy

Lancé sur Google Reader, ce bookmarklet nous dit d'utiliser $jq à la place de $ dans jQuery.

Ensuite plus qu'à récupérer la liste des entrées, trier par titre et ranger les éléments ainsi triées

La liste des entrées affichées (en effet, l'opération sera à refaire dès que le contenu de la liste changera) est dans "div#entries", qui contient autant de "div.entry" que d'entrées affichées, pour chacun desquels on trouve un "h2" avec notre titre.

La structure est donc simple, et notre code est aisé :

$jq('#entries div.entry').sort(
    function(a, b){
        x = $jq(a).find('h2').text().
        y = $jq(b).find('h2').text();
        return x.localeCompare(y);
    }
).each(
    function(index, element){
        element.parentNode.appendChild(element);
    }
)

ce qui, raccourci, donne :

 $jq('#entries .entry').sort(function(a,b){ return $jq(a).find('h2').text().localeCompare($jq(b).find('h2').text())}).each(function(i,e){e.parentNode.appendChild(e)})

Et voici donc le bookmarklet GReader Title Sort (testé uniquement sous Firefox) à lancer bien sûr après celui de jQuery, et avec une liste d'articles affichée dans Google Reader (et à relancer à chaque fois que vous voudrez trier)

mardi 16 février 2010

http://meego-os.fr : nouveau blog sur MeeGo, le nouvel OS de Nokia et Intel

J'ai lancé hier, quelques heures après l'annonce de la naissance de MeeGo, OS résultant de la fusion des OS de Nokia (Maemo) et Intel (Moblin), un nouveau blog sur le sujet, en français.

Retrouvez-le à l'adresse suivante : http://www.meego-os.fr

Vous pouvez aussi suivre les actualités de ce blog sur :

- le compte Twitter associé
- la page Facebook dédiée

mardi 6 octobre 2009

Nouveau blog sur le nokia-n900

Fan du Nokia n900 avant même sa sortie, j'ai créé un nouveau blog, en Français, pour en parler.

Vous le trouverez à l'adresse http://www.nokia-n900.fr

Le mien est déjà pré-commandé...

lundi 5 octobre 2009

Connexion linux/ubuntu avec passphrase ssh (pam-ssh), suite

Les nouvelles version de libpam-ssh (1.92.6 pour moi, sous Ubuntu 09-10 Karmic) ne fonctionnent plus de la même façon que celle décrite dans le précédent billet que j'avais écrit sur le sujet.

Maintenant, la ou les clés valides doivent être présentes dans le répertoire .ssh/login-keys.d :

ln -s  ~/.ssh/id_rsa ~/.ssh/login-keys.d/

Quant aux options dans le répertoire /etc/pam.d/, elles changent.

Tout d'abord, plus de fichier pam-ssh-* (ni ssh-* pour les versions intermédiaires).

Puis dans le fichier /etc/pam.d/common-auth, il faut mettre, avant la première ligne commençant par auth :

 auth sufficient pam_ssh.so try_first_pass

Et enfin dans le fichier /etc/pam.d/common-password, il faut mettre, avant la première ligne commençant par password :

session optional pam_ssh.so

Et voilà, cela fonctionne comme avant

jeudi 4 décembre 2008

sys_alive 1.5.3 ajout d'alertes sur la ram utilisée

J'ai oublié d'écrire ici pour parler de la version 1.5.3 de sys_alive, petite mise à jour qui consiste à ajouter des seuils (pour les alertes de niveau 1 et 2) concernant la mémoire réellement utilisée (ne tenant pas compte du cache par exemple)

Pour cela il suffit de rajouter, dans la conf, la clé ram_used dans %seuil_alertes et %seuil_alertes_niveau2, en indiquant une quantité de RAM en ko

mardi 3 juin 2008

Javascript et IE : création de boutons radio en javascript

Il y a deux ans et demi j'avais déjà soulevé un problème lors de la création d'éléments de formulaire en javascript sous internet explorer.

Je viens aujourd'hui d'en trouver un autre, auquel j'ai trouvé une solution, en anglais, que je précise ici (je ne précise que la solution qui marche partout)

Le problème est le suivant : quand on créé un bouton radio dans internet explorer, en javascript, via document.createElement('input')........ le bouton est bien créé mais on ne peut le cocher.

La solution, la seule, l'unique, est... de ne pas utiliser le dom pour cela, malheureusement. Il faut le créer en html :

<input type="radio" name="truc" id="bidule" value="chose" />

La solution qui semble le mieux fonctionner dans les différents navigateurs est, sans faire de test de navigateur :

elementParent.innerHTML += '<input type="radio" name="truc" id="bidule" value="chose" />'

C'est moche, mais c'est tout ce qui marche.

Autre point, il ne faut pas, pour IE, spécifier ici l'état "checked" car si un radio du même groupe (même attribut "name") est déjà coché, on se retrouvera avec deux boutons radio cochés...

Il faut, une fois nos inserts terminés, faire par exemple :

document.getElementById(input_id).checked = true

mercredi 20 février 2008

Ignorer automatiquement certaines extensions dans subversion (.pyc de python, .*.swp de vim...)

A chaque svn status il n'est pas rare de voir un certains nombres de fichiers "temporaires" qui ne nous intéressent pas, et que nous aimerions bien voir disparaître définitivement.

Alors il existe bien sur la commande svn propset svn:ignore "*.pyc" le_rep mais il faut non seulement le faire pour chaque projet, mais en plus pour chaque répertoire.

Une solution plus simple, et globale, consiste à dire à svn de toujours ignorer les fichiers qui ne nous intéressent pas, ce dans notre fichier de configuration $HOME/.subversion/config (dans la section miscellany) :

global-ignores = *.pyc .*.swp