Articles mot-clétés rack
EasouSpider le robot qui ne sait pas parler l’utf8
23 juillet 2014 — rack, rails, robots, ruby, web, webdev
Ces derniers jours je recevait une trentaine d’emails par jour m’indiquant qu’une erreur avait éclatée sur cults3d.com. Ces exceptions provenaient toutes d’un robot chinois, EasouSpider, qui parcoure le Web pour remplir son moteur de recherche.
Ce robot ne sait pas parler l’unicode comme tout le monde et envoie dans les formulaires des valeurs mal encodées, ce qui fâche Ruby on Rails. Le problème est surtout que Rails ne traite l’erreur que bien trop tard, lorsqu’on essaie de lire les paramètres de la requête. Et là l’erreur est une incompréhensible ArgumentError :
invalid %-encoding (Q/B0*ÜHܘ0ÅÅ1 0 U GB1 0 U.…
