[système] unicode et problème grep etc en console

[Malekal_morte]

Les fichiers en unicode venant du monde de Windows sont souvent en UTF-16 et peuvent poser des problèmes en console.
(Certains programmes du monde Windows ont tendance à générer cet encodage par défaut.)

Code : Tout sélectionner

malekalmorte@debian:/tmp$ file test.txt 
test.txt: Little-endian UTF-16 Unicode text, with CRLF line terminators

Les caractéristiques de ces ficheirs sont des caractères �� en début de fichiers.

Code : Tout sélectionner

malekalmorte@debian:/tmp$ cat test.txt |more
��ceci est une d�mo 

Coin Coin <o_/

http

Grep ne fonctionne pas et ne renvoit rien.

Code : Tout sélectionner

malekalmorte@debian:/tmp$ cat test.txt |grep http
malekalmorte@debian:/tmp$ 

La conversion en ASCII ne fonctionne pas car uni2ascii converti des fichiers au format UTF-8

Code : Tout sélectionner

malekalmorte@debian:/tmp$ uni2ascii test.txt 
Invalid UTF-8 code encountered at byte 0, character 0.
malekalmorte@debian:/tmp$ !cat
cat test.txt |more
��ceci est une d�mo 

Coin Coin <o_/

Solution :

La solution est de convertir le fichier en UTF-8, la commande iconv peut vous y aider.

Code : Tout sélectionner

alekalmorte@debian:/tmp$ iconv --from-code=UTF-16 --to-code=UTF-8 test.txt> test2.txt
malekalmorte@debian:/tmp$ cat test2.txt |grep http
http
malekalmorte@debian:/tmp$ file test2.txt 
test2.txt: UTF-8 Unicode text, with CRLF line terminators

vim peut aussi faire le boulot (thanx captnfab) :

Code : Tout sélectionner

:set fileformat=unix
:set fenc=utf8
:wq

Le Bloc-note en unicode enregistre automatiquement en UTF-16.
Vous pouvez alors réenregistrer le fichier depuis Windows dans un autre format (voir capture ci-dessous) :