[système] unicode et problème grep etc en console

Avant de poser une question, voyez si on n'y a pas déjà répondu pour vous !

Modérateur : Mods GNU/Linux

Avatar de l’utilisateur
Malekal_morte
Site Admin
Site Admin
Messages : 87633
Inscription : 10 sept. 2005 13:57
Contact :

[système] unicode et problème grep etc en console

Message par Malekal_morte » 25 mai 2009 12:27

Les fichiers en unicode venant du monde de Windows sont souvent en UTF-16 et peuvent poser des problèmes en console.
(Certains programmes du monde Windows ont tendance à générer cet encodage par défaut.)

Code : Tout sélectionner

malekalmorte@debian:/tmp$ file test.txt 
test.txt: Little-endian UTF-16 Unicode text, with CRLF line terminators
Les caractéristiques de ces ficheirs sont des caractères �� en début de fichiers.

Code : Tout sélectionner

malekalmorte@debian:/tmp$ cat test.txt |more
��ceci est une d�mo 

Coin Coin <o_/

http
Grep ne fonctionne pas et ne renvoit rien.

Code : Tout sélectionner

malekalmorte@debian:/tmp$ cat test.txt |grep http
malekalmorte@debian:/tmp$ 
La conversion en ASCII ne fonctionne pas car uni2ascii converti des fichiers au format UTF-8

Code : Tout sélectionner

malekalmorte@debian:/tmp$ uni2ascii test.txt 
Invalid UTF-8 code encountered at byte 0, character 0.
malekalmorte@debian:/tmp$ !cat
cat test.txt |more
��ceci est une d�mo 

Coin Coin <o_/

Solution :

La solution est de convertir le fichier en UTF-8, la commande iconv peut vous y aider.

Code : Tout sélectionner

alekalmorte@debian:/tmp$ iconv --from-code=UTF-16 --to-code=UTF-8 test.txt> test2.txt
malekalmorte@debian:/tmp$ cat test2.txt |grep http
http
malekalmorte@debian:/tmp$ file test2.txt 
test2.txt: UTF-8 Unicode text, with CRLF line terminators
vim peut aussi faire le boulot (thanx captnfab) :

Code : Tout sélectionner

:set fileformat=unix
:set fenc=utf8
:wq
Le Bloc-note en unicode enregistre automatiquement en UTF-16.
Vous pouvez alors réenregistrer le fichier depuis Windows dans un autre format (voir capture ci-dessous) :
Première règle élémentaire de sécurité : on réfléchit puis on clic et pas l'inverse - Les fichiers/programmes c'est comme les bonbons, quand ça vient d'un inconnu, on n'accepte pas

Sécuriser son ordinateur (version courte)

Tutoriels Logiciels - Tutoriel Windows - Windows 10

Stop publicités - popups intempestives
supprimer-trojan.com : guide de suppression de malwares

Partagez malekal.com : n'hésitez pas à partager sur Facebook et GooglePlus les articles qui vous plaisent.


Répondre

Revenir vers « Tutoriels et annonces »

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 2 invités