Converti stringa UTF8 in valori numerici in Perl

Question

Per esempio,

my $str = '中國c'; # Chinese language of china 

Voglio stampare i valori numerici

20013,22283,99 

Answer 1

unpack sarà più efficiente di split e ord, perché non deve fare un mucchio di stringhe 1-carattere temporaneo:

use utf8; 

my $str = '中國c'; # Chinese language of china 

my @codepoints = unpack 'U*', $str; 

print join(',', @codepoints) . "\n"; # prints 20013,22283,99 

Un punto di riferimento rapido mostra che è circa 3 volte più veloce rispetto split+ord:

use utf8; 
use Benchmark 'cmpthese'; 

my $str = '中國中國中國中國中國中國中國中國中國中國中國中國中國中國c'; 

cmpthese(0, { 
    'unpack'  => sub { my @codepoints = unpack 'U*', $str; }, 
    'split-map' => sub { my @codepoints = map { ord } split //, $str }, 
    'split-for' => sub { my @cp; for my $c (split(//, $str)) { push @cp, ord($c) } }, 
    'split-for2' => sub { my $cp; for my $c (split(//, $str)) { $cp = ord($c) } }, 
}); 

Risultati:

   Rate split-map split-for split-for2  unpack 
split-map 85423/s   --  -7%  -32%  -67% 
split-for 91950/s   8%   --  -27%  -64% 
split-for2 125550/s  47%  37%   --  -51% 
unpack  256941/s  201%  179%  105%   -- 

La differenza è meno pronunciata con una stringa più breve, ma unpack è ancora più del doppio della velocità. (split-for2 è un po 'più veloce rispetto alle altre divisioni perché non costruire una lista di codepoints.)

Answer 2

Vedi perldoc -f ord:

foreach my $c (split(//, $str)) 
{ 
    print ord($c), "\n"; 
} 

o compresso in un riga singola: my @chars = map { ord } split //, $str;

Data::Dumper ed, questo produce:

$VAR1 = [ 
      20013, 
      22283, 
      99 
     ]; 

Answer 3

Avere utf8 nel codice sorgente riconosciuto come tale, è necessario use utf8; anticipo:

$ perl 
use utf8; 
my $str = '中國c'; # Chinese language of china 
foreach my $c (split(//, $str)) 
{ 
    print ord($c), "\n"; 
} 
__END__ 
20013 
22283 
99 

o più laconicamente,

print join ',', map ord, split //, $str; 

Answer 4

http://www.perl.com/pub/2012/04/perlunicook-standard-preamble.html

#!/usr/bin/env perl 


use utf8;  # so literals and identifiers can be in UTF-8 
use v5.12;  # or later to get "unicode_strings" feature 
use strict; # quote strings, declare variables 
use warnings; # on by default 
use warnings qw(FATAL utf8); # fatalize encoding glitches 
use open  qw(:std :utf8); # undeclared streams in UTF-8 
# use charnames qw(:full :short); # unneeded in v5.16 

# http://perldoc.perl.org/functions/sprintf.html 
# vector flag 
# This flag tells Perl to interpret the supplied string as a vector of integers, one for each character in the string. 

my $str = '中國c'; 

printf "%*vd\n", ",", $str;