Вся правда о UTF-8 флаге

В статье есть некоторые ошибки.

Функция utf8::is_utf8() к сожалению показывает не наличие флага у строки, а внутреннее это представление или нет.

Строка «аа» во внутреннем представлении перла без флага выглядит так: \x{d0}\x{b0}\x{d0}\x{b0}
а с флагом вот так: \x{430}\x{430}

И функция utf8::is_utf8() на оба варианта вернёт истину.

В каком виде строка лучше всего смотреть через Data::Dumper.
Берём простой пример

use Data::Dumper;
use Modern::Perl;

my $a = «аа»;
my $z = «яя»;

print Dumper( $a );

utf8::upgrade( $a ); # перевели во внутреннее представление только чтобы показать что оно отличается от флаговой стоки

print Dumper( $a );

utf8::decode( $a );

print Dumper( $a );

my $qq = "$z. $a";

print Dumper( $qq );

Его результат будет таким:
$VAR1 = 'аа';
$VAR1 = "\x{d0}\x{b0}\x{d0}\x{b0}";
$VAR1 = "\x{430}\x{430}";
$VAR1 = "\x{d1}\x{8f}\x{d1}\x{8f}. \x{430}\x{430}"

А то что \x{d1}\x{8f}\x{d1}\x{8f} — это не флаговая строка лучше всего Вам покажет regexp,
в нефлаговых строках \s пересекается с кириллицей по 1 букве в маленьких и заглавных буквах:

my $a = «абвгдеёжзийклмнопрстуфхцчшщъыьэюя»;
utf8::upgrade( $a );
print «1\n» if $a =~ /\s/;

напечатает единицу, а код

my $a = «абвгдеёжзийклмнопрстуфхцчшщъыьэюя»;
utf8::decode( $a );
print «1\n» if $a =~ /\s/;

ничего не напечатает — потому что мы повесили флаг на $a и буква «х» стала единым целым,
а не двумя половинками, одна из которых совпадает с пробельным символом.

PS чтобы использовать Encode::encode, Encode::decode не обязательно подключать модуль Encode,
проще использовать utf8::decode() и utf8::encode() чтобы не засорять namespace модуля/скрипта

В Encode.pm описание is_utf8 — "...Tests whether the UTF8 flag is turned on in the string. If check is true also checks whether string contains well-formed UTF-8", тогда как utf8::is_utf8 (в utf8.pm) — «Test whether string is in UTF-8 internally. Functionally the same as Encode::is_utf8().»

Если посмотреть исходный код. Encode::is_utf8 (Encode.xs)– использует также bool Perl_is_utf8_string(const U8 *s, STRLEN len).

А utf8::is_utf8 — это в universal.c

    {"utf8::is_utf8", XS_utf8_is_utf8, NULL},
XS(XS_utf8_is_utf8)
{
     dVAR;
     dXSARGS;
     if (items != 1)
	 croak_xs_usage(cv, "sv");
     else {
	SV * const sv = ST(0);
	SvGETMAGIC(sv);
	    if (SvUTF8(sv))
		XSRETURN_YES;
	    else
		XSRETURN_NO;
     }
     XSRETURN_EMPTY;
}

Если сравнить то и там и там используется SvUTF8, но в модуле Encode дополнительно выполняется проверка

    if (RETVAL &&
        check  &&
        !is_utf8_string((U8*)SvPVX(sv), SvCUR(sv)))
        RETVAL = FALSE;

Само определение SvUTF8 есть в sv.h

#define SvUTF8(sv)		(SvFLAGS(sv) & SVf_UTF8)
#define SVf_UTF8        0x20000000  /* SvPV is UTF-8 encoded
#define SvFLAGS(sv)	(sv)->sv_flags

Типы в Perl определяются структурами типа SV (см. sv.h), которые имеют поле sv_flags. Как видим, макрос SvUTF8 выполняет проверку установлен ли флаг is UTF-8 encoded и больше ничего.

Таким образом, utf8::is_utf8 просто проверяет установлен ли этот бит (флаг), который конечно же можно устанавливать с помощью SvUTF8_on (ниже побитовый or, который это делает в макросе)

#define SvUTF8_on(sv)		(SvFLAGS(sv) |= (SVf_UTF8))

а вот Encode::is_utf8 еще и выполняет is_utf8_string (файл utf8.c) о чем было замечено vadiml, которая «…Returns true if the first bytes of string form a valid UTF-8 string, false otherwise….» Для проверки функция старается использовать макрос UTF8_IS_INVARIANT, который определен в utf8.h, иначе более медленный вариант в ветке else.

Я думаю, вывод такой, utf8::is_utf8 — работает очень быстро, но ее не следует использовать на данных получаемых извне, а Encode::is_utf8 – более медленный вариант, но зато выполняет проверку.

Думаю Encode::is_utf8 с флагом check эквивалентно utf8::valid().

— получается не так. В Encode::is_utf8 с флагом check выполняется

    RETVAL = SvUTF8(sv) ? TRUE : FALSE;
    if (RETVAL &&
        check  &&
        !is_utf8_string((U8*)SvPVX(sv), SvCUR(sv)))
        RETVAL = FALSE;

Получается, что TRUE если есть установленный флаг и не выполняется условие ниже. Условие ниже не выполняется также когда check=0, в этом случае также не будет выполнятся проверка !is_utf8_string. То есть, когда check=0 – то это полный аналог utf8::is_utf8 (также если флаг не установлен). Только в случае если check=1 и установлен флаг Encode::is_utf8 выполняет проверку is_utf8_string. То есть, возвращаем true когда есть флаг + проходим проверку.

По utf8::valid – если флаг установленный выполняем проверку. Если она проходит – значит ОК. Если флаг не установлен – возвращаем ОК без проверки. Название вводит в заблуждение, наверное, хотя так и должно быть – “… [INTERNAL] Test whether STRING is in a consistent state regarding UTF-8. Will return true if it is well-formed UTF-8 and has the UTF-8 flag on or if STRING is held as bytes (both these states are 'consistent'). Main reason for this routine is to allow Perl's testsuite to check that operations have left strings in a consistent state. You most probably want to use utf8::is_utf8() instead.”

    {"utf8::valid", XS_utf8_valid, NULL},

XS(XS_utf8_valid)
{
     dVAR;
     dXSARGS;
     if (items != 1)
	 croak_xs_usage(cv, "sv");
    else {
	SV * const sv = ST(0);
	STRLEN len;
	const char * const s = SvPV_const(sv,len);
	if (!SvUTF8(sv) || is_utf8_string((const U8*)s,len))
	    XSRETURN_YES;
	else
	    XSRETURN_NO;
    }
     XSRETURN_EMPTY;
}

Т.е. перекодировка туда-обратно не меняет данные (это ожидаемо), но устанавливает UTF-8 флаг.
(впрочем, такое поведение decode() противоречит его собственной документации, которая, в свою очередь, противоречит идее, что никакой документации и гарантий относительно utf-8 флага в ASCII данных быть не должно)

Исходя из реализации в Encode.xs — Method_decode_xs там явно выполняется в конце SvUTF8_on(dst); Я не нашел «явного» исключения для ASCII,EBCDIC. Все мои попытки в Perl коде заставить не выставлять флаг utf8 для decode, также ни к чему не привели.

Судя по-всему это неточность в документации, что уже обсуждалось здесь — rt.cpan.org/Public/Bug/Display.html?id=34259, в том числе и автором поста :).

Я думаю, многие были введены в заблуждение формулировкой, что внутренним форматом (internal format) в Perl является utf-8. Эта фраза встречается и в документации к модулям, например в описании Encode::decode — "..this function returns the string that results from decoding the scalar value OCTETS, assumed to be a sequence of octets in ENCODING, into Perl's internal form", который конвертирует в utf8 + выставляет флаг utf8.

Есть хороший ответ на данный вопрос — www.perlmonks.org/?node_id=551676#i_lost_track__what_encoding_is_the_internal_format_really — "… by default, the internal format is either ISO-8859-1 (latin-1), or utf8, depending on the history of the string.."

В коде

use strict;
use warnings;
use Devel::Peek;

my $str = "Hello";
print Dump ($str);

для $str используется в качестве внутреннего формата Latin-1. Если мы добавим в этот же код use utf8; все равно будет использоваться Latin-1.

Этот код, написанный в utf-8 опять же использует Latin-1. Мы не дали подсказки с помощью use utf8; для интерпретатора, что же такое $str. Когда мы укажем use utf8 — будет использоваться UTF-8.

use strict;
use warnings;
#use utf8;
use Devel::Peek;

my $str = "Привет";
print Dump ($str);

Этот код, набранный в cp1251, будет использовать UTF-8 в качестве внутреннего формата

use strict;
use warnings;
use encoding('windows-1251');
use Devel::Peek;

my $str = "Привет";
print Dump ($str);

А это код (который набран в utf-8), казалось бы должен использовать utf8 в качестве внутреннего формата, но это не так — используется Latin-1, наверное из соображений эффективности :).

use strict;
use warnings;
use utf8;
use Devel::Peek;

my $str = "Hello";
print Dump ($str);