Perl представляет внутренности в виде строки

Как делают строки жемчуга, представленные внутренне? Какое кодирование используется? Как я обрабатываю различную кодировку правильно?

Я использовал жемчуг в течение довольно долгого времени, но он не включал большую строковую обработку в различной кодировке, и когда я встретился с незначительной проблемой, которая имела некоторое отношение к кодировке, я обычно обращался к некоторым шаманским действиям.

До этого момента я думал о строках жемчуга как последовательности байтов, которые действительно соответствовали вполне прилично для моих задач. Теперь я должен сделать, некоторая обработка UTF-8 закодировала файл и здесь запускает проблему.

Во-первых, я считал файл в строку как это:

open(my $in, '<', $ARGV[0]) or die "cannot open file $ARGV[0] for reading";
binmode($in, ':utf8');

my $contents;

{
    local $/;
    $contents = <$in>;
}

close($in);

затем просто распечатайте его:

print $contents;

И я получаю две вещи: предупреждение Wide character in print at <scriptname> line <n> и мусор в консоли. Таким образом, я могу прийти к заключению, что строки жемчуга имеют понятие "символа", который может быть "широким" или нет, но при печати эти "широкие" символы представлены в консоли как несколько байтов, не как единственный "символ". (Интересно теперь, почему сделал весь мой предыдущий опыт с двоичными файлами, работавшими вполне, как я ожидал, что это будет работать без каких-либо "символьных" проблем).

Почему затем я вижу мусор в консоли? Если жемчуг хранит строки как символ в некотором известном кодировании, я не думаю, что существует большая проблема для обнаружения консольного текста кодирования и печати правильно. (Я использую Windows, BTW).

Если жемчуг хранит строки как последовательности символов переменной ширины (например, использующий ту же кодировку UTF-8), почему это сделано этот путь? На основе моего опыта C, обрабатывающего строки, БОЛЬ.

Обновление.

Я использую два компьютера для тестирования, каждый запускает Windows 7 x64 с английским установленным пакетом языка, но с российскими региональными настройками (таким образом, у меня есть cp866 как кодовая страница OEM и cp1251 как ANSI) с ActivePerl 5.10.1 x64; другой выполняет Windows XP российская локализация на 32 бита с Perl Cygwin 5.10.0.

Благодаря ссылкам теперь у меня есть намного более основательное понимание того, что продолжается и как должны быть сделаны вещи.