Project

General

Profile

Bug #10382

s = '\x80'; /#{s}/ raises an exception in US-ASCII script

Added by akr (Akira Tanaka) about 5 years ago. Updated about 5 years ago.

Status:
Closed
Priority:
Normal
Assignee:
-
Target version:
-
ruby -v:
ruby 2.2.0dev (2014-10-14 trunk 47915) [x86_64-linux]
[ruby-dev:48626]

Description

以下のふたつのスクリプトの動作は一致するべきだと思うのですが、
前者と異なり後者は例外となります。

% cat z1.rb          
# -*- encoding: US-ASCII -*-
r = /#{'\x80'}/
p [r, r.encoding]
% ./miniruby -v z1.rb
ruby 2.2.0dev (2014-10-14 trunk 47915) [x86_64-linux]
[/\x80/, #<Encoding:ASCII-8BIT>]
% cat z2.rb          
# -*- encoding: US-ASCII -*-
s = '\x80'
r = /#{s}/
p [r, r.encoding]
% ./miniruby -v z2.rb
ruby 2.2.0dev (2014-10-14 trunk 47915) [x86_64-linux]
z2.rb:3:in `<main>': invalid multibyte escape (ArgumentError)

後者のスクリプトは前者のスクリプトの文字列 '\x80' を変数に代入してから
使っているだけの違いなので動作が変わる理由はないと思います。

ここでどちらが正しいかというのが問題ですが、前者が正しいのだと思います。

正規表現リテラルはスクリプトエンコーディングというのが原則で、
それだけなら US-ASCII なので \x80 は invalid で例外という後者が正しいのですが、
US-ASCII のスクリプト内で \x80 などを使うと自動的に ASCII-8BIT になるという仕様 ruby-dev:33348 があって、
動的な正規表現に対してこれが実装されていないように思います。

(静的な正規表現に関しての実装は reg_fragment_setenc_gen だと思います。)


Related issues

Related to Ruby master - Bug #10670: char-class matching same character with different encodings raises exceptionClosed12/29/2014Actions

Associated revisions

Revision a2797a45
Added by nobu (Nobuyoshi Nakada) about 5 years ago

re.c: mak eregexps with binary escapes ASCII-8BIT

  • re.c (unescape_nonascii): make dynamically compiled US-ASCII regexps ASCII-8BIT encoding if binary (hexadecimal, control, meta) escapes are contained, as well as literal regexps. [ruby-dev:48626] [Bug #10382]

git-svn-id: svn+ssh://ci.ruby-lang.org/ruby/trunk@47992 b2dd03c8-39d4-4d8f-98ff-823fe69b080e

Revision 47992
Added by nobu (Nobuyoshi Nakada) about 5 years ago

re.c: mak eregexps with binary escapes ASCII-8BIT

  • re.c (unescape_nonascii): make dynamically compiled US-ASCII regexps ASCII-8BIT encoding if binary (hexadecimal, control, meta) escapes are contained, as well as literal regexps. [ruby-dev:48626] [Bug #10382]

Revision 47992
Added by nobu (Nobuyoshi Nakada) about 5 years ago

re.c: mak eregexps with binary escapes ASCII-8BIT

  • re.c (unescape_nonascii): make dynamically compiled US-ASCII regexps ASCII-8BIT encoding if binary (hexadecimal, control, meta) escapes are contained, as well as literal regexps. [ruby-dev:48626] [Bug #10382]

Revision 47992
Added by nobu (Nobuyoshi Nakada) about 5 years ago

re.c: mak eregexps with binary escapes ASCII-8BIT

  • re.c (unescape_nonascii): make dynamically compiled US-ASCII regexps ASCII-8BIT encoding if binary (hexadecimal, control, meta) escapes are contained, as well as literal regexps. [ruby-dev:48626] [Bug #10382]

Revision 47992
Added by nobu (Nobuyoshi Nakada) about 5 years ago

re.c: mak eregexps with binary escapes ASCII-8BIT

  • re.c (unescape_nonascii): make dynamically compiled US-ASCII regexps ASCII-8BIT encoding if binary (hexadecimal, control, meta) escapes are contained, as well as literal regexps. [ruby-dev:48626] [Bug #10382]

Revision 47992
Added by nobu (Nobuyoshi Nakada) about 5 years ago

re.c: mak eregexps with binary escapes ASCII-8BIT

  • re.c (unescape_nonascii): make dynamically compiled US-ASCII regexps ASCII-8BIT encoding if binary (hexadecimal, control, meta) escapes are contained, as well as literal regexps. [ruby-dev:48626] [Bug #10382]

Revision 47992
Added by nobu (Nobuyoshi Nakada) about 5 years ago

re.c: mak eregexps with binary escapes ASCII-8BIT

  • re.c (unescape_nonascii): make dynamically compiled US-ASCII regexps ASCII-8BIT encoding if binary (hexadecimal, control, meta) escapes are contained, as well as literal regexps. [ruby-dev:48626] [Bug #10382]

History

Updated by nobu (Nobuyoshi Nakada) about 5 years ago

RegexpはASCII-8BITになってもStringはスクリプトエンコーディングのままなので、意図的なCODERANGE_BROKENなのか、意図しないバグによるものなのか、区別する方法がないというのが問題ですね。

Updated by akr (Akira Tanaka) about 5 years ago

えぇと、ここでの string 自体は US-ASCII で valid なのです。
'\x80' というのは US-ASCII な 4文字の文字列なので。
CODERANGE_BROKEN な文字列ではありません。

それを regexp として解釈した時に US-ASCII としては invalid なことに気がついて現在は例外になりますが、
US-ASCII な文字列の中にエスケープされた 8bit なバイトを示す記述があったら、
ASCII-8BIT な regexp にしたほうが一貫しているんじゃないか、という話です。

Updated by duerst (Martin Dürst) about 5 years ago

UTF-8 や Windows-31J で試してみたところ、両方とも (/#{s}/ も /#{'\x80'}/ も) invalid multibyte escape となっています。なぜ US-ASCII の場合片方しかなってないのか分かりませんが、両方ともエラーになった方が筋が通るのではないかと思います。

Updated by akr (Akira Tanaka) about 5 years ago

筋が通るというのは原則どおりなのでそれはそうですが、
US-ASCII の場合は例外扱いでそうはしないことにしたという経緯があるので
筋が通るということのみではそうする理由にはならないと思います。

Updated by duerst (Martin Dürst) about 5 years ago

US-ASCII で色々例外があることは分かっています。しかし、例外を増やすのではなく、減らす方向で考えた方がいいかと思います。US-ASCII のではなく、 UTF-8 がデフォールトソースエンコーディングとなった今では /#{'\x80'}/ などはソースのエンコーディングを考えなかったら通らなくなりました。そこで実際に US-ASCII のではなく、ASCII-8BIT を使いたかったら、その通りに -*- encoding: ASCII-8BIT と書けばいいかと思います。その意味で最近になって US-ASCII を特別扱いする理由が減っていると思います。

[もともとの原因は、Ruby でソースエンコーディング以外にエンコーディングで文字列リテラルが作れないことかと思います。その為に #10391 を提案しました。]

Updated by akr (Akira Tanaka) about 5 years ago

デフォルトのソースエンコーディングが UTF-8 になったことはこっちも仕様を変更する理由になるかもしれませんね。

Updated by nobu (Nobuyoshi Nakada) about 5 years ago

  • Status changed from Open to Closed
  • % Done changed from 0 to 100

Applied in changeset r47992.


re.c: mak eregexps with binary escapes ASCII-8BIT

  • re.c (unescape_nonascii): make dynamically compiled US-ASCII regexps ASCII-8BIT encoding if binary (hexadecimal, control, meta) escapes are contained, as well as literal regexps. [ruby-dev:48626] [Bug #10382]

Updated by akr (Akira Tanaka) about 5 years ago

なかださんが(最初の報告における前者の挙動に)直してくれたようです。

後者の挙動にしたければ、それは仕様変更なので、別のチケットにするのが適切かと思います。

Updated by nobu (Nobuyoshi Nakada) almost 5 years ago

  • Related to Bug #10670: char-class matching same character with different encodings raises exception added

Also available in: Atom PDF