Backport #4281

irb don't start up when Encoding.defalut_internal isn't 'utf-8'

Added by Narihiro Nakamura over 3 years ago. Updated over 1 year ago.

[ruby-dev:43036]
Status:Closed
Priority:Normal
Assignee:Usaku NAKAMURA

Description

=begin
nariです。

以下のようにすると irb が起動しません。
$ ruby -S -E cp932:cp932 irb
/home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb/locale.rb:135:in eval': /home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb/lc/ja/error.rb:16: invalid multibyte char (UTF-8) (SyntaxError)
/home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb/lc/ja/error.rb:16: invalid multibyte char (UTF-8)
/home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb/lc/ja/error.rb:16: syntax error, unexpected $end, expecting keyword_end
def_exception :UnrecognizedSwitch, 'スイッチ(%s)が分りません'
^
from /home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb/locale.rb:135:in
realload'
from /home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb/locale.rb:125:in block in load'
from /home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb/locale.rb:123:in
each'
from /home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb/locale.rb:123:in load'
from /home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb/init.rb:122:in
init
error'
from /home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb/init.rb:17:in setup'
from /home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb.rb:53:in
start'
from /home/nari/.rvm/rubies/ruby-1.9.2-p136/bin/irb:16:in `'

再現コードは以下です。
$ cat /tmp/t.rb
require "irb"
Encoding.defaultinternal = "cp932"
Encoding.default
external = "cp932"
# pathはRubyのインストール先に合わせて変えてください
path = "/home/nari/.rvm/rubies/ruby-1.9.2-p136/lib/ruby/1.9.1/irb/lc/ja/error.rb"
src = IRB::MagicFile.open(path){|f| f.read}
p src
eval(src)

$ ruby /tmp/t.rb
#Encoding:Windows-31J
/tmp/t.rb:8:in eval': (eval):16: invalid multibyte char (UTF-8) (SyntaxError)
(eval):16: invalid multibyte char (UTF-8)
(eval):16: syntax error, unexpected $end, expecting keyword_end
def_exception :UnrecognizedSwitch, 'スイッチ(%s)が分りません'
^
from /tmp/t.rb:8:in
'

cp932に変換された文字列(src)の中に、utf-8を指定するマジックコメントが入っ
ており、utf-8の文字列としてeval()されるのが原因のようです。

Encoding.default_internalが指定されるようなケースまで標準ライブラリが対
応する必要はないのかもしれませんが、情報共有の意味も込めて報告しておき
ます。

この問題については以下のパッチで直ることを確認しています。

diff --git a/lib/irb/magic-file.rb b/lib/irb/magic-file.rb
index 8612620..339ed60 100644
--- a/lib/irb/magic-file.rb
+++ b/lib/irb/magic-file.rb
@@ -8,9 +8,10 @@ module IRB
line = io.gets
line = io.gets if line[0,2] == "#!"
encoding = detectencoding(line)
+ internal
encoding = encoding
encoding ||= defaultsrcencoding
io.rewind
- io.setencoding(encoding, nil)
+ io.set
encoding(encoding, internal_encoding)

    if block_given?
      begin

=end

Associated revisions

Revision 38313
Added by Usaku NAKAMURA over 1 year ago

merge revision(s) 38285: [Backport #4281]

* lib/irb/magic-file.rb: set a encoding, which is detected from
  the file to read, to the internal encoding.
  [Bug #4281]

History

#1 Updated by Yui NARUSE almost 3 years ago

  • Category changed from ext to lib
  • Status changed from Open to Assigned
  • Assignee set to Keiju Ishitsuka

これどうですかね

#2 Updated by Hiroshi Nakamura almost 3 years ago

  • Target version changed from 1.9.2 to 1.9.3

#3 Updated by Keiju Ishitsuka almost 3 years ago

  • Assignee changed from Keiju Ishitsuka to Yuki Sonoda

この件は、Yuguiさんにお願いして良いですか?

#4 Updated by Motohiro KOSAKI over 2 years ago

  • Target version changed from 1.9.3 to 2.0.0

1.9.3には明らかに too lateだと思います。申し訳ありませんが、target versionを変更させていただきます。

#5 Updated by Yui NARUSE over 2 years ago

  • Target version changed from 2.0.0 to 1.9.3

いや、これは1.9.3で残しておくべきでしょう、バグ報告はかなり前だしパッチもあるんだし。
Yuguiさん判断がよろしいんじゃないですかね。

#6 Updated by Yusuke Endoh almost 2 years ago

  • Assignee changed from Yuki Sonoda to Keiju Ishitsuka
  • Target version changed from 1.9.3 to 2.0.0

いしつかさん

Yugui さんから反応ないみたいなんで、いしつかさんの方で対応して頂けますでしょうか。
とりあえず trunk でお願いします。
バックポートが必要かどうかは、trunk の後で考えましょう。

Yusuke Endoh mame@tsg.ne.jp

#7 Updated by Yusuke Endoh over 1 year ago

Yugui さんからもいしつかさんからも反応がない。
誰でもいいので、パッチを試してみて、問題無さそうならコミットして、様子をみてくれるコミッタはいませんか。

Yusuke Endoh mame@tsg.ne.jp

#8 Updated by Yui NARUSE over 1 year ago

  • Assignee changed from Keiju Ishitsuka to Narihiro Nakamura

mame (Yusuke Endoh) wrote:

Yugui さんからもいしつかさんからも反応がない。
誰でもいいので、パッチを試してみて、問題無さそうならコミットして、様子をみてくれるコミッタはいませんか。

nari さんコミットしてください

#9 Updated by Narihiro Nakamura over 1 year ago

  • Status changed from Assigned to Closed
  • % Done changed from 0 to 100

This issue was solved with changeset r38285.
Narihiro, thank you for reporting this issue.
Your contribution to Ruby is greatly appreciated.
May Ruby be with you.


  • lib/irb/magic-file.rb: set a encoding, which is detected from the file to read, to the internal encoding. [Bug #4281]

#10 Updated by Yui NARUSE over 1 year ago

  • Tracker changed from Bug to Backport
  • Project changed from ruby-trunk to Backport93
  • Category deleted (lib)
  • Status changed from Closed to Assigned
  • Assignee changed from Narihiro Nakamura to Usaku NAKAMURA
  • Target version deleted (2.0.0)

#11 Updated by Keiju Ishitsuka over 1 year ago

けいじゅ@いしつかです.

mame (Yusuke Endoh) mame@tsg.ne.jp wrote:

Yugui さんからもいしつかさんからも反応がない。

こちらで対応しますと回答した覚えがありますが, そのままになっていました.
申し訳ない.

いろいろと溜っているので, そろそろやらなくちゃいけないなと思っていると
ころです.

ところで, リリースに至るまでのスケジュールがよく分かっていないのですが,
いつまでに対応しなくてはならないでしょう?

__
---------------------------------------------------->> 石塚 圭樹 <<---
---------------------------------->> e-mail: keiju@ishitsuka.com <<---

#12 Updated by Yui NARUSE over 1 year ago

keiju (Keiju Ishitsuka) wrote:

けいじゅ@いしつかです.

mame (Yusuke Endoh) mame@tsg.ne.jp wrote:

Yugui さんからもいしつかさんからも反応がない。

こちらで対応しますと回答した覚えがありますが, そのままになっていました.
申し訳ない.

いろいろと溜っているので, そろそろやらなくちゃいけないなと思っていると
ころです.

ところで, リリースに至るまでのスケジュールがよく分かっていないのですが,
いつまでに対応しなくてはならないでしょう?

もうnariさんに入れてもらったので大丈夫です。
再修正したい場合は今月中、とかでしたっけ。

#13 Updated by Usaku NAKAMURA over 1 year ago

  • Status changed from Assigned to Closed

This issue was solved with changeset r38313.
Narihiro, thank you for reporting this issue.
Your contribution to Ruby is greatly appreciated.
May Ruby be with you.


merge revision(s) 38285: [Backport #4281]

* lib/irb/magic-file.rb: set a encoding, which is detected from
  the file to read, to the internal encoding.
  [Bug #4281]

Also available in: Atom PDF