Bug #8995

バイナリデータを文字列として encode! すると readbyte の結果が変化する

Added by Hiroshi SHIBATA almost 2 years ago. Updated over 1 year ago.

[ruby-dev:47747]
Status:Third Party's Issue
Priority:Normal
Assignee:-
ruby -v:ruby 2.1.0dev (2013-10-07 trunk 43160) [x86_64-darwin12.5.0] Backport:1.9.3: UNKNOWN, 2.0.0: UNKNOWN

Description

=begin
Rails の以下のコードの結果が 2.0 と 2.1 とで異なるようです。

(())

以下が最小ケースです。

$ ruby -v
=> ruby 2.1.0dev (2013-10-07 trunk 43160) [x86_64-darwin12.5.0]
$ ruby -rstringio -e "Encoding.default_internal = Encoding::UTF_8; p StringIO.new(File.read('x.jpg')).readbyte"
=> 255
$ ruby -rstringio -e "Encoding.default_internal = Encoding::UTF_8; p StringIO.new(File.read('x.jpg').force_encoding('UTF-8').encode!).readbyte"
=> 239

なお、2.0 ではそれぞれの値が変化しませんでした。

$ ruby -v
=> ruby 2.0.0p326 (2013-10-05 revision 43144) [x86_64-darwin13.0.0]
$ ruby -rstringio -e "Encoding.default_internal = Encoding::UTF_8; p StringIO.new(File.read('x.jpg')).readbyte"
=> 255
$ ruby -rstringio -e "Encoding.default_internal = Encoding::UTF_8; p StringIO.new(File.read('x.jpg').force_encoding('UTF-8').encode!).readbyte"
=> 255

rails の該当箇所は rails4 でも同じ処理を行っているので、このままだと post で画像などを送るともれなく壊れてしまいます。

rails のコードがよくないのか、File.binread を使って読み込んでないのがおかしいなど教えて頂けると嬉しいです。

=end

Associated revisions

Revision 43802
Added by Yui NARUSE over 1 year ago

  • transcode.c (str_transcode0): don't scrub invalid chars if str.encode doesn't have explicit invalid: :replace. workaround fix for see #8995

Revision 43802
Added by Yui NARUSE over 1 year ago

  • transcode.c (str_transcode0): don't scrub invalid chars if str.encode doesn't have explicit invalid: :replace. workaround fix for see #8995

History

#1 Updated by Nobuyoshi Nakada almost 2 years ago

=begin
最小コードはこんな感じですね。
$ ruby -E:UTF-8 -e 'p "\xff".encode.unpack("C*")'
239, 191, 189をセットしていると、同じエンコーディング同士でも変換が起きているようです。
=end

#2 Updated by Hiroshi SHIBATA almost 2 years ago

  • Category set to core
  • Target version set to 2.1.0

#3 Updated by Nobuyoshi Nakada almost 2 years ago

  • Description updated (diff)

=begin
理由はr40390です。

* transcode.c (str_transcode0): If invalid: :replace is specified for
  String#encode, replace invalid byte sequence even if the destination
  encoding equals to the source encoding.

(({encode_params}))の引数はHTTPで渡ってくるパラメータのようですから、バイナリデータかどうかを判断する手がかりが他にあればともかく、(({valid_encoding}))でなければ(({ASCII-8BIT}))にするくらいしかできないんじゃないでしょうか。
=end

#4 Updated by Nobuyoshi Nakada almost 2 years ago

  • Status changed from Open to Third Party's Issue

まぁ、そもそもバイナリデータをエンコーディング変換したら壊れるのが当然ですね。

#5 Updated by Hiroshi SHIBATA almost 2 years ago

rails の該当箇所は rails 3 リリース時から存在するもので、invalid な utf-8 をパラメータとして渡して攻撃するものを防御するためのコードのようです。いったん、rails 側で何とかできないか考えてきます。

#6 Updated by Nobuyoshi Nakada almost 2 years ago

同じエンコーディング間では何もしていなかったので、防御にはなっていなかったんじゃないでしょうか。

#7 Updated by Yui NARUSE almost 2 years ago

なかださんの指摘の通り、

return params.force_encoding("UTF-8").encode!
の行は何がしたいのかよくわかりませんね。
本当は
return params.force_encoding("UTF-16").encode!
とやって、まさに Ruby 2.1 の挙動にしたかったのかな。

結論もなかださんの仰るとおり、
バイナリデータフラグを加えるか、ASCII-8BITで流すかあたりになるんじゃないかと思います。

#8 Updated by Nobuyoshi Nakada over 1 year ago

workaroundが入ったようですが、元々UTF-8ではないバイナリデータが壊れないということは、裏を返せばmalformed UTF-8の攻撃文字列も破棄されないということです。
つまり、脆弱性はそのまま残っているわけなので、何らかの対策が必要であろうことだけは警告しておきます。

Also available in: Atom PDF