Project

General

Profile

Actions

Bug #8995

closed

バイナリデータを文字列として encode! すると readbyte の結果が変化する

Added by hsbt (Hiroshi SHIBATA) over 10 years ago. Updated over 10 years ago.

Status:
Third Party's Issue
Assignee:
-
Target version:
ruby -v:
ruby 2.1.0dev (2013-10-07 trunk 43160) [x86_64-darwin12.5.0]
[ruby-dev:47747]

Description

=begin
Rails の以下のコードの結果が 2.0 と 2.1 とで異なるようです。

((<encode_params|URL:https://github.com/rails/rails/blob/3-2-stable/actionpack/lib/action_dispatch/http/parameters.rb#L51>))

以下が最小ケースです。

$ ruby -v
=> ruby 2.1.0dev (2013-10-07 trunk 43160) [x86_64-darwin12.5.0]
$ ruby -rstringio -e "Encoding.default_internal = Encoding::UTF_8; p StringIO.new(File.read('x.jpg')).readbyte"
=> 255
$ ruby -rstringio -e "Encoding.default_internal = Encoding::UTF_8; p StringIO.new(File.read('x.jpg').force_encoding('UTF-8').encode!).readbyte"
=> 239

なお、2.0 ではそれぞれの値が変化しませんでした。

$ ruby -v
=> ruby 2.0.0p326 (2013-10-05 revision 43144) [x86_64-darwin13.0.0]
$ ruby -rstringio -e "Encoding.default_internal = Encoding::UTF_8; p StringIO.new(File.read('x.jpg')).readbyte"
=> 255
$ ruby -rstringio -e "Encoding.default_internal = Encoding::UTF_8; p StringIO.new(File.read('x.jpg').force_encoding('UTF-8').encode!).readbyte"
=> 255

rails の該当箇所は rails4 でも同じ処理を行っているので、このままだと post で画像などを送るともれなく壊れてしまいます。

rails のコードがよくないのか、File.binread を使って読み込んでないのがおかしいなど教えて頂けると嬉しいです。

=end

Updated by nobu (Nobuyoshi Nakada) over 10 years ago

=begin
最小コードはこんな感じですね。
$ ruby -E:UTF-8 -e 'p "\xff".encode.unpack("C*")'
[239, 191, 189]
(({Encoding.default_internal}))をセットしていると、同じエンコーディング同士でも変換が起きているようです。
=end

Updated by hsbt (Hiroshi SHIBATA) over 10 years ago

  • Category set to core
  • Target version set to 2.1.0

Updated by nobu (Nobuyoshi Nakada) over 10 years ago

  • Description updated (diff)

=begin
理由はr40390です。

* transcode.c (str_transcode0): If invalid: :replace is specified for
  String#encode, replace invalid byte sequence even if the destination
  encoding equals to the source encoding.

(({encode_params}))の引数はHTTPで渡ってくるパラメータのようですから、バイナリデータかどうかを判断する手がかりが他にあればともかく、(({valid_encoding}))でなければ(({ASCII-8BIT}))にするくらいしかできないんじゃないでしょうか。
=end

Updated by nobu (Nobuyoshi Nakada) over 10 years ago

  • Status changed from Open to Third Party's Issue

まぁ、そもそもバイナリデータをエンコーディング変換したら壊れるのが当然ですね。

Updated by hsbt (Hiroshi SHIBATA) over 10 years ago

rails の該当箇所は rails 3 リリース時から存在するもので、invalid な utf-8 をパラメータとして渡して攻撃するものを防御するためのコードのようです。いったん、rails 側で何とかできないか考えてきます。

Updated by nobu (Nobuyoshi Nakada) over 10 years ago

同じエンコーディング間では何もしていなかったので、防御にはなっていなかったんじゃないでしょうか。

Updated by naruse (Yui NARUSE) over 10 years ago

なかださんの指摘の通り、

return params.force_encoding("UTF-8").encode!
の行は何がしたいのかよくわかりませんね。
本当は
return params.force_encoding("UTF-16").encode!
とやって、まさに Ruby 2.1 の挙動にしたかったのかな。

結論もなかださんの仰るとおり、
バイナリデータフラグを加えるか、ASCII-8BITで流すかあたりになるんじゃないかと思います。

Updated by nobu (Nobuyoshi Nakada) over 10 years ago

workaroundが入ったようですが、元々UTF-8ではないバイナリデータが壊れないということは、裏を返せばmalformed UTF-8の攻撃文字列も破棄されないということです。
つまり、脆弱性はそのまま残っているわけなので、何らかの対策が必要であろうことだけは警告しておきます。

Actions

Also available in: Atom PDF

Like0
Like0Like0Like0Like0Like0Like0Like0Like0