Bug #4388: open-uriで環境変数http_proxyを使うときに認証付きのProxyが使えません

• Status: Rejected
• Assignee: -
• Target version: -
• ruby -v: -
• Backport: 2.1: UNKNOWN, 2.2: UNKNOWN, 2.3: UNKNOWN

[yalab (あつし よしだ)]

=begin
内容はタイトルのままです。
パッチを添付しますのでよろしくお願いします。
=end

[akr (Akira Tanaka)]

=begin
2011年2月10日14:15 あつし よしだ [e-mail]:

Bug #4388: open-uriで環境変数http_proxyを使うときに認証付きのProxyが使えません
http://redmine.ruby-lang.org/issues/show/4388

内容はタイトルのままです。

マルチユーザ環境において環境変数は他人から見られるものであり、
パスワードを入れるのに適切な場所ではないので、
この変更は受け入れられません。

[田中 哲][たなか あきら][Tanaka Akira]

=end

[yalab (あつし よしだ)]

=begin
環境変数にパスワードを入れるかどうかは使用者の判断と責任ではないでしょうか。
不適切だと言うのであればユーザー名、パスワードのみを無視するのは挙動としておかしくないですか？
「認証があっても無くてもhttp_proxyを無視する」か「ユーザー名がはいっていた場合例外か警告を出す」としたほうが利用者の混乱が少なくなると思います。

=end

[akr (Akira Tanaka)]

=begin
2011年2月11日12:59 あつし よしだ [e-mail]:

チケット #4388 が更新されました。 (by あつし よしだ)

環境変数にパスワードを入れるかどうかは使用者の判断と責任ではないでしょうか。
不適切だと言うのであればユーザー名、パスワードのみを無視するのは挙動としておかしくないですか？

とくにおかしいとは思いません。
http_proxy は URI ですが、query や fragment など他にも無視するところは
たくさんあります。

[田中 哲][たなか あきら][Tanaka Akira]

=end

[sorah (Sorah Fukumori)]

=begin
#ruby-ja @ircnetでも出ていましたが、warningを出力しながらも使用するというのはどうでしょうか。
patchも書きました

2011/2/11 Tanaka Akira [e-mail]:

とくにおかしいとは思いません。
http_proxy は URI ですが、query や fragment など他にも無視するところは
たくさんあります。

--
Shota Fukumori a.k.a. @sora_h - http://codnote.net/

Attachment: open-uri_with_http_proxy2.patch
=end

[matz (Yukihiro Matsumoto)]

=begin
まつもと ゆきひろです

In message "Re: [ruby-dev:43195] Re: [Ruby 1.9-Bug#4388] open-uriで環境変数http_proxyを使うときに認証付きのProxyが使えません"
on Fri, 11 Feb 2011 20:08:51 +0900, Mitsuru Ogino [e-mail] writes:

|Tanaka Akira said the following on 11/02/10 17:00:
|> マルチユーザ環境において環境変数は他人から見られるものであり、
|> パスワードを入れるのに適切な場所ではないので、
|> この変更は受け入れられません。
|
|「環境変数が他人から見られる」というのは OS 依存ではないでしょうか。一部
|の OS でセキュリティが確保されていないからというのも個人としては違和感が
|あります。

「一部のOS」で危険であれば採用しない理由として十分に有効だと
思いますよ。

|いずれにせよユーザとしては環境変数 http_proxy の取扱いは一般的なコマンド
|に倣って欲しいと思うのですが。こういう意見もあるということで。

「一般的なコマンド」では環境変数にパスワードをいれる形でHTTP
プロキシを利用しているのですか。その「一般的なコマンド」の例
を教えていただけませんか？

=end

[akr (Akira Tanaka)]

=begin
2011年2月11日23:08 Mitsuru Ogino [e-mail]:

そういう意見もあるとは思います。なにが危険かというのをライブラリ側が決め
るかユーザが決めるかという問題でもありますが。環境変数が他のユーザに公開
される OS（BSD系？）でも、会社などではローカルユーザにはプロキシサーバの
パスワードを秘密にする必要がないところもあると思います。

危険がない状況が存在する事自体はわかっています。
[ruby-dev:43187] でも「マルチユーザ環境」と書きましたが、
シングルユーザ環境ではまず問題ないでしょう。

しかし、open-uri.rb はそういう状況に限定して使われるものではないので、
サポートしないという方針です。

「一般的なコマンド」では環境変数にパスワードをいれる形でHTTP
プロキシを利用しているのですか。その「一般的なコマンド」の例
を教えていただけませんか？

ググった範囲で申し訳ありませんが、以下のようなコマンドが対応しているよう
です。

他のアプリケーションについては、設定ファイルに記述できることを願っています。

[田中 哲][たなか あきら][Tanaka Akira]

=end

[yalab (あつし よしだ)]

=begin
よしだあつしです。

Rubyのポリシーとして環境変数にパスワードは書いてはいけないということはわかりました。
ただ私が問題だと思ったのはcurlやwgetでは受け入れられているものが
「何も言わずに無視される」点です。
無視するにしてもせめてwarningを出すということは無理なのでしょうか？

On Mon, 14 Feb 2011 13:00:27 +0900
Tanaka Akira [e-mail] wrote:

2011年2月11日23:08 Mitsuru Ogino [e-mail]:

そういう意見もあるとは思います。なにが危険かというのをライブラリ側が決め
るかユーザが決めるかという問題でもありますが。環境変数が他のユーザに公開
される OS（BSD系？）でも、会社などではローカルユーザにはプロキシサーバの
パスワードを秘密にする必要がないところもあると思います。

危険がない状況が存在する事自体はわかっています。
[ruby-dev:43187] でも「マルチユーザ環境」と書きましたが、
シングルユーザ環境ではまず問題ないでしょう。

しかし、open-uri.rb はそういう状況に限定して使われるものではないので、
サポートしないという方針です。

「一般的なコマンド」では環境変数にパスワードをいれる形でHTTP
プロキシを利用しているのですか。その「一般的なコマンド」の例
を教えていただけませんか？

ググった範囲で申し訳ありませんが、以下のようなコマンドが対応しているよう
です。

他のアプリケーションについては、設定ファイルに記述できることを願っています。

[田中 哲][たなか あきら][Tanaka Akira]

--
http://github.com/yalab

よしだあつし [e-mail]
http://ya-lab.org あなたのハートにinject

=end

[akr (Akira Tanaka)]

• ruby -v changed from ruby 1.9.2p136 (2010-12-25 revision 30365) [i686-linux] to -

[akr (Akira Tanaka)]

=begin
2011年2月17日16:13 よしだあつし [e-mail]:

ただ私が問題だと思ったのはcurlやwgetでは受け入れられているものが
「何も言わずに無視される」点です。
無視するにしてもせめてwarningを出すということは無理なのでしょうか？

穏やかに移行するには警告は邪魔なんじゃないですかねぇ。

[田中 哲][たなか あきら][Tanaka Akira]
=end

[yalab (あつし よしだ)]

=begin
もう説得の材料が思いつかないのであきらめます。チケットもクローズしてください。
=end

[sorah (Sorah Fukumori)]

• Status changed from Open to Rejected

[nahi (Hiroshi Nakamura)]

open-uri.rbのproxy auth周りのAPIがイケてない、少なくとも覚えられない、というのも関係していると思います。
汎用的に書こうとするとこんな感じ。
https://github.com/nahi/odrk-http-client/blob/master/sample/sample_open-uri.rb
one-linerで思い出しつつ書くのも至難の業でしょう。田中さんとしてはこれも意図的ですかね？

アクセス先フィルタリングと利用記録のためにproxy auth使ったりする企業もありますから、
APIが覚えられない、汎用的に書きにくい、one-linerで書けないってのは、open-uri.rbの利用シーンを
それなりに制限しそうではあります。

[kosaki (Motohiro KOSAKI)]

• Description updated (diff)

こちら、いままさに私もはまっています。
現代的において認証つきPROXYを使っているのは企業ネットワークで認証つきPROXYを使っており、外に出るのに必要という
状況であり、マルチユーザではつかわないか、もしくは、シェアするのは全員同僚という環境だと思います。
よって、わたしもそうですが、wgetその他を通すために環境変数にパスワードは入れています。他に方法がないので。
デスクトップのwidgetなど含めるとHTTP使うソフトは１００を超えるので設定してられないし、設定ファイルないものも多い。

よって、実質的にはrubyのこの気遣いはセキュリティ向上にほぼ貢献していないと認識しています。

現在、http_proxy, HTTP_PROXYのユーザ、パスワードを無視するのって、rubyとemacsだけですかね。わたしが普段つかう環境だと。
あまりに不便なので（OSにバンドルされてパッケージのどれがRubyで実装されてるかなんて知らんがな）、変更を提案します。

論旨としては

１） セキュリティ的に問題になるのは環境変数に格納した時点であり、環境変数に格納されているパスワードを Ruby が無視したところで
セキュリティはまったく上がっていない。
２） 他のソフトのために、環境変数にパスワードをいれざる得ないので、Rubyの挙動によってユーザーの行動を変える方向に促すことが出来るとは思えない
３） 実運用的には、認証PROXYの内側にいる場合でかつ、マシンを共有するユーザーがuntrustなケースは、２１世紀にはほぼ思いつかない

の３点により、セキュリティが向上しておらず、単に不便を強要するだけに終わっていると思います。
RUBY_PROXY_AUTH_BY_ENV=1 みたいな環境変数で opt-in でもいいですが、たんにFAQが増えるだけじゃないかなあ。

[kosaki (Motohiro KOSAKI)]

いちおうPythonでどうしてるかは調べました。urllib.request.urlopenが同等のようですが、環境変数のパスワードをしっかり
読んでます。だって、それがデファクトだから。
すでにデファクト仕様が決まっちゃってるものに対して、Rubyだけ逆らうのに意味があるとは思えません。

https://github.com/python/cpython/blob/master/Lib/urllib/request.py#L779

[kosaki (Motohiro KOSAKI)]

perlのLWPも環境変数のパスワード使いますね。

perl -MLWP::Simple -e 'getprint "http://www.google.com"'

で、確認。
ソースがとっちらかってて１行でうまくポイントできないけど。

[akr (Akira Tanaka)]

しばたさんがしばらく前に r54432 を入れてましたが、trunk の状態についてはどうですか。

[kosaki (Motohiro KOSAKI)]

あ、ごめんなさい。しばたさんの変更に気づいていませんでした。確認のうえ、返信します。ごめんなさい。

[kosaki (Motohiro KOSAKI)]

実験してみたのですが、まずrubyの./configureの段階で、tool/downloader.rbがhttps接続を使うので、
open_httpのところのhttpsをはじく処理をコメントアウトしないと動きませんでした。

def OpenURI.open_http(buf, target, proxy, options) # :nodoc:
if proxy
proxy_uri, proxy_user, proxy_pass = proxy

raise "Non-HTTP proxy URI: #{proxy_uri}" if proxy_uri.class != URI::HTTP

end

httpsのときは、https_proxy環境変数読むので、URI::HTTPにならない気がするのですが、どういう意図なのでしょうか。

２つ目。環境変数から読むときは入力がURLなのに、URLエンコードを意識していないので、以下のようにしないと動きませんでした。
（たとえば、うちの会社だとproxy_userがメアドなので＠をエンコードしてやらないといけない）

diff --git a/lib/open-uri.rb b/lib/open-uri.rb
index 489b83a..f588455 100644
--- a/lib/open-uri.rb
+++ b/lib/open-uri.rb
@@ -272,6 +272,8 @@ def OpenURI.open_http(buf, target, proxy, options) # :nodoc:
if proxy
unless proxy_user && proxy_pass
proxy_user, proxy_pass = proxy_uri.userinfo.split(':') if proxy_uri.use

•      proxy_user = URI.decode_www_form_component(proxy_user)
  

•      proxy_pass = URI.decode_www_form_component(proxy_pass)
     end
     if proxy_user && proxy_pass
       klass = Net::HTTP::Proxy(proxy_uri.hostname, proxy_uri.port, proxy_user
  

ただ、URI.decode漏れってここ以外にもいっぱいありそうな空気を感じるコードなので、修正がここだけでいいのか不安を感じています。

[shyouhei (Shyouhei Urabe)]

• Related to Feature #12921: Retrieve user and password for proxy from env added