Bug #6698: MacOSXではDir.globが返すファイル名の内容はUTF8-MACですがencodingがUTF-8になっている

• Status: Rejected
• Assignee: naruse (Yui NARUSE)
• Target version: 1.9.3
• ruby -v: ruby 1.9.3dev (2011-08-02 revision 32803) [x86_64-darwin10.8.0]

[imkira (Mario Freitas)]

=begin
MacOSXでは、「だ」など濁点が含まれているファイル名をDir.globで調べると返ってくるencodingが間違っているようです。

Dir.glob('*.{jpg,png}') do |filename|
puts "#{filename} #{filename.encoding}"
end

「だ」というファイル名はUTF-8というencodingを使った"\u305F\u3099"と返ってきます。

表示的に"\u305F\u3099"を"\u3060"と比較すれば同じものなんですが、それぞれ違うencodingになっているため当然比較は失敗します。

Dir.globが返したfilenameを下記のようにすると正常に比較が出来るようになります。

filename = filename.force_encoding("UTF8-MAC").encode("UTF-8")

これって、Dir.globの不具合ですかそれとも正しい動きですか？
=end

[imkira (Mario Freitas)]

redmineのcode blockを使ってみましたが、表示おかしくなりましたT_T

[sorah (Sorah Fukumori)]

• Description updated (diff)

[sorah (Sorah Fukumori)]

imkira (Mario Freitas) wrote:

redmineのcode blockを使ってみましたが、表示おかしくなりましたT_T

直しておきました。RD のフォーマットを有効にするには =begin, =end で囲う必要があります (RDボタンを押すとそれで全体が囲われるはずです)

[imkira (Mario Freitas)]

ありがとうございました。
こちらの良く使うredmineのバージョンでは、Updateリンクを推してMoreというリンクが出てそこで編集できます。
このredmineのバージョンではMoreというリンクが存在しないので編集しませんでしたT_T

[sorah (Sorah Fukumori)]

• File utf8_mac_for_filesystem_encoding_on_osx.diff utf8_mac_for_filesystem_encoding_on_osx.diff added
• Assignee set to naruse (Yui NARUSE)

仮に不具合として、OS X 環境では UTF8-MAC にするパッチを添付します。

imkira (Mario Freitas) wrote:

このredmineのバージョンではMoreというリンクが存在しないので編集しませんでしたT_T

more は適切な権限がないと見えないみたいですね。

[nobu (Nobuyoshi Nakada)]

=begin
(({NO_LOCALE_CHARMAP}))は(({miniruby}))用に必須なので、その外に条件を追加するのはダメです。
=end

[kosaki (Motohiro KOSAKI)]

OS X じゃないMacはもうサポートしてないしサポートを復活させるのも技術難易度的に不可能だと思うので

#if defined(APPLE) && ( defined(MACH) || defined(DARWIN) )

は APPLE だけでいいと思います。いま grepした感じだと現在のリポジトリで７割ぐらいは__APPLE__だけ、残り３割が__MACH__とのAND条件、process.c に１つだけ旧Macの考慮が残っている感じっぽい

[sorah (Sorah Fukumori)]

• File utf8_mac_for_filesystem_encoding_on_osx2.diff utf8_mac_for_filesystem_encoding_on_osx2.diff added

patch 更新しました

[naruse (Yui NARUSE)]

• Status changed from Open to Rejected

imkira (Mario Freitas) wrote:

MacOSXでは、「だ」など濁点が含まれているファイル名をDir.globで調べると返ってくるencodingが間違っているようです。

Dir.glob('*.{jpg,png}') do |filename|
puts "#{filename} #{filename.encoding}"
end

「だ」というファイル名はUTF-8というencodingを使った"\u305F\u3099"と返ってきます。

これって、Dir.globの不具合ですかそれとも正しい動きですか？

正しい動きです。

Ruby 1.9 当初はまさに imkira さんの期待なさっている通り UTF8-MAC で返していたのですが、
それだと今回の濁点やアクセント記号を含んでいない場合に UTF-8 と異なるせいで色々不便なので、
r23308 にて UTF-8 で返すように変更しました。

ので、これは意図的なので、後述の通り変換してください。

表示的に"\u305F\u3099"を"\u3060"と比較すれば同じものなんですが、それぞれ違うencodingになっているため当然比較は失敗します。

同じエンコーディングでも普通に比較すれば違うものなので失敗するので、どちらにしろ変換しないとダメなのです。

Dir.globが返したfilenameを下記のようにすると正常に比較が出来るようになります。

filename = filename.force_encoding("UTF8-MAC").encode("UTF-8")

ちなみにこれは
filename.encode!("UTF-8", "UTF8-MAC")
と書けます。