カレンダー

« 2008年8月 4日 »12345678910111213141516171819202122232425262728293031

2008年8月 4日アーカイブ

d080804a.jpg
迷惑メール対策。多少は我慢・・・では快適とはいえず

Gmailのスパムフィルターは強力すぎる!?

Gmailに移行してから、Gmailが備えている強力なスパムフィルターに満足していました。

なにしろ一日に受け取る100通以上のメールのうち、ほとんどはスパムメール。
そのスパムメールのほとんどを迷惑メールフォルダに振り分けてくれるわけですから。

Gmailに移行する前は@niftyメールを主に利用していました。
こちらもスパムメールフィルタはかなり強力だと思って利用していましたが、Gmailに移行してから明らかに「受信フォルダ」のスパムメールを削除する機会が減りました。

しばらくこの快適さに満足していましたが、先日、しみじみとGmailの迷惑メールフォルダを見てみると・・・。
スパムでないメールが迷惑メールフォルダに振り分けられています。

「あれ?」

Yahoo!メールなどと比べれば問題にならないくらいに少ないことは少ないですが、それでもあります。
間違ってスパムと判定されてしまっているメールが。。。

そういえば、自分自身がリマインダーとして送ったメールや、会員登録時の仮登録完了メール、パスワード再発行メールなどの短いメールも迷惑メールフォルダに振り分けられてしまっていて、見つからなくて困ったことがありました。

スパムが無いと思って安心していたけど、もしかして必要なメールも迷惑メールフォルダに消えていたんでしょうか??

Gmailのベイジアンスパムフィルター

Gmailのスパムフィルターはベイジアンフィルター型のエンジンを搭載しています。

ベイジアンフィルターの特徴を簡単にいうと、メールの内容に含まれる「スパムっぽい単語」と「スパムでなさそうな単語」の数を数えて、その比率でスパムであるかどうかを判定するというものです。

たとえば、楽天から送られてくるお買い得情報やセールのお知らせなどは、スパムと判定される場合とそうでない場合があります。

スパムと判定された楽天からのニュースメールを見ると、「激安」などの単語が多く含まれていました。
また、楽天メールではありませんが、「宝くじ」という単語が多く含まれているメールもスパムと誤判定されています。

問題は、その人の嗜好や職業によってスパムと判定されるべき単語は違うということです。
「激安」や「無料」という単語がスパムメールで多く使われているからといって、ショッピング好きの人への正規の有益な情報までスパムと判定してしまうわけにはいきません。

短いメールが迷惑メールとして誤判定されてしまうことが多いのも、ベイジアンフィルターの構造上の限界なのかもしれません。

有料の迷惑メールサービスは信頼できる?

最近は多くのプロバイダで、有料(または無料)で迷惑メールフィルタサービスを提供しています。
おそらく皆さんの利用しているプロバイダにもあることでしょう。
それらのサービスはどのくらいの精度があるのでしょうか?
有料サービスの場合、無料のスパムフィルターよりも精度が高いといえるのでしょうか?

各プロバイダの傾向を調べてみると、各プロバイダ独自に「有償の迷惑メールフィルタ」利用者に定期的にアンケートを実施したり、満足度を確認したりしているようです。
つまり迷惑メールフィルタをすでに提供しているプロバイダも、「迷惑メールフィルタサービス」は提供しているが、それらの性能に100%満足しているとは限らないようなのです。

どのプロバイダのスパムフィルターが一番いいの?

各プロバイダのスパムフィルターの性能に差があるのは、各社が採用しているスパム検知エンジンが違うからです。
ならば一番検知精度の高いスパムエンジンを採用しているプロバイダを選べばいいわけですが、プロバイダはそう簡単に変えられません。
メールアドレスやホームページスペースを利用しているなら、プロバイダの乗り換えは更に難しくなります。

BIGLOBEが選んだのはSendmailの迷惑メールフィルタ

BIGLOBEが2005年にモニター調査を行い、満足度の高さから導入に踏み切ったSendmail社のスパム検知エンジンはCloudmarkです。
Cloudmarkのスパム検知エンジンは旧来のベイジアンフィルターではなく、Web2.0時代の「コラボレーション型フィルタ」として期待されているエンジンです。

コラボレーション型フィルタは、ユーザーコミュニティ(158カ国、2000万ユーザー、1600企業、2000社のISP)の判断をベースとしてスパムフィルタを更新していくタイプのフィルタで、従来のフィルタよりも検知精度が圧倒的に高いということです。

BIGLOBEの実施したモニター調査結果では、80%だった満足度が91.3%に上昇。
判定もれ率や誤判定率も33%~50%も改善されました。

Cloudmarkのスパム検知エンジンが誰でも使える

さて、このスパム検知エンジンがどれほどのものか気になりますよね?
しかしそれを確認するだけのためにプロバイダを変えるわけにもいきません。

いったいどうすれば?と思っていたところ、プロバイダを乗り換えずにCloudmakのスパム検知エンジンが体験できるサービスを見つけました。
なんでも、このサービスが日本で唯一、「誰でも」「どこからでも」Cloudmarkのスパムフィルターが使えるサービスなのだそうです。
F-Secureのウィルス検知エンジンも搭載されていて、スパムメール対策とウィルスメール対策の両方が一度にできますね。

年額3,150円の有料サービスですが、1ヶ月の無料試用期間があり、導入するかどうかはじっくり試してからでOKです。

このサービスの無料試用をどこから申し込めば良いか分からず悩みましたが、「登録不要」なのだそうです。
メールソフトの設定を一部変更するだけで試用開始できます。

【無料試用】Cloudmarkのスパム検知エンジン+ウィルス検知エンジン(ANSWRE)

(補足)
Gmailの迷惑メールフィルタの詳細は公表されていませんが「ペイジアン」+「学習型」であるようです。
したがって、Gmailを数ヶ月利用して迷惑メールフィルタを育てた状態で単純にCloudmarkと比較した場合、Gmailのフィルタが優れていると感じるかもしれません。

(検証結果)
実際に試用してみました。
Gmail(既に3ヶ月使用しているため迷惑メールフィルタが成長しています)とCloudmark、両者のスパムフィルターを比較してみました。
一日に受け取るスパムメールが100通を超える環境でのテストで、検証期間はそれぞれ15日間です。
スパムメールには英語・ロシア語・中国語らしき言語のスパムも多く含まれています。

[結果]
・フォールスポジティブ(迷惑メールではないのに迷惑メールとして誤って判定されてしまうもの)
両者同じくらい(すみません。数字がとれませんでした)

・フォールスネガティブ(迷惑メールなのに、通常メールとして判定されてしまうもの)
Gmail 0.8%
Cloudmark 3.0%

[評価]
想定外の結果でした。
今回のテスト環境ではGmailのほうが好成績になることは想定していましたが、フォールスネガティブでこれほど差が出てしまうとは。
また、フォールスポジティブに関しては、キーワードを頼りにしていないはずのCloudmarkが、スパムっぽい単語が多く含まれたメールや、極端に短いメールなどをスパムとして判定してしまうなど、予想外の動作をしていました。

Cloudmarkがフォールスネガティブを起こしたものはロシア語のメールが多く含まれており、もしかしたらロシア語圏のユーザーが少ないのでは?とも考えましたがどうなのでしょうか。


関連リンク
BIGLOBEが選んだSendmailの迷惑メールソリューション(ITmedia)
BIGLOBEのモニター調査結果(BIGLOBE)
コラボレーション型スパムフィルタの仕組み(ThinkIT)


このアーカイブについて

このページには、2008年8月に書かれたブログ記事が新しい順に公開されています。

前のアーカイブは2008年7月30日です。

次のアーカイブは2008年8月 6日です。

最近のコンテンツはインデックスページで見られます。過去に書かれたものはアーカイブのページで見られます。