携帯サイトの犯行予告は自動検索技術では見つけられず

Asahi.comの携帯サイトの犯行予告、自動検索に技術の壁 秋葉原殺傷の中に、今後の自動検索技術の進むべき方向がはっきり表現されていると思います。

現存の自動検索技術を地図と連動させたり、図書やニュースを検索したり、ブログを別に検索したりなど、いろいろなことが行われています。でもそのベースとなっている文章解析技術がまだまだ全然貧弱です。基本的にはキーワードだけを拾って何が書いてあるかを類推し、それにリンクなどによって重みづけをしているわけですから。

どこかの大学で研究されているかもしれませんが、真に役立つ文章解析技術が生まれてくれば、いままでとは全く別の、とてつもなく便利なインターネット社会になってくると思います。

ちなみにBioinformaticsでは膨大な文献情報を自動的に理解し、整理するための構文解析技術が研究されていますよね。有名な論文がどれかはわかりませんが、Googleをするとこんなものが見つかります。
Annotating protein function through lexical analysis

ページビューの誤差、バイオの買物.comでは20倍

以前のブログエントリーでページビューによるウェブサイト人気比較の問題点を指摘しました。

そのときはまだバイオの買物.comのアクセス数をあまり解析していませんでしたので、その誤差がどれぐらいあるかを書きませんでしたが、さっき計算してみましたので紹介します。

結果:
6月の第1週(平日分)の解析結果では、
ページビューで、Webalizer : Google Analytics = 20 : 1
ビジター数で、Webalizer : Google Analytics = 3 : 1

上の結果は平日だけですが、週末にはページビューでは70倍ぐらいの誤差になります。

最大の原因はロボットによるウェブアクセスです。Yahoo, Google, MSNをはじめ、多数の検索サイトはインターネット中にロボットを走らせ、自動的に各ウェブサイトをくまなく調べているのです。そのアクティビティーは凄まじいものがあります。

そういう問題があることを承知の上で、一応Webalizerの解析結果で計算すると、バイオの買物.comは毎月23万ページビューあることになります。意味の無い数字ですけど、数字だけ見るとなんだか立派に思えます。

広告を募集している世の中のウェブサイトは、どこもページビューの多さをPRしていますが、そのページビューをWebalizer的に計算したのか、それともGoogle Analytics的に計算したのかを示していません。ですから、そのウェブサイトが本当に人気があるのか、それとも単に数字のマジックなのかどうかはわかりません。

でも、そのウェブサイトがセッション数(ビジター数)を公開していれば、ある程度の見当をつける方法があります。

それを解説するために、バイオの買物.comのアクセス解析の中で、ページビューをセッション数で割り算した数字を比較してみます。

  • ビジターあたりの平均閲覧ページ数、Webalizer = 20, Google Analytics = 2.5

なぜこのような差が生まれるかというと、ロボットは短時間で多数のページを閲覧するため、ビジターあたりの平均閲覧ページ数を押し上げる傾向にあります。それに対して顧客が閲覧するときは、興味のある数ページしか見ないことがほとんどなので、だいたいどこのウェブサイトでも5未満の数字になります。

そこで一つの目安として、ビジターあたりの平均閲覧ページ数が5を大きく超えているサイトはWebalizerのような解析ツールを使っていると考えていいと思います。そしてそのような場合はページビュー数自体も一桁ぐらい、ロボットによって水増しされていると考えていいと思います。

そこでもう少し世の中の状況を見るために、日経BPのBiotechnology Japanの資料を見てみました。

アクセス解析結果のことがあまり詳しく書いていないのですが、ヒントになる数字が2つありました。

  • 2006年3月に150万ページビューを突破
  • 月間ユニークブラウザー数 74,244 (2006年3月)

さて、僕はBiotechnology Japanに直接問い合わせた訳ではないので、間違っているかもしれないとあらかじめ断っておきますが、僕がここから読み取るのは以下のことです。

  1. 2006年3月は150万ページビュー、74,244セッション
  2. 単純に割り算すると、平均閲覧ページ数は20.2ページ
  3. 平均閲覧ページ数はバイオの買物.comのWebalizer解析結果とほとんど同じです。したがってBiotechnology JapanはWebalizer的なアクセスログ解析をしたと思われます
  4. Biotechnology Japanの場合は日々のニュースが非常に多く、恐らく数十万ページからなる巨大なウェブサイトになっていると思われます。ロボットはすべてのページを閲覧しようとしますので、そのためロボットによる影響はバイオの買物.com以上と考えていいと思います
  5. したがって、Biotechnology Japanの全体のページビューのうち、9割以上はロボットによると推測できます
  6. 総合すると、人間によるページビューはおおよそ10万と推測されます。残りの140万ページビューはロボットによると思われます

もちろん、僕は本当の数字を知りませんので、全然間違った結論を導いているかもしれません。でも、自分自身が研究者として働いていたときの印象からして、これはそんなに外れた数字ではないんじゃないかなと思います(要するに、研究者はあのウェブサイトをあんまり見ないと思うよという意味)。

4Qアンケート結果のアップデート (2008-05-29)

4Qのアンケートを始めて今日で1週間が経ちます。そこで、中間報告です。

アンケート回答率

予想を大幅に超える回答率が得らました。計算方法はいろいろ難しいところがあるのですが、おそらく3%台の回答率だと思います。回答してくれた皆さん、ありがとうございました。
メルマガを出したりしたときのクリック率(プレゼントとかキャンペーンとかがなければ、1%を割り込むことも珍しくない)、特に英語で出したときの反応の悪さを考えると、これはかなりいい方だと思います。

ひとまずはこのアンケートシステムが有用であると判断し、今後も継続したいと思います。

アンケート結果

全体的な満足度は100点満点中、51点でした。これはもちろん決していい数字ではありません。

その原因は非常に明快でした。ニュースを確認する目的だった訪問者は65点とまぁまぁな点数を付けていたのに対して、製品を比較したり、製品について学びたいと考えていた訪問者は46点と非常に厳しい点数つけていました。

製品を比較するサイトとしてはまだまだという結果になりました。

実際、ニュースを確認する目的で訪問してくれた方は100%が主目的を達成したと述べているのに対して、製品比較等を目的としていた訪問客はわずか40%の方しか主目的を達成できなかったと述べています。

今後は製品を比較するための情報と機能を充実していかなければならないことを痛感しました。

アンケート結果を受けた対策

まずはアンケートを継続したいと思います。ただしアンケート画面の出現頻度を調節します。いままでは50%の訪問者にアンケート画面を出していましたが、今後は20%に減らします。

ウェブサイトそのもののの対策ですが、現在製品比較については、1) コンテンツを増やすこと、2) 製品を絞り込んで比較しやすくすること を中心に対策を進めています。より満足の得られるものになるように努力するとともに、この4Qアンケートを活用しながら、良い方向に進んでいるかどうかをこまめにモニタリングしていきたいと思います。

オンライン広告がTV広告にかなわない訳(そしてかなう必要も無い訳)

Advertising Ageの記事Interactivity Is Not Just for the Internetを読みました。

オンライン広告(サーチ連動広告以外のバナーなど)がまだまだTV広告に遠く及ばないこと、さらにTVのデジタル化の普及に伴いオンライン広告の双方向性がTVでも実現されるようになって、TV広告が再度注目されるようになるだろうと結論しています。

バナーなどのオンライン広告の効果が弱いことを示す事実として、Nielsenの2008 Media Comparison studyを引用し;

  • オンライン広告の影響は強いとしている回答者がわずか5.1%
  • 残りの94.9%はバナー広告を邪魔と感じていること

を取り上げています。

また最近話題を集めているSNSを利用した広告についても、click-throughはひどいとしています。

それに対して、Nikeの”Just do it”など、非常に印象に残る広告は依然としてTV広告だとしています。

さて、僕の感想です。

TV広告と比べれば、バナー広告は非常に弱いだろうというのは、これは当たり前だと思います。もちろん、オンライン広告を過大評価している人もいますが、インターネットのバナー広告をTV広告と比較すること自体に無理があると思います。

バナー広告はコンテンツの脇に置かれるものであるのに対して、TV広告というのは一定時間、画面を独占します。これが決定的な違いです。TV広告は「暴力」と評している人もいますが、まさにその通りです。TV広告はソフトな作りになっていますが、画面を奪い去るという面では「暴力」です。

バナー広告はむしろ新聞広告や雑誌広告に似ています。特にニッチな購読者にマッチングしたコンテンツを用意しているという側面では雑誌広告に近い面があります。それにインタラクティブ性を追加している訳ですから、インターネット広告が雑誌広告を抜くというのはそれほど無理の無いことです。

オンライン広告は影響力の面ではTV広告にはなかなか勝つことはできません。それはそもそも期待するべきではないでしょう。安価に制作できることであるとか、ニッチをしっかりターゲットできることをうまく活かして、新聞や雑誌の広告を参考に、これらをより発展させるという形で進化していくべきだろうと思います。

4Qアンケート結果のアップデート

4Qのアンケート始めてからまだ2日しか経っていませんが、最初の中間報告をします。

回答数そのものは報告しませんが、アンケートが表示された訪問者のうち2%の訪問者がアンケートに答えてくれました。ありがとうございました。
英語のアンケートであることを加味すると、決して低い回答率ではないと思います。回答してくれた訪問客の方にには心より感謝いたします。

ニュースのチェックを目的とした訪問者は目的を果たし、その一方で製品の比較を目的に訪問してくれたお客様は目的が果たせなかったそうです。

もう少しアンケートを継続しようと思います。ご迷惑をおかけしますが、よろしくお願いします。