前の10件 | -
163万のブログの相互リンク関係を解析してみた
ウェブ文書のリンク解析では標準的な手法であるPage RankやHITSを実際のブログに適用してみた。ブログではSPAMブログやアフィリエート目的のブログなどが実は非常に大量に存在し良質なクチコミを見つけるのが困難になっている。こういったブログは検索されることを目的に作成されているので巧妙にSEOを駆使し検索エンジンにも引っかかり易くなっている。リンク関係を基にウェブ文書の重要度を計算するPage RankやHITSがこれらのページに対して果たしてどのように機能するのか?
対象としたブログは2006年から2010年2月までの間に書かれたブログ記事の中から無作為に１／３程度抽出し、本文中にリンクのあるブログだけをさらに抽出したもの。その総数は 1,633,144個のブログ。ブログ間のリンク関係は次のリンク行列により表現する。リンク行列 A は、次のように定義。
有名なPage Rankは実は行列のAの最大固有ベクトルとして求められる。
HITSはKeinbergの提唱した概念で重要度をAuthorityとHubの二つに分解してとらえる。Authorityは多くのブログからリンクを張られている程高い数値を持つ。つまり権威度。一方、Hubは多くのAuthorityブログへのリンクを持つほど高い数値を持つ。こちらはハブと訳されることが多いが、権威あるブログをたくさん知っているという物知り度。AuthorityとHubは双対的な概念である。つまりAuthority度が高いブログへのリンクを持っているとHub度は高くなり、逆にHub度の高いブログからリンクされているとAuthority度も高くなる。Authority度は 行列 A'Aの最大固有ベクトルとして、Hub度は行列 AA'の最大固有ベクトルとして求められる。ちなみに A' は行列 A の転置行列を表す。
さて、A'A や AA' は何を表すのか。Aのj番目の列ベクトルがブログ j にリンクするブログを表現していることを考えると、A'A は参照元の相関を表してる。つまり A'A の第ij成分はブログ i とブログ j にそれぞれリンクを張っているブログ集合がどれくらい重なるか、正確には重なっているブログの個数を表している。同様に、AA'の第ij成分はブログ i とブログ j がそれぞれリンクを張っている先がどれくらい似ているか（重なっているブログの個数）を表している。
では、実際にAuthority度を計算してみよう。ここではMatlabを使った。Matlabはインタラクティブな科学技術計算ツールである。SPSSのようなライブラリではないのでプログラムを書く必要もなく、用意された関数を呼ぶだけでいろんな数学的問題が解ける。大規模行列の扱いも可能。今回の計算ではスパース行列を扱えるSVD（特異値分解）関数を使った。結果は以下のとおりである。
Authority度の大きい順に上からいくつかリストした。ニュースサイトが上位に来るのは、いろんなブロガーが引用するから当然。２チャンネル系もまあそんなもんだろう。それ以外を見ているとブロガー達の中で影響力のあるブロガーが見える。すなわち、小飼 弾氏、百式管理人氏、池田信夫氏、金子順氏、などなど。
どのサイトが権威があるかなど主観的なものなので一般にAuthority度に正解はない。ただ、自分が権威と思うものがこのリストにあるか、リスト中にある自分の知らないサイトがよく見ると重要なものと思えるか、などでHITSのauthority度の妥当性はそれなりに評価できる。
みなさんの評価はいかがだろうか。
ScamVilleは日本にあるか？
ScamVilleとは何かは前記事を参照のこと。
同じ現象が日本で、モバゲーやグリーで、起きているのかのか思ったらどうやらなさそうである。その理由は課金構造にある。
タイミング良くモバイルSNSの仮想通貨の比較に関する記事があった。
これによると、モバゲーの場合、現金以外でゲーム通貨を得る手段は
- 友達紹介
- スポンサーサイト登録
の二つ。Lead-gen Scamにつながりそうな「スポンサーサイト登録」はモバゲーが仕切っているのでゲーム開発会社が勝手にやることはできない、という構造になっている。
グリーになると、
- 友達紹介
しかない。しかも現金で買う場合はキャリア課金。
これではScamVilleの出る可能性は極めて低い。
ScamVille [出来事]
Internet業界で大きな影響力をもつTechCrunchの創業者 Michael Arringtonが2009年10月末に、Facebook,Zynga、及び一部の広告会社等のソーシャルゲームに関係する会社を、悪質な詐欺広告（Lead-Gen Scam）で消費者に多大な被害を与えているとして告発した。
このキャンペーンにArringtonがつけた名前がZyngaのヒットゲームFarmVilleをもじった ScamVille。Time MagazineやNewsweekも取り上げるほどに反響は大きく、FacebookやZyngaもアプリ内広告の基準を厳しく見直す結果となった。
ではそもそも Lead-Gen SCAMとは何か
Lead-Generation Advertisementから派生した詐欺広告である。Lead-Generation Advertisementとは
- Lead(見込み客)を獲得（generation）するための広告
- アフィリエイト広告との違いは、自社サイト以外から見込み客情報を取得することが出来るという点
である。具体的には以下の通り
インターネット上で（1）見積依頼や（2）セールスの連絡を受けることに同意している人の連絡先情報などを、その取得した実数に応じて、広告主から広告会社に支払われる広告費用で、（自社サイト経由だけではなく）、クレジットカード等の申込フォーム記入時や、アンケートサイトや、懸賞サイト、会員登録サイト等、（自社のサイト以外の場所から）取得する場合もある (CNET 米国で急成長する「Lead Generation 広告」とは)
Lead-Gen広告はソーシャルゲームのマネタイズ手法としてアメリカでは結構普及している。ユーザからすると自分のお金を使わずにゲーム通貨を入手できるわけだから使わない手はない。だがそこに罠が仕掛けられていた。
例1（Tattoo Media社が開発し、Offerpal, SuperRewards社等がゲーム会社に提供）
- アンケートに答えるとゲーム通貨がもらえるというオファー
- 4つの簡単な質問に答えると（答えはどうでもいい）
- 最後に結果を送るためと称して携帯の番号とPINコードの入力を求められる
- このとき実は$9.99/monthの契約に同意したことになっているという詐欺
例2（Video Professor社が提供し、Offerpal, SuperRewards社等がゲーム会社に提供）
- Video Professor社のフリーの学習用CDにサインナップするとゲーム通貨がもらえるというオファー
- $10の配送料以外は負担なしと告げられる
- しかしよく見ると別のページに、実はフルセットのCDが配送され、送り返さない限り$189.95で買うことになると書いてある
- たいていの場合ユーザは勝ったつもりがないので送り返さないという詐欺
TechCrunchはScamVilleで何を問題提起したのか
SNS会社, Social Game会社, 広告会社が一体となったエコシステムがLead-Gen SCAMを助長し、ユーザに多大な被害を与えているという構造を告発した。
- ゲーム会社は売上優先してLGSを黙認している
- Zyngaの売上 $250Mの1/3はLGA、その中のかなりがLGAではないかと言われている
- SNSもゲーム会社からの広告出稿を優先してユーザの被害に目を瞑っている
- ZyngaがFacebookに払う広告費 $50 mil/year（原資の一部はLGS）
- 結果的にLGAに関して慎重な良心的ゲーム会社がFacebookの中で露出が低くなっている
- 同様に優良な広告主が離れていくという影響も懸念
Michael Arrington氏はインターネット業界では大きな影響力を持つ。告発開始とともに各方面が動き出した。以下のその経緯。詳しくはTechCrunchでScamVilleというキーワードを検索すると良い。
- 09年10月頃より、TechCrunch上でMichael Arringtonが批判記事を連続投稿（計22記事）
- 11月始め、Zynga CEO Pincusは事実を認め対処すると表明
- 同じ頃、Offerpal CEOはArringtonをshit, doubleshit, bullshitと罵しる
- RockYou (Widgetメーカ)がoffer広告からLGAを排除
- Myspaceがアプリ開発者向けの規約をLGA排除に向けてより厳しいものに改訂
- Offerpal CEO Anu Shuklaが解任される
- FacebookもLGA規制を強化と表明
- Offerpal新CEOが過去の誤りを認め改善を約束
- Zynga CEO Pincusがかなり以前から儲け優先で汚い手段を使ってきたと語る講演ビデオが出回る
- Time Magazineがこの問題を取り上げる
- Newsweekも取り上げる
- Zyngaの新ゲームFishVilleがFacebook規約違反でペナルティボックス(off-line)入り
- ZyngaがLGA(売上の1/3)を当面やらないことを表明
- FishVilleがペナルティボックスから出て再びオンラインに
- サンフランシスコの弁護士事務所がFacebook, Myspace, Zyngaに対する訴訟を検討
- 2010年1月Offerpalは厳選されたLGAをZyngaに提供再開
10月30日から始まって2ヵ月くらいに様々なことが起きたものだ。結果、LGA広告への登録と引き替えにゲーム通貨を得るというスキームはユーザとゲームメーカーにとって捨てがたい仕組みであり、なくなるはずはないが、世間の目はより厳しくなり、より厳しい自主規制が求められることになった。
ScamVilleのキャンペーンでZyngaのイメージはずいぶんと痛んだかに見えるが、そうでもないらしい。実際最近数ヶ月の間にはZyngaはメジャークラスとの提携を次々と発表している。一つは、iPhone/iPad (Apple)のアプリストアへの参入、二番目はYahoo!Game (Yahoo!US)との提携、そして三番目はGoogleからの出資（とおそらく業務提携)。さらに最近ソフトバンクも投資をしている。
Zyngaはただのゲーム屋以上の存在となるのか。
日本のネットテレビを決めている人たち
Google TVが気になる。
なんだか黒船のイメージにダブる。
テレビは電波という国ごとに利用方法を決めているものを使う以上非常に地域性の強いものだ。放送という公共性の強いサービスでは市場任せというわけにいかないので当然国がロードマップを引いて業界をリードする。
放送はこれで良かったが、インターネットはこれと異なる生命原理を持っている。インターネットには国に相当する頭がない。分散ネットワーク化された個が知識を交換し合う中で徐々に進化する。
だからネットテレビは難しい。魚が鳥に恋するような話でもある。成就は難しい。
日本ではネットテレビについて国と業界が「協同」で議論してきた。頭の整理を兼ねて関係団体を並べてみる。
- 総務省
通信と放送の担当省。国がかかわるべきは関わり、民に任せた方が良いところは任せる、という方針か
- 総務省：報通信審議会
- 総務大臣の諮問に応じて、情報の電磁的流通及び電波の利用に関する政策に関する重要事項を調査審議し、総務大臣に意見を述べること、云々が仕事
- 民主主義における賢い「民の声」機関であり、政策の基本方針を与える
- 下書きは官僚が書いているかも
- 電波産業会（ARIB）
- 電波利用の一層の飛躍的な発展を図るため、通信・放送分野における新たな電波利用システムの研究開発や技術基準の国際統一化等を推進するとともに、国際化の進展や通信と放送の融合化、電波を用いたビジネスの振興を趣旨として設立された公益法人
- 国の政策の実施部隊
- デジタル放送のベースの部分の放送規格を制定などの公的な実務を担っている
- デジタルテレビ情報化研究会
- 2003年4月に設立された任意団体（？）
- 目的に曰く「デファクト・スタンダードとなりうるデジタルテレビの通信機能を検討して行くことで、サービスを利用するためのより良い環境整備を図り、デジタルテレビを活用したサービス全体の充実と普及に貢献します」
- 2003年10月に「ネットTV端末仕様書1.0版」等が、最新では2008年7月に「デジタルテレビネットワーク機能仕様書」やVODサービス仕様が公開されており、「acTVila；アクトビラ」サービスがこれに基づいて開始
- デジタルテレビのネットを利用したサービスの規格はそれ用のHTMLやブラウザのスペック含め、ここが定めた
- IPサービスプロジェクト（IPSP）
- 通信事業者並びに家電メーカーのグループが主として閉域網でのIPTVサービスの仕様検討及び作成を目的として結成した団体
- デジタル放送をインターネットIP再送信するサービス仕様を軸に検討
- IPTVフォーラム
- 2006年10月に総務省の声がけで設立
- 放送事業者、通信事業者（役務放送事業者）、家電メーカーなどによって「放送番組その他コンテンツをIP配信する際の受信機開発等に必要な技術要件や、運用に関わるルールについて、利用者の利便性、受信機開発のフィージビリティや市場競争力、配信されるコンテンツの製作者・権利者の事情等に配意しつつ、関係者間の意見交換を実施する場
- 短く言うとサービスごとに固まっていた各種活動を統合する場
- フォーラム設立後は、国内におけるIPTVサービスの技術基準や運営ルールはこの場での議論、合意を軸として進められており、IPTVフォーラムは、2008年6月に有限責任中間法人IPTVフォーラムとして新たな活動を開始している
（NICTのよくまとまった記事を参考にさせたいただきました。）
地デジのIP再送信のような話はこういう体制で結果が出たようであるが、ネットサービスについてはなんなのだろうかと疑問が残る。インターネットというのは例えていうと大海で日々技術的にもビジネス的も変化している。ネットテレビはこの荒々しい大海航海用の仕様でなくてはならないのに、川一本でつながった塩水湖仕様のボートしか今日本にはない。
twitterな日本
facebookとtwitterの勢いが素晴らしい。
両社を比べればfacebookが圧倒的に優勢なのだが日本市場だけに限るとこれが真逆なのはどうしたわけだ？
Google trends websitesを見るとそれが明白。
日本を除く国ではほとんどがfacebook優位。なぜかBrazilでは両社互角。
140文字文化というのは日本にあっているのか。
オプト－アウト！ [語る]
Google Opt Out Feature Lets Users Protect Privacy By Moving To Remote Village
Google オプト・アウト ビレッジ： 秀逸なパロディビデオです。
Googleは検索履歴、gmail、カレンダー、Youtubeなどなど、ユーザの様々な利用履歴データを収集していますが、そのプライバシー保護の基本的なスタンスはオプト・アウトです。つまり「いやならやめていいですよ」。
じゃあ、やめたらどうなるか、それがビデオの物語。
現代では、インターネットのウェブサイトを利用する際に、利用履歴がサイト側に残り、そのデータが後日別の商品・サービスのお薦めや、利用者に合った広告の配信や、外部のマーケティング会社へ提供されることなどが可能だが、プライバシー保護上問題もあるので、利用者の了解をとらなくてはならないという業界ルールがある。この了解をとる順番に二つある。
- オプト・アウト
- オプト・イン
オプト・アウトとは平たく言うと「いやならやめていい」と言うこと。
これに対してオプト・インとは「使う前にちゃんと確認してください」という方式。
大雑把に言うと、プライバシー保護上あまりクリティカルでない場合は、一々確認しないで利用者にサービスを提供し、オプト・アウトにより、いつでもやめられるようにしておく。そうじゃない場合は、使う前に利用者にちゃんと中身を認識してもらうというオプト・イン方式と言うように使い分けられています。
個人の趣味嗜好を分析して云々、というサービスほど利用履歴データをたっぷり収集・活用しているので、利用する際には「オプト・イン」、「オプト・アウト」といったことはちゃんと確認すべき。ホテルに泊まったら非常口の場所を確認しておくように。
ブログタイトル変えました [ご挨拶]
自己都合により長らく休眠中だった Web2.0 Salonを自己都合により再開します。
ただ今更 Web2.0はないので、新たなタイトルに改題しました。デザインも変えました。
伊坂幸太郎氏の小説「モダンタイムス」からアイディアをもらいました。「モダン・タイムズ」
この小説はチャップリンの「モダンタイムス」のモティーフをそのままに、舞台をネットの普及した近未来社会に移して伊坂氏が小説化したものです。なかなかおもしろい小説です。いつも通りセリフもなかなかシャープです。
このブログではネットの素晴らしい新サービスと、同時に、もやもやとした問題や課題などについて書き綴ってゆく予定です。
流行キーワードの寿命は何日か？ [語る]
GoogleやYahooで最近よく検索される言葉やブログでよく語られる言葉は最近流行っている言葉、つまり流行キーワード、と考えられます。この流行キーワードはどれくらいの期間、「流行」しているのか、それを調べてみました。
方法はブログキーワードビジュアライザーがブログから抽出した固有表現のトップ500位までを「流行していること」の定義とし、トップ500に留まっている期間を流行キーワードの「寿命」と定義します。
答えは、実は計測期間で当然変わってきます。５月１９日を終端に過去30日間、６０日間、９０日間、１２０日間、と４つの期間にわたって計測してみました。すると30日だと３．２日、60日だと３．６２、90日だと３．９３、120日だと４．２５日となります。これは計測期間が長いと長寿キーワードが出てきて平均寿命を上げるためですが、長寿にも限界があるのでだいたい５～７日の間に平均寿命は収まると思います。昔から言う「人の噂も７日まで」という諺とほぼ同じですね。ちなみに寿命が７日以内の流行キーワードは全体のなんと90%になります。ほとんどのキーワードは短命です。
もちろん計測時期によってもこの数字は変わってくることが考えられます。そこで2008年8月31日を終端に同じ４期間で計測してみました。そのときの結果は、4.01、4.68、5.02、5.37、となりました。約88%が寿命7日以内でした。
やはり「７日まで」という経験則は成り立っているようです。
しかし、この結果は口コミから未来の流行を予測するという野心を持っている人にはおもしろくないかもしれません。なぜならキーワードの大半はバブルのように現れては消えるだけなのですから。
でもしかしまだ残り10％があります。この中に未来の流行が潜んでいるかもしれません。この中で2週間を超えて残るキーワードはさらに減って3週間を超えるものは、、、とやっていく確実に答えが見るかるような気がしますが、残念ながら多くの場合、絞り込んでも何も発見がありません。これは方法が悪いというよりは長続きする流行というのはそうそうないということなのではないかと思います。
こういう話をするときによく口コミから大流行につながったビリーズブートキャンプが引き合いに出されます。確かにこれはブログの中で話題になる頻度が指数的に拡大していく「美しい」流行曲線を描いていました。こういうものを早く見つけたいわけですが、このレベルの流行がどれくらいの頻度で起こる現象なのかは誰も調べたことがありません。流行のマグニチュードと発生頻度のような統計を作らなくては！
Dr. T
方法はブログキーワードビジュアライザーがブログから抽出した固有表現のトップ500位までを「流行していること」の定義とし、トップ500に留まっている期間を流行キーワードの「寿命」と定義します。
答えは、実は計測期間で当然変わってきます。５月１９日を終端に過去30日間、６０日間、９０日間、１２０日間、と４つの期間にわたって計測してみました。すると30日だと３．２日、60日だと３．６２、90日だと３．９３、120日だと４．２５日となります。これは計測期間が長いと長寿キーワードが出てきて平均寿命を上げるためですが、長寿にも限界があるのでだいたい５～７日の間に平均寿命は収まると思います。昔から言う「人の噂も７日まで」という諺とほぼ同じですね。ちなみに寿命が７日以内の流行キーワードは全体のなんと90%になります。ほとんどのキーワードは短命です。
もちろん計測時期によってもこの数字は変わってくることが考えられます。そこで2008年8月31日を終端に同じ４期間で計測してみました。そのときの結果は、4.01、4.68、5.02、5.37、となりました。約88%が寿命7日以内でした。
やはり「７日まで」という経験則は成り立っているようです。
しかし、この結果は口コミから未来の流行を予測するという野心を持っている人にはおもしろくないかもしれません。なぜならキーワードの大半はバブルのように現れては消えるだけなのですから。
でもしかしまだ残り10％があります。この中に未来の流行が潜んでいるかもしれません。この中で2週間を超えて残るキーワードはさらに減って3週間を超えるものは、、、とやっていく確実に答えが見るかるような気がしますが、残念ながら多くの場合、絞り込んでも何も発見がありません。これは方法が悪いというよりは長続きする流行というのはそうそうないということなのではないかと思います。
こういう話をするときによく口コミから大流行につながったビリーズブートキャンプが引き合いに出されます。確かにこれはブログの中で話題になる頻度が指数的に拡大していく「美しい」流行曲線を描いていました。こういうものを早く見つけたいわけですが、このレベルの流行がどれくらいの頻度で起こる現象なのかは誰も調べたことがありません。流行のマグニチュードと発生頻度のような統計を作らなくては！
Dr. T
Britain's Got Talent と YouTube [出来事]
先日、テレビでイギリスのテレビ番組 Britain's Got Talentのことを紹介していました。いわゆるアイドル誕生のような素人参加型の芸人誕生番組です。（やはりイギリスには才能が埋もれてるのか）思わず息をするのをわすれてしまうようなパフォーマンスをするような人がたまに現れるようです。これだけならどこの国にでもある話でローカルな話題にしかならないのですが、YouTubeに話題の映像がアップされると状況は一気に世界的な現象に変わります。以下の3人のパフォーマンスはそれぞれYouTubeの再生回数が5000万回！前後に達しました。
Susan Boyleさん
Paul Pottsさん
Connie Talbotちゃん
演技者と審査員と観客のやりとりの妙というのがあって、この辺はやはりテレビの演出はさすがだなと思わせます。でもしかしYouTubeによる二次流通効果というのは絶大な力がありますね。そのうち日本にも翻案された番組が登場するかもしれませんが、果たして日本のテレビ局はその映像をYouTubeにアップするという決断ができるかどうか、見物です。
Dr. T
Susan Boyleさん
Paul Pottsさん
Connie Talbotちゃん
演技者と審査員と観客のやりとりの妙というのがあって、この辺はやはりテレビの演出はさすがだなと思わせます。でもしかしYouTubeによる二次流通効果というのは絶大な力がありますね。そのうち日本にも翻案された番組が登場するかもしれませんが、果たして日本のテレビ局はその映像をYouTubeにアップするという決断ができるかどうか、見物です。
Dr. T
前の10件 | -
