youtube

この動画共有サイトの膨大なトラフィックはどのような仕組みで成り立っているのか、
ちょっと興味引かれたのでメモ。

YouTubeの基礎データ
　ページビュー：2億件/日
　ビデオ閲覧数：5000万件/日
　ビデオ投稿数：3万5000本/日
　ユニークユーザー：600万人/日　（12月：300万人/日）
　転送量：200テラバイト/日
　回線コスト：月100万ドル（1億2000万円程度）？

やはり何か特殊な技術（ライブストリーミングに置けるIPマルチキャストのような）を使っているわけでもなく、
単純に膨大なトラフィックを支える為に太い回線を引いているみたいで、回線コストがでかい。
アメリカの回線事情は知らないが動画をサーバークライアント形式で配信するには、
まだまだコストは安いとは言えないのが現状のようだ。
日本で同じ事をしようと思ったら、バックボーンとか無視して単純計算で
1G回線を100本ぐらいで30万x100で3000万円/月ぐらいか。
現状広告無しで収入は全く0にもかかわらず、
著作権違反で提訴されるリスクや毎月億以上の出費をしながら
日々増大するトラフィックに対応しているのは中々の度胸が必要。
逆に言えば、なかなか他がやれないその大盤振る舞いがあってこそ
現在の動画配信サイトとしての知名度（ブランド）があるわけで、数億の出費で、
将来の膨大な広告収入が見込めるとなれば安い物なのか。
まあ著作権の管理があまりにも杜撰すぎるのでNapsterみたいになる危惧もあるが、
日本の2chみたく運営者が持ちこたえて上手く立ち回れば、意外と上手くいくのかもしれない。
詰まる所、運営者一人の器次第で、両極端どちらの結果に転ぶのか大きく変わる。
まさに博打。良い意味でも悪い意味でもベンチャー的で面白い。

参考：
http://d.hatena.ne.jp/umedamochio/20060628/p1

MacOSXサーバーとAjax

最近はサイト構築用の情報はあまり調べていなかったが、
Ajaxと言う技術にちょっと驚かされた。

技術自体は別に目新しいものでは無く、javascriptのhttp通信を使って、
ページを再読み込みする事なくページの表示を更新する仕組み。
有名なのは、Googleマップ
http通信なので、データの取得先はcgiやphpになり、
実際のデータの作成はそれらのスクリプトが行う。
ここでの注目は、ページ遷移無しで表示の書き換えが出来る事。
今まではフォームを入力してサブミットボタンを押して、
再転送／レンダリング待ちの「間」が空いたがそれが無くなる。
業務用の定型処理のアプリ程度であればVBから
ブラウザベースの物に十分置き換えが出来る事だろう。

また、もう一つ気になるのが、
東京大学やあおぞら銀行など、官公庁ではクライアント端末をMacOSXに移し始めた事。
最初は、winnyに嫌気でもさしたのかと思っていたが、
OSXサーバーとOSXクライアントで構成するネットワークにはWindowsと比べ、
メリットが多くある事を知った。
まず安い。クライアント無制限、OS、サーバー機器込みで35万円程。
Windowsの場合、OSのみ5クライアントライセンス込みで10万程。
Windowsはクライアントが増えれば増える程高くなるライセンス。
MacOSXサーバーにはネットブートと言う機能があり、
クライアントはサーバーのディスクスペースのクローンで立ち上がる。
つまり、クライアントの端末にソフトを実装せず、すべてサーバーが管理する形になる。
なので、某ミツイワの様な引っ越し作業は必要なくなる。
どの端末からでも、ユーザーIDを打ち込めばその環境を丸々呼び出す事ができるからだ。
また、サーバーにてソフトを更新すれば全てのユーザーのソフトも更新される。
今まで、何台もクライアントがあった場合それぞれのソフトを更新するため、
膨大な手間がかかったが、全く必要無くなる。
ソフトの規制についてもサーバ側で使用許可／不許可を一つ一つ設定できる。
うーん、今までWindowsネットワークで無駄だったり不便な部分が全て解消されている。

Windowsで変なデスクトップマネージャとかこっそりインストールしている方々には不評だろうが、
ネットワーク管理者の視点からは現時点では最も優れた選択肢だろう。
だが、ここで一点問題があるとすれば、VB等でカスタムで作成した業務アプリだろう。
ほとんどの企業では、Windowsの技術で作成された物を使用していると思われる。

だが、ここで先ほどのAjaxで作成されたブラウザベースの物に業務アプリを移行すれば、
今後、WindowsでもMacでもあるいはモバイル端末やUNIX、カスタムLINUXなどでも憂いは無い。

僕は、Windowsの業務部門でのシェアは確実に下がると思う。
マイクロソフトが慢心してライセンスをこねくり回して錬金術に励んでいる間に、
よりシンプルで使い易くリーズナブルな環境がでてきているからだ。
今はまだ世間では、はぁ?MacOS？程度の認識だろうが、いずれ改める必要があるだろう。
OSXとオープンソースの組み合わせで、今のうちにシステム屋を始めれば手堅く儲かりそうだ。
日本でもAppleの株があれば買ったのに。それだけが残念。

Yahooサーチ仕様変更

10/3からヤフーが、ディレクトリの上位表示を止めて、
全てロボットサーチの結果が表示されるようになった。
むかーし、ビジネスエクスプレスで金払って登録したが、
全く意味が無くなった。
ヤフーディレクトリ経由での客も多かっただけに、
ヤフーの突然の仕様変更により営業的に不利益を被った形だ。

ロボット型の場合、上位表示される10〜20サイトにアクセスが集中する。
前のディレクトリ型の方が、企業や商品の公式ページを探す事ができて便利で、
それゆえグーグルとの住み分けができていたのに、
今回の仕様変更は改悪としか思えない。

某きつね先生は、YST仕様変更であるキーワードで19位表示なので、
逆にアクセス数がのびているでは無いだろうか。
今度たかりに行こう。

jpドメインのwhois

whoisサーバーが、jpnicからjprsに移った。
whoisコマンドでjpドメインを確認する場合には、

whois -h whois.jprs.jp ドメイン

各種携帯端末エミュレータ

・WEBコンテンツの確認用
i-mode
http://www.nttdocomo.co.jp/mc-user/i/flash/tool.html
ez-web
http://developer.openwave.com/ja/
vodaphone
http://www.919search.com/search/main/simu_edit.html

・携帯javaエミュ
DoCoMo
http://www.nttdocomo.co.jp/p_s/imode/java/tool.html
au
http://www.au.kddi.com/ezfactory/tec/spec/ezplus_kit.html
Vodaphone
http://www.dp.j-phone.com/dp/

DNSが使えない場合の名前解決

ローカルに置いてあるサーバーに対してドメイン名でアクセスしたいが、
ルーターがLAN側からのグローバルアドレスアクセスを許可しない場合、
各クライアントにてhostsを設定することで解決できる。

WindowsXPの場合、
\WIndows\system32\drivers\etc\hosts
をテキストエディタで開き、ドメイン名とＩＰを記載する。

キャリア毎のWEB機能の違い

DoCoMo
言語：HTML
画像：gif
機種特定情報：固有ID（ユーザー任意）

au
言語：HDML/XHTML(ただしHTML変換ゲートウェイ有)
画像：png(ゲートウェイによりHTML上の画像は変換される)
機種特定情報：$ENV{'HTTP_X_UP_SUBNO'}

Vodafone
言語：MML　（ただし、HTMLをMMLに翻訳するゲートウェイを使用しているためHTMLで問題無い)
画像:
機種特定情報：固有ID（ユーザー任意）

なお、一時期騒がれたクローン携帯の作り方は原理は簡単で、
携帯のフラッシュメモリの固有IDを書き換えることで可能らしい。
チップ固定の場合はチップの内容をフラッシュメモリに写し、書き換えて配線する。
なんだかmodチップを思い出した。

Cookieは使えない事を前提にした方が良い。

駒でクリックコストが凄い勢いで増えた件

日曜の段階での登録パートナ数:600
クリック数:10000超
Cost Per Click 5円

アクセスアナライザを見ると、トップページだけアクセス数が増えて、他のページは全然増えていない。
グーグルのキーワードでトップに出てくるアフィリエイターサイトには直接交渉してみて、
そこ経由で何件か問い合わせが来ているが、それ以外のクリックはほとんど
自己クリかと邪推するぐらい効果無し。
初日のCPC設定の失敗が痛かった。
25日まではCPC5円の設定が変更にならない。
まだ3日でほとんど効果の無い広告に対して6万円以上の出費が確定しており、
今後も出費の増加が止まらないと厳しい状況になる。

対策を確認するため駒のサポートに電話。
概要は
・バナーを削除すればクリック数が増える事が無くなる
・CPC金額の反映日数は変更できないので、バナーの再掲は25日まで待つこと
との事。
どうにか大丈夫そう。

リンクを張るだけで金を取る試み

ホテルへのリンク表示は年額で有料化にすることを思いつく。
SEOが上手い具合に効いている、今だけの商売になってしまうかもしれないが、
ある程度のアクセス数(1600ユニーク/day)を稼いでいるのと
ユーザーがホテルサイトを直接見に行って予約したら、全く金にならないので
ホテル業者からは広告手数料を取っても良いだろうと思う。

今まで情報の変更依頼は色々なところから来ていたが
正直、ボランティアは面倒臭いのでほとんど無視してきた。
だが有料でやる場合には責任が出来るので動かなければ詐欺になる。

こう思いついたのも、元はと言えば、ホテルサイトが、
グーグルではスパムフィルタに引っかかって、補足結果としてしか検索されなくなってしまった事。
Yahooでは金払って登録しているので、フィルタされることは無いだろう。

ストイックに検索性の向上を目指して、
CGIでの情報ページはAmazonなどの大手以外はフィルタされ、
窓口も公開されていないgoogleよりか、
フィルタされても窓口に文句を言いやすいヤフーの方が好きになった。

登録するだけで金を取るようになったヤフーは最初はクソだと思ったが、
金を払うことで検索結果への反映の問題を解決可能なヤフーの方が、
ころころアルゴリスムを変えたあげく、フィルタに引っかかったら解除する方法すら提示しない
googleよりか全然安心できる。
※クリック単価の発生するアドワーズで一応解決可能だが、コストパフォーマンス悪すぎ。

と言うことで、インターネットの情報を広告とする商売の観点からすると、
単なるリンクとは言え、無料だが当てにできない善意(?)よりは、
有料でもコントロール可能な方が需要もあるだろうと言うこと。

QRコード

http://www6.oita-press.co.jp/

で作ってみる。
なぜか結果の画像を保存できないので、PrintScreenでペイントに貼り付け、GIFで保存する。
Windows標準のペイントがいつの間にかGIF保存に対応していた。
ホテルサイトのトップに貼り付けてみる。

さくらの専用サーバーって・・・

さくらの専用サーバー
CPUがEfficeonって何？

メビウス・ムラマサ
激しくこれの予感。
確かにノーパソなら、UPS要らないし省スペース静音でディスプレイもキーボードもついていて、低価格。
ムラマサならクレードルに突っ込んで簡単にバックアップとることも出来るけど。

なんだかなぁ。

YSTスパムフィルタとインデックスファイルサイズ

ホテルの情報詳細ページがYSTとMSNの両方からほとんど削除されてしまった。
何かスパムに認定される要因があったらしい。
考えられる原因として、カレンダー表示部における○で日付別にCGIにリンクを貼っているのが、密接した同じキーワードでほぼ同じ内容のページへリンクしているのがスパムリンク認定になった臭い。
とりあえずそういう感じで仮定し、リンクはjavascriptに変更しておく。
Inktomi系(特にYST)はスコアリングのアルゴリスムがヘボい分、スパムフィルタが強力に出来ているらしいので、もしかしたらもう二度と同じアドレスではインデックスに登録されないかも知れない。。。鬱だ。

今までGoogleに全く見向きもされないページの理由が多分わかった。ページサイズが100kを超えているページはインデックスクロールを中止する仕様だった。(同様にYSTのページサイズ制限は500kらしい)検索結果のページ等、リストが長いページは表示数に上限を設けて100k以内に収めるようにしてみる。

ゴッゴル (SEOコンテスト)

ゴッゴル

某blogを見ていたら文章からタイトルまでゴッゴルだらけでびっくりした。

http://www.seo-association.com/
にて、「ゴッゴル」と言うキーワードでGoogle検索一位を目指すコンテストをやっているとの事ゴッゴル。
日本では初のSEOコンテストらしいゴッゴル。
とりあえず参加してみるゴッゴル。
・・・それにしてももうちょいマシなフレーズのキーワードはなかったのかゴッゴル！。

http://www.secondserver.jp/blog/archives/000124.html#more
によるとBlogを使ったTB(トラックバック)によるSEOを重視する傾向が強く、猛者は自動で「ゴッゴル」を更新サイトから検索してPingを飛ばしているらしい。
自動トラックバックツールを作って遊びたいとは前々から思っていたが、実行力と意思が足りない今日この頃。orz

サイト更新と虫退治

ホテルページを大幅更新中。

データーを代理店のページをクロールしたものに置き換え。
データーの表示にもう一段階、情報別にページを作り、詳細表示を行うように改造。
TITLEタグで名称を表示したので次にIndexクローラがやってきてどのくらいスコアが付くのか楽しみ。
手打ちで作ったデータはもう用なしになった。
今まではビジネスホテル・シティホテルのみだったが、ペンションや旅館も登録された。
でも名栗村の大松閣が出てこない。
JTBと提携しているようだが、JTBの情報ページは電話番号を載せていないので、クロール対象外。
データーベースではデーター重複チェックに電話番号をキーとして使っている。

現在ページへのアクセスの8割はやほおとMSNの検索結果から。グーグルは検索エンジンスパムとでも見なされているのか、まったく下層ファイルがクロールされない。アクセス数がInktomi系に全く依存している状態ではフィルタを掛けられたらアウトなので、リピーター確保用にランキング機能や掲示板機能を考え、ランキング機能は実装した。★の5点満点評価は映画批評空間、複数の項目別に満足・不満で0：1の評価をするアイデアと棒グラフ表示機能は価格コムを、融合させてそれっぽく作る。
データーベースは処理が速く、統計処理も簡単にできるので、非常にありがたい。データーベースを使うようになって、色々なことが簡単になった。

データークローラが色々とバグ発生。
今日は、真近2週間分のデータがロスト。データー更新時に削除するデーターの評価式$date1 ＜= $data_date AND $date2 ＞= $data_date の$date1が一ヶ月ずれていた。localtimeで得られる月が0~11で、+1しなかったのが原因。
あと、代理店の一部で早くもクロール失敗する。原因はレイアウトで変更があった。colspanの数値が一つ上がっていただけなのだが。

BRL-04FMX

今使っているルーターはCOREGAの無線ルーターだが、2週間に1回ぐらいの頻度で落ちる。
テストで自宅サーバーのIPにドメインを設定し公開しているが、前からこのルーターの不安定さが気になっていた。
ネットで評判を良いルーターを探したところ、YAMAHA・マイクロ総研・IPNutsあたりが良いらしい、
YAMAHAはRTX1000は業務用途にも使われている物なので7万もする、
マイクロ総研のOPT100は2万円ぐらいで手ごろだが中途半端な気もする。
#つーかネットワーク機器メーカーなのにWEBサイトが落ちているよ。。。
IPNutsは自作PCにNICを2つ入れてルーターとして動作させる物で、
設定の細かさやソフトのアップデートの将来性、もちろん安定性や無料であることを考えたら
一番よさげだが、余りのPCは無い状態なのでPCを組み立てる手間が大変。
プラネックスは当たり外れが激しいみたいだが、
BRL-04FMXはNTT-MEのBA8000とか言う安定性で定評のあるルーター(PCIのOEM)と中身同じもので、
値段も1万円弱と安いのでこれにしようかと思っていた。

アキバに寄ったついでにソフマップの中古コーナーを見ていたら4800円で売っていたので、
迷わず購入。先日の高負荷対応の件以来、セキュリティ機能、特にDoSアタック検知機能がどのくらいの精度で設定できるのか気になっていたが、一分間の同一ホストからのリクエスト件数でしきい値を設定できるので一安心。
有線のみのルーターとはいえハイエンドの機器が5000円もしないで買えるなんて良い時代だなぁ（＾＾

複数グローバルIPの契約に変更したあとの接続予定図を考えてみる

光モデム─BRL04FMX─コレガ糞無線ルーター（LAN側プライベートIP) )))電波))) WindowsPC
　　　　　　　　　　├　WEBサーバー
　　　　　　　　　　└　Mailサーバー

あとはUPSとか、ラックとか欲しい。
http://www.pcserver1.com/
を見るとサーバーは中古だと結構安い。
HDDはほとんどSCSIなので新品交換は高そうだが、それ以外のP3デュアルとかメモリの搭載量とかスペックをみるとかなりお買い得だと思う。
一時期Edenでサーバーをとか考えたが、1GHzでも遅くて値段も4万ぐらいかかってしまうなら中古ラックマウントサーバーの方が断然良さそう。

JTB

駒からメールが届いた。
JTBがアフィリエイトプログラムにホテル予約を追加したらしい。
これで、駒のアフィリエイトに国内の大手旅行代理店が勢ぞろいしたわけだ。
JTB
日本旅行
近畿日本ツーリスト
旅の窓口
isizeじゃらん
楽天トラベル
地球の歩き方
一休.com

ヤフートラベルにそれだけ客を持って行かれているのか。
ともかく、スクレイピングしてデータを集めるスクリプトを改良しないと。
#宿泊施設や宿泊可能日等の商品データはAmazonみたくxmlでの出力かデーターベースへの直接アクセスを許可して欲しい。あまりサーバーへの負荷は掛けたくないので。
暑くてヤル気が全然起きない。。。。

SEO:あれこれ

・yahoo!のWebRankを確認するためのツールバー。現在新規DL停止中 orz
http://edit.companion.yahoo.com/?.cpdl=b543

・HTMLタグの文法チェック。W3C準拠の方がスコアは上がり、掲載頻度も上がるらしい。
http://openlab.ring.gr.jp/k16/htmllint/htmllint.html

・blogサイトはスコアが高い
syu1.comも5月に始めたばかりなのに、PRが3付いている。
movable typeはxhtmlに準拠したhtmlを生成するのと、pingを飛ばして自動でリンク監視サイトにリンクを通知するので検索エンジンとの相性が良いようだ。

・動的→静的URL変換
Apacheの設定ファイルにmod_rewriteを追加するだけで、10万円〜か。
http://www.seourl.com/02.html

SEO:tableタグをdiv化 検索アルゴリズム最適化

■Perlの検索アルゴリズムをSQLに移行
ホテルページが、クローラーに引っかかるとサーバー負荷率が1000%を突破する。
あまりにもここ最近、頻繁に起こるので、今まで後手後手に回していた、CGIの改造に踏み切る。
まず、CSVからindex関数を使って行っていた検索処理を、MySQLに置き換えた。
これにより、スクリプトが大分簡略され、ソースの可読性が上がり、今後の改良・メンテナンスが楽になった。
今後、リアルタイムで統計をとったりするのも、ほとんどPerlでの処理ではなくSQLの命令だけでできる。
実行速度は計っていないが、体感的にかなり速度が上がった。
また、データの更新はAccessのフォームからODBC経由で行える様になるのでこの辺もデータベースの恩恵と言ったところか。

■SEO
本当かは不明だが、Tableタグ内の文章はGoogleではあまりスコアが付かないらしいので、Tableタグを排除し、Divタグに置き換える。

こちらも情報は確かでは無いが、アフィリエイトのタグはYahoo!のInktomi系検索システムではスコア減点になるらしいので、javascriptを使って変数に格納するように変更。

■今後の課題
・クロールして収集したデータをテーブルに突っ込み、基本情報と統合する。
・ユーザーのリピート率を上げるため、各データ用の評価機能付き掲示板を付ける。

韓国「世界の迷惑メールサイトの１０％を運営」

韓国「世界の迷惑メールサイトの１０％を運営」

日本はこの「迷惑メール」のランキングには入っていない。
実際、スパムが来てもほとんどが英語。
たまに見かける日本語の場合、低俗な内容がほとんど。
まず、SPAMを「迷惑メール」と定義し、主張することを「悪しきこと」とする国民性と、携帯メールの法外な受信料の問題のせいでＰＣメールもひとくくりにされてしまった経緯から、日本ではSPAMは流行っていないと見ていい。
これは大きなスキマだと思う。
キチンとした営業目的でのダイレクトEメール配信業を運営できれば、それは成功するだろう。

teacupがblogサービス開始

teacupがblogサービス開始
特徴は、記事を製本してくれるサービスがあることか。

ライブドア、ブログシステムをポータルなどに提供こっちは、野球球団を買収しようとしたライブドア。法人向けのシステムらしい。最初の取引相手はレンサバのCPI。

なんつーか、ライブドアもCPIも激しく胡散臭い企業ですな。

Amazon実験2

	Amazon Hacks 世界最大のショッピングサイト完全活用テクニック100選
	ポール・ボシュ, 篠原 稔和, ウェブ・ユーザビリティ研究会
	オライリー・ジャパン
	￥ 3,045

うごいたっ！(> < )
動くまでのメモ。
http://www.syu1.com/archives/000014.html

楽天がランキングリンク開始

楽天がアフィリエイトサイト用にランキングリンク開始

なかなか面白い。blogのサイドに挿入するのに丁度よい。
ただ、楽天のアフィリエトは報酬が楽天ポイントなので、正直、惹かれない。

昨日登録したAmazonの広告作成ページを見たら、トップセラー作成機能があった。
要はAmazonの猿真似か。

Googleが画像広告配信

Googleが画像広告配信開始

Googleは広告代理部門に注力しているらしい。
個人的には画像バナーよりは、テキスト広告の方がクリック率は高いのであまり必要のない機能だが、
新しい機能をどんどん追加し、今後どのようなアイデアが出てくるのか、非常に興味深い。

アマゾンプラグイン実験

CLANNAD -クラナド- 初回限定版

アマゾンのアソシエイトIDを入手したので、mt-awsプラグインをインストール。
表紙が表示されたら実験成功。

む〜、色々試しては見るが、結局動かず。
あきらめるか。

mt-awsソース中のURLを一部を変更したら表示された。（恥
'http://xml.amazon.com/onca/xml3?'
　↓
'http://xml.amazon.co.jp/onca/xml3?';

エントリー内でも表示できるように、
process tagのプラグインもインストールして、
テンプレ中のエントリーを評価する場所：$MTEntryBody$を$MTEntryBody process_tags="1"$
とする。

サイトデザインを更新

サイトデザインを更新する。
久々にLightwaveを触る。
前に仕事で作った、適当なモデルを使いまわししようかと思ったが、

色々と面倒なので、ボックスをいくつか組んだデザインにする。（手抜き）
あとは、適当なテクスチャを貼り付け、GIの最低よりちょっと良いぐらいの精度でレンダリング。

weblogのデザインはCSSで組まれているので、苦戦をする。
DIVタグでちょっとレイアウトを変えるだけなのに、全然違うところに移動して、思い通りの場所に収まらない。
どうにか終わったが、SEOでTableを使わないで、DivタグとCSSでレイアウトを組むとか言っているが、
なんて効率の悪い方法なんだろうと思う。

不正中継メール

ORDBに運営しているサーバーの名前が載っていた。
立ち上げた最初のころ、pop before smtpの設定を間違っていたために、
しばらく不正中継を許してしまった時期があった。

ここに登録されている場合、相手のメールサーバーによってはSPAMとみなされ、受信されない。

とりあえず、削除の申請をしておく。

amazon log

このWeblog用のプラグインで、Amazonの商品をアソシエイトタグつきで表示するプラグインがある。
近々導入してみようと思う。

Amazonが、商品データーベースを閲覧する為のAPIを公開している事が驚きだ。
この商品データベースやgoogleのAPIを使って何か面白いことができそうだ。。。

Googleのインデックにようやく

ホテルのサイトがようやく、Googleのインデックスに登録され始めた。
現在、トップから一階層目まで登録されている。
まだページランクのスコアはでていないので、アクセス数には結びつかない。

サーバー運営のサイトは、オーバーチュアにも登録をした。
初心者の多い、オーバーチュアの広告でどの程度の効果がでるだろうか。