ホテルページを大幅更新中。
データーを代理店のページをクロールしたものに置き換え。
データーの表示にもう一段階、情報別にページを作り、詳細表示を行うように改造。
TITLEタグで名称を表示したので次にIndexクローラがやってきてどのくらいスコアが付くのか楽しみ。
手打ちで作ったデータはもう用なしになった。
今まではビジネスホテル・シティホテルのみだったが、ペンションや旅館も登録された。
でも名栗村の大松閣が出てこない。
JTBと提携しているようだが、JTBの情報ページは電話番号を載せていないので、クロール対象外。
データーベースではデーター重複チェックに電話番号をキーとして使っている。
現在ページへのアクセスの8割はやほおとMSNの検索結果から。グーグルは検索エンジンスパムとでも見なされているのか、まったく下層ファイルがクロールされない。アクセス数がInktomi系に全く依存している状態ではフィルタを掛けられたらアウトなので、リピーター確保用にランキング機能や掲示板機能を考え、ランキング機能は実装した。★の5点満点評価は映画批評空間、複数の項目別に満足・不満で0：1の評価をするアイデアと棒グラフ表示機能は価格コムを、融合させてそれっぽく作る。
データーベースは処理が速く、統計処理も簡単にできるので、非常にありがたい。データーベースを使うようになって、色々なことが簡単になった。
データークローラが色々とバグ発生。
今日は、真近2週間分のデータがロスト。データー更新時に削除するデーターの評価式$date1 ＜= $data_date AND $date2 ＞= $data_date の$date1が一ヶ月ずれていた。localtimeで得られる月が0~11で、+1しなかったのが原因。
あと、代理店の一部で早くもクロール失敗する。原因はレイアウトで変更があった。colspanの数値が一つ上がっていただけなのだが。