syu1_s Weblog

YSTスパムフィルタとインデックスファイルサイズ

ホテルの情報詳細ページがYSTとMSNの両方からほとんど削除されてしまった。
何かスパムに認定される要因があったらしい。
考えられる原因として、カレンダー表示部における○で日付別にCGIにリンクを貼っているのが、密接した同じキーワードでほぼ同じ内容のページへリンクしているのがスパムリンク認定になった臭い。
とりあえずそういう感じで仮定し、リンクはjavascriptに変更しておく。
Inktomi系(特にYST)はスコアリングのアルゴリスムがヘボい分、スパムフィルタが強力に出来ているらしいので、もしかしたらもう二度と同じアドレスではインデックスに登録されないかも知れない。。。鬱だ。

今までGoogleに全く見向きもされないページの理由が多分わかった。ページサイズが100kを超えているページはインデックスクロールを中止する仕様だった。(同様にYSTのページサイズ制限は500kらしい)検索結果のページ等、リストが長いページは表示数に上限を設けて100k以内に収めるようにしてみる。