[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

[drf:1069] [drf:1060] について



みなさま

 内島です。江別の鈴木さんから、robots.txtについて以下のメールを
いただきました。実は金沢も下記のような設定で、クロールをすべて許可
していたわけではないことをご教示頂きました、、、

 なお、Sitemap機能の詳細については、ご教示頂いたURLをご覧ください。
また、鈴木さんが東工大WS(「先日の講習会」)で行われたプレゼンの資料
は下記をご覧ください。
 
  http://www12.ocn.ne.jp/~zuki/drf/repository.html 

(金沢の設定)
>User-agent: *
>Disallow: /browse-author
>Disallow: /items-by-author
>Disallow: /browse-date
>Disallow: /browse-subject

(鈴木さんの指摘)
>手元のファイルを調べてみたら、1.3.2はrobots.txt自体なし、
>1.4.2, 1.5.1 は間違いあり、1.5.2は間違いなし。ただし、
>1.5からはsitemap機能が標準でついています。

>日本のリポジトリで問題になるのは、1.4系列を使っている機関でしょう。
>robots.txtは DSPACE-SRC/jsp/robots.txt (1.4.2の場合)にあり、
>TOMCAT/webapps/dspace/robots.txt に配備されて使用されます。
>sitemap機能をつけた方が良いのは、先日の講習会で言ったとおりです。

>実際の作業は、DRFと私のブログにあります。
>http://drf.lib.hokudai.ac.jp/drf/index.php?DSpace%E3%81%A8Google%20Sitemap
>http://d.hatena.ne.jp/zuki_ebetsu/20071114/1195005653