[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

[drf:688] [drf:678] Re: [drf:677] ログの解析・保存について



大阪教育大学・谷口さま,室蘭工業大学・堀越さま,
DRFメーリングリストの皆さま

  国立情報学研究所学術コンテンツ課の杉田です。
 いつも大変お世話になっております。

 ログの解析・保存につきまして,谷口さんからの問題提起,及び,堀越さん
 からの技術面でのフォローをいただき,ありがとうございました。

 皆さまご存じのとおり,委託事業関連では,以下のように利用ログデータの
 原データ形式による保存,及びしかるべき方式による分析についてご協力を
 お願いしているところです。

 各機関リポジトリ管理者の皆さまは,今一度,ログの保存についてどのよう
 な設定になっているか,ご確認くださいますよう,お願いいたします。

 また,先行されている大学さんは,アドバイス等もDRF上で引き続きいただけ
 れば幸いです。

 どうぞよろしくお願いいたします。


【募集要項の記述】
http://www.nii.ac.jp/irp/rfp/2008/kobo_yoko2008-2009.pdf
p.8
なお,委託事業に関するアカウンタビリティの確保,及び今後における適切
な計画立案のために,各機関におけるリポジトリの利用状況の確認も必要とな
ってきています。このため,平成20 年度以降の採択機関からの報告において
は,利用状況に関する事項を含める予定です。各機関におかれましては,利用
ログデータの原データ形式による保存,及びしかるべき方式による分析につい
てご協力くださるようお願いします。

【FAQの記述】
http://www.nii.ac.jp/irp/contact/faq.html#20koubounyou

Q1-12 : 公募要項 「4.5その他」(P.8)で「各機関におかれましては、利用ログ
データの原データ形式による保存、及びしかるべき方式による分析についてご協
力くださるようお願いします」とありますが、具体的には
(1)どういった項目のログデータの保存が求められるのか
(2)どのようなログの分析が求められるのか
について教えてください。(2008/03/17追加)
A1-12 :
(1)どういった項目のログデータの保存が求められるのか

IRで使用しているWebサーバ(apache, apache2, TomCat等)のアクセスログファ
イルを、combined log format で蓄積/保存されることを推奨します。
ログファイルの設定については、以下をご参照ください。
http://httpd.apache.org/docs/2.0/ja/logs.html

なお、平成19年度に行った実験では、ログローテーション設定により直近数ヶ月
分のログしか保存されていない事例も散見されました。
委託事業の受託機関におかれましては、今後、委託期間中のログファイルは、何
らかの手段(サーバ上もしくはDAT等の媒体)で保存してくださいますよう、お
願いいたします。

また、DSpace をお使いの場合には、DSpaceログファイル(dspace.log)につい
ても蓄積/保存されることをお薦めします。DSpaceログファイルの使用によっ
て、利用されたコンテンツのメタデータの表示が容易になります。
DSpaceログファイルについては、以下をご参照ください。
http://www.nii.ac.jp/metadata/irp/dspace-docs-jp/directories.html

(2)どのようなログの分析が求められるのか

項目としては、サイト訪問者数、サイト訪問回数、ファイル種別ごとのアクセス
回数、リファラ(アクセスの際に経由したサイト)、コンテンツごとのアクセス
回数等を想定しています。ただし、これらの値は、使用するアクセス解析ソフト
によって大幅に異なるとともに、多重カウントを除去する、いわゆるフィルタリ
ングの方法によっても変動します。
使用ソフトおよび標準的なフィルタリング方式について現在検討を行っておりま
すので、決まり次第項目を含めてご案内させていただく予定です。

------------------------------------------------------------------------
国立情報学研究所 学術基盤推進部 学術コンテンツ課 図書館連携チーム
(機関リポジトリ担当)杉田いづみ

  〒101-8430 東京都千代田区一ツ橋2−1−2
   Tel: 03-4212-2350,Fax: 03-4212-2375
  E-mail: izumi @ xxxxxxxxx,Web: http://www.nii.ac.jp/irp/
------------------------------------------------------------------------
Kunie Horikoshi さんは書きました:
> 室蘭工業大学 堀越です。
> 
> 当方ではDSpaceが出すログではなく,apacheのログで統計を取っています。
> 
> DSpace側のログは初期設定のままにして使っていました。
> /DSPACE/config/log4j.properties で log4j.appender.A1.MaxBackupIndex=500 と
> なっていましたので,500ファイルまではローテーションされています。
> 
>>> 今後は、ログを保存するファイルの容量を増やし、ファイル数を多くするということで対応策を打ち出してこられましたが、果たしてこれでいいのか不安です。
> 
> log4j.appender.A1.MaxFileSize(ファイル容量)と log4j.appender.A1.MaxBackupIndex
> (ファイル数)を変更した,ということですね。
> 
> ファイル数とファイル容量を増やせば古いログファイルが破棄されるまでの猶予が
> かせげます。ので,その間に定期的に別媒体等にファイルを移動させてあげれば
> ログが失われるのを防げるかと思います。
> 
> が,忘れっぽい私としては,ログローテーションで失われない形で,かつ自動で
> ログファイルを保存させておいて,気がついたときにファイル移動を行う方が好みです。
> 
> apacheのローテーション設定で月次ベースでファイル保存しているので,
> log4jでも同じようにできないかなと思ってしらべてみたところ,
> DailyRollingFileAppender を使えばできそうです。
> 参照: http://logging.apache.org/log4j/1.2/apidocs/
>        http://struts.wasureppoi.com/util/05_dayly_fileap.html
> 実際に使用しているわけではないので,参考まで。
> 
> 谷口慶子 さんは書きました:
>> 大阪教育大学 谷口です。
>>
>> 各機関でのリポジトリのログ解析やログデータの保存について教えて下さい。
>>
>> 毎月統計結果を確認していたのですが、今月になって統計の数字が減っているのに気づき、サーバ導入業者に確認しました。
>> 返ってきた返事が、
>> 統計はDSpaceで作成されているが、ローテーションにより8月9日以前のものが削除されている。
>> とのことでした。
>>
>> 昨年の2月にサーバを導入し、正式公開を経てアクセス数が今年になって飛躍的に伸びたこともあるのですが、1年半のログが消えてしまい、実績である数字をたどることができません。
>>
>> 今後は、ログを保存するファイルの容量を増やし、ファイル数を多くするということで対応策を打ち出してこられましたが、果たしてこれでいいのか不安です。
>>
>> 各大学・機関さまはログの保存や解析はどのようにされていますでしょうか。
>> 本学のサーバはLinuxですが、分かる者がおらず、これからログ解析をどうしようかと考えていた矢先です。
>>
>> ご教示いただけたら助かります。
>> よろしくお願い致します。
>>
>>
>>
>>
>>
>> ==============================================
>>   
>>      大阪教育大学 学務部 学術情報課 
>>        情報システム係(附属図書館) 
>>             谷 口 慶 子 
>>      Tel:072-978-3781/FAX072-978-3803
>>      e-mail:momo @ xxxxxxxxxxxxxxxxxxxxxx  
>>
>> ★大阪教育大学リポジトリ★
>> http://ir.lib.osaka-kyoiku.ac.jp:8080/dspace/
>>
>> ==============================================
>>
>>
> 
> 


-- 
------------------------------------------------------------------------
国立情報学研究所 学術基盤推進部 学術コンテンツ課 図書館連携チーム
(機関リポジトリ担当)杉田いづみ

  〒101-8430 東京都千代田区一ツ橋2−1−2
   Tel: 03-4212-2350,Fax: 03-4212-2375
  E-mail: izumi @ xxxxxxxxx,Web: http://www.nii.ac.jp/irp/
------------------------------------------------------------------------