dari88's diary

これから趣味にするプログラミング/PHP/javascript/kohana/CMS/web design/

ヤマレコの山行記録を一括ダウンロードするプログラム ヤマレコダウンローダー

 Rubyをインストールしなくても動作するexe版を公開しました。ダウンロードページは こちら です。(2013/11/30 追記)


 

 ヤマレコの山行記録を一括ダウンロードするプログラムを作ってみました。インストールの手順と注意点を説明します。

 

<インストール>

・このプログラムはRubyで書いてあるので、Rubyの実行環境をインストールする必要があります。

Rubyのインストールページから、特に理由がない限り Ruby 1.9.3-p448をダウンロードして下さい。(15MBくらいと軽量です)

・これを実行してインストールしますが、次のページでチェックボックスを全てチェックしてください。

f:id:dari88:20131116174142g:plain

 

・次にプログラムをダウンロードします。
 (プログラムはテキストエディターで読むことができます)

  YamarecoDownloader.rb  V1.7  2013/11/29

・ヤマレコの記録を保存するファオルダーを決めて、そこにこのプログラムを移します。

・ヤマレコのユーザー番号を調べてください。これはユーザーIDではありません。
 マイページの山行記録を開きます。ブラウザの上部にURLが表示されているはずです。URLが http://www.yamareco.com/modules/yamareco/userinfo-12345-data.html であれば、ユーザー番号は12345です。

・YamarekoDownloader.rb を実行するとユーザー番号を聞かれますので、数値を入力してください。(番号が4桁の人は4桁で入力します。)

・プログラムが終了したら、フォルダーに作成された index12345.html みたいな名前のファイルを開いてください。

 

<注意事項等>

・プログラムはログインしません。従って、一般公開されていない山行記録があるとこれを取得できません。全て一般公開してから実行してください。

・ヤマレコのサイト側で仕様変更が行われると山行記録の再現性が悪化する可能性があります。

・ユーザーが投稿した内容は確実にフォルダーに保管されます。
  記事本文
  写真の原画とサムネイル
  GPXデータ
  添付ファイル

・サイト側が提供している機能面の再現は不完全です。ブラウザで開くだけでは標高グラフが表示されませんが、PCに簡易サーバーを立てて山行記録にアクセスすればちゃんと標高グラフも表示されます。

・山行記録の量によりますが、光回線で100件あたり1時間くらいはかかると思います。

・取得済の山行記録は再取得しません。取得済みの記録を修正した場合は特定の山行記録のみを取得する機能を利用してください。

・ブラウザによってマップ等の見え方が違います。firefoxだとYahooマップ上にルートの赤線も表示されます。chromeだと赤線が表示されません。IEだと、Yahooマップすら表示されません。

・簡易サーバーを導入してサーバー経由でアクセスするとどのブラウザでも全部OKになります。簡易サーバーとしては 04WebServer をオススメします。

 

<Macの場合>

・Macには標準でRubyがインストールされていますが、バージョン1.9.3以上にアップデートして下さい。(1.8系だと正常に動きません)

 手順はここを参照して下さい。

 

<履歴>

V1.7:2013/11/29 マップページの再現等
 ・3D地図、Google Maps、Yahoo!地図、地形図、標高グラフのページを再現
 ・サイト側の過剰アクセス対策に対する対策を追加
 ※ 取得済みの山行記録に反映させるには1回 all モードを実行して下さい。

V1.6:2013/11/25 拍手の再現等
 ・拍手とお気に入りをを再現
 ・マップ上の写真と地名情報を再現
 ・Google AdWords 広告を非表示にした
 ※ 取得済みの山行記録に反映させるには1回 all モードを実行して下さい。

V1.5:2013/11/21 表示の日本語化
 ・デフォルトでは完全取得済みの山行記録をパスする仕様に変更
 ・特定の山行記録のみを再取得する機能を追加
 ・サーバーの負荷を最小限にする対策
 ・山行記録の数が1ページ満たないとエラーとなる点の対策

V1.4:2013/11/18 大勢に影響のない修正

V1.3:2013/11/17 サイト側の変更に伴う修正

V1.2:2013/11/17 Not foudが発生するケースを対策

V1.1:2013/11/17 HTTPヘッダの対策を行なった

V1.0:2013/11/16 初版公開

 

<備考>

 表示している記号の意味は以下のとおりです。

* 今回ファイルを取得した
x サーバーにファイルが無い
. 既にファイルを取得済み