データの取り直し：更新頻度と差分の出し方

データを定期的に取り直すとは、ページの元にしている公開データが更新されたときに取り込み直し、前回との差分を確かめて、変わったページだけを書き換えることです。全ページを毎回作り直して、日付だけ新しくすることではありません。

最初に、元のデータがいつ更新されるかを調べます。取り直す間隔は、それに合わせます。取り直したら、追加・削除・値の変化を数えてから公開し、その記録を日ごとに残します。

元のデータは、いつ更新される？

公的なデータの多くは、配っているページに更新の間隔や更新日が書かれています。データベース型のサイトでよく使うものを、2026年10月26日⁠に確かめました。

法人番号は、月末の全件と、毎日の差分

国税庁の全件ダウンロード⁠の説明では、全件のファイルは毎月、月末に作られ、翌日0時までに提供されます。中身は前月末の時点で公表している情報です。

差分ダウンロード⁠の説明では、新しく法人番号が付いた会社や、名称・所在地の変更、登記記録の閉鎖などの情報を、日ごとのファイルで16時頃に提供しています。休日・祝日と12月29日から1月3日⁠は作られず、過去40日分だけが置かれています。

40日分しか無いということは、取り込みを40日以上止めると、差分だけでは追いつけなくなるということです。そのときは、全件のファイルから取り直します。法人番号での会社のつなぎ方は名寄せとはに書きました。

しょくばらぼは、画面の更新日を見る

厚生労働省のしょくばらぼは、掲載している職場情報を全件のCSVで配っています。ダウンロードの画面には、ファイルの大きさ（48.8MB）⁠と「2026年10月25日更新」⁠の表示がありました（2026年10月26日に確認）⁠。同じ画面に、更新の間隔の説明は見当たりませんでした。

間隔が書かれていないデータは、取り込むたびに画面の更新日を記録しておきます。何回か記録すると、実際の間隔が分かります。

統計は、e-Statの公表予定を見る

国の統計は、e-Statの公表予定一覧で、公表日ごとに出る統計を確かめられます。当月と次月の予定を切り替えて見られます。使っている統計が年に1回⁠の公表なら、その公表日の後に1回取り直せば足ります。

統計の時点と取得日を分けて持つことはe-Statの使い方⁠で書いたので、ここでは取り直しの手順に進みます。

取り直す間隔は、元に合わせる

元のデータが毎月しか変わらないのに毎日取り込むと、同じファイルを30回取ることになります。配っている側に負荷をかけるうえ、取り込みのたびに全ページを作り直す作りなら、こちらの組み立ても無駄に回ります。

決め方は単純です。

1. 元のデータの更新の間隔か、公表日を調べる
2. その直後に取りに行く予定を組む
3. 取る前に、画面やファイルの更新日が前回と変わったかを見る
4. 変わっていなければ、取り込まずに終える

3番目は、更新日がページに書かれていれば、そのページを見るだけで判断できます。ファイルのURLが同じでも、中身が変わっていることがあるので、更新日の表示か、ファイルそのものを比べます。

前回との差分を取る

取り込んだら、すぐ公開せず、前回の取り込みと比べます。比べるには、前回のデータを消さずに残しておく必要があります。

比べるときの鍵は、会社なら法人番号、市町村なら市区町村コードのように、変わらない番号にします。名前を鍵にすると、社名が変わった会社が「削除1件と追加1件」⁠に見えてしまいます。

差分は3種類に分けて数えます。

値の変化を比べる前に、比べ方をそろえます。空白の数、数字の桁区切り、行の並び順が違うだけで、中身は同じということがあります。表記をそろえてから比べないと、全行が変わったように見えます。

変化がふだんより多い日は、止める

差分の件数は、毎回記録しておくと、ふだんの幅が分かります。ある日だけ、値が変わった行が極端に多い、または削除が極端に多いときは、自動で公開せず、人が見ます。

考えられる理由は3つあります。元のデータが本当に大きく変わった。ファイルの列の並びや項目の定義が変わった。自分たちの取り方が変わった。2つ目と3つ目なら、そのまま公開すると、全ページの数字が間違ったものになります。

これはページの元データではなく計測の数字ですが、取り方が混ざると数字の意味が変わる例です。数字が大きく動いたときは、元が変わったのか、取り方が変わったのかを先に分けます。

変わったページだけ、日付を進める

差分が取れれば、書き換えるページが決まります。変わっていないページの公開日や更新日は動かしません。

Googleのサイトマップの作り方は、lastmodについて次のように書いています。

<lastmod> 値は、ページに対する最後の重要な更新の日時を反映する必要があります。

続けて、メインのコンテンツや構造化データ、リンクの変更は重要な更新とみなされるが、著作権の日付の変更はみなされない、と例を挙げています。Googleがlastmodを使うのは、値が一貫して正確だと確かめられる場合だ、とも書いています。

取り直しのたびに全ページのlastmodを今日にすると、中身が変わったページと変わっていないページの区別がつかなくなります。差分で書き換えたページだけ、lastmodと更新日を進めます。画面の日付と構造化データの日付のそろえ方は更新日の見せ方に、サイトマップの書き方はXMLサイトマップ⁠に書きました。

変わっていないページは、同じ応答を返す

Googleのクローラーの説明⁠によると、Googleのクローラーは、ETagとIf-None-Match、Last-ModifiedとIf-Modified-SinceというHTTPのキャッシュの仕組みに対応しています。両方あるときはETagを使い、日付の形式の問題が起きないETagを勧めています。

ページを毎回作り直す仕組みでも、中身が同じなら同じETagを返すようにしておけば、クローラーに変わっていないことを伝えられます。設定はサーバーや配信の仕組みによるので、制作担当かホスティングの会社に確かめます。

取り直しの記録を残す

取り直すたびに、1行⁠の記録を残します。

元の更新日と、取った日は別の列にします。数字を見る人には、その数字がいつの時点のものかが要るからです。

数えた日と、数字の最後の日が3日ずれています。記録に「取った日」⁠し⁠か書いていないと、10月24日までの数字だと読まれます。

記録があれば、読む人や会社から「この数字はいつのものか」⁠と聞かれたときに、すぐ答えられます。掲載している会社から訂正の依頼が来たときも、元のデータが変わったのか、こちらが取り違えたのかを、記録から切り分けられます。データ型のサイトの作り方の全体はデータベース型サイト⁠にまとめています。

仕様・出典の確認日：2026年10月26日⁠。