クリアリングハウス連動型データ更新検知・推奨システムの開発 The Alert System for Data Updating by Using the Data Clearinghouse 臼田裕一郎１)，長坂俊成２) 1) 独立行政法人防災科学技術研究所研究員（茨城県つくば市天王台 3-1） National Research Institute for Earth Science and Disaster Prevention, Researcher 2) 独立行政法人防災科学技術研究所主任研究員（茨城県つくば市天王台 3-1） National Research Institute for Earth Science and Disaster Prevention, Senior Researcher 要約：分散相互運用環境においては、システム間が相互に連動し、不整合のない状態を常に保持していることが望ましいとされる。そこで、システム間を相互に連動させる仕組みとして、クリアリングハウスを活用してデータ間の依存関係を抽出し、データの新規追加や更新があった際に、そのデータに関連する処理を連動して開始するよう通知する手法を開発した。具体的には、①データ間の依存関係を明示するため、各データの内容を示すメタデータのスキーマを拡張、②データベースサーバ連携システムがクリアリングハウス内のメタデータ DB を常に監視し、①を基準にデータ更新の検知と処理推奨の通知を行う、という手法である。本稿では、この仕組みをプロトタイプとして構築した地盤データサーバと地下構造モデル生成サーバに適用し、実証実験を行った結果について報告する。分散相互運用，クリアリングハウス，メタデータ，システム間連動，情報更新 Interoperability, Clearinghouse, Metadata, System Integration, Updating そこで、筆者らは分散相互運用環境の実現に向け、その有効性を評価検証するためにプロトタイプの構築を進めており、これまでに、ボーリングデータを登録・管理する地盤データサーバ、浅部を対象とした二次元および三次元の地盤モデルを生成する地下構造モデル生成サーバのプロトタイプの構築と、両サーバ間を連動させる手法の検討を行ってきた（臼田・長坂,20081））。今年度はこれらの連動を具体的に実現して評価検証を行うために、データの追加・更新を関連する他のデータの更新へ繋げるための仕組みとして、クリアリングハウス連動型データ更新検知・推奨システムの検討と、そのプロトタイプの構築を行った（図 1）。１．はじめに国、自治体、研究機関等が有する各種システムは、原則として、それぞれが独立して構築・運用管理されている。しかし、これまで互いの連携が図られていなかったため、それぞれがインターネットに接続されていても、統合して利用することは不可能であった。また、あるシステムでデータの追加・更新があった場合に、その追加・更新が関連する他のシステムに速やかに反映される手段がなかったため、システム間でデータの不整合が発生していた。システム間の統合利用や連動を実現するためには、データを相互に利用できる環境（分散相互運用環境）が構築される必要がある。データベースサーバ連携システム H20年度クリアリングハウスユーザ各種データサーバ群新規ボーリングデータインターネット回線 H18年度データの流れ処理の流れ命令の流れ H19年度地盤データサーバ地下構造モデル生成サーバ図１：相互運用技術によるシステム連動フロー 65 ２．クリアリングハウス連動型データ更新検知・推奨システムの実現方法の検討相互運用環境において、各種システムが運用管理するデータを相互に利用するためには、どのシステムにどのようなデータが運用管理されているのかを示す仕組みが必要である。そのデータの内容を示すのがメタデータであり、そのメタデータを運用管理するのがクリアリングハウスである。したがって、システム間連動を実現するためには、このクリアリングハウスを活用し、メタデータを基に連動すべきシステムの依存関係を抽出し、連動処理を指示・推奨することが必要となる。そこで、ここでは、メタデータを運用管理するクリアリングハウスを有し、システム間連動処理を通知するシステムとして「データベースサーバ連携システム」を検討し、プロトタイプを構築することとした。このデータベースサーバ連携システムの導入にあたり、まず、使用するメタデータおよびクリアリングハウスに必要な条件について検討した。続いて、メタデータを介して実データの更新を検知し、更新された実データに関連のある実データのメタデータを検索して該当するシステムへ通知する手法について検討を行った。拡張前（標準スキーマ）拡張後（拡張スキーマ）入力元データである、ボーリングデータのメタデータの「ファイル識別子」を記載入力元データとしてボーリングデータを用いている、三次元地下構造モデル（地層）データのメタデータを、拡張スキーマに適用させて依存関係を表現する場合図２：拡張スキーマへの適用例２−１．メタデータに必要な条件メタデータを介して実データの更新を検知するためには、データ間の依存関係、つまり、「どのデータの作成にどのデータが入力元データとして使われたか」についての情報が、メタデータに記載されている必要がある。地理空間情報に対応したメタデータの標準スキーマとしては、ISO19115 や JMP2.0 などがある。しかし、これらの標準スキーマはデータ間の依存関係を表現するための要素を有していない。そこで、標準スキーマである JMP2.0 に対し、データ間の依存関係を表現するための要素を追加した拡張スキーマを定義することとした。具体的には JMP2.0 内のデータの系譜情報を記載する要素である「データ品質情報<dataQualityInfo>」の「系譜<lineage>」以下に、「入力元データ<inputData>」という要素を追加し、そこへ入力元データを識別する情報として「ファイル識別子<fileIdentifier>」を記載することで、データの依存関係を表現することとした。図 2 に既存のメタデータの拡張スキーマへの適用例を示す。スキーマを含めた既存のスキーマを扱うことができず、標準スキーマに対応した既存のクリアリングハウスとの相互運用性を維持できなくなる。そこで、拡張スキーマのベースとなっている標準スキーマである JMP2.0 に対応した既存のクリアリングハウスを、拡張スキーマも追加的に扱うことができるように汎用化する方向で改修を行い、標準スキーマに対応した既存のクリアリングハウスとの相互運用性を維持できるようにすることとした。２−３．データ更新検知・推奨方法メタデータを介した実データの更新を検知・推奨（通知）するためには、下記のようなフローが必要となる。 1. 2. 3. 4. ２−２．クリアリングハウスに必要な条件前項で述べたように、データベースサーバ連携システムで扱うメタデータは、既存の標準スキーマではなく、データ依存関係の表現に対応した拡張スキーマで定義されるものとするため、その拡張スキーマに対応したクリアリングハウスが必要となる。その場合、拡張スキーマに特化した専用のクリアリングハウスを構築してしまうと、他のシステムを意識することなく自由に構築・カスタマイズを行える反面、標準 5. 実データの更新に対応するメタデータの更新メタデータの更新を検知更新されたデータを入力元データとして処理されたデータの検索（実際にはメタデータを検索）検索されたメタデータに対応する実データの管理者へ、入力元データの更新を通知更新された入力元の実データを用いて、依存関係にある実データを更新そこで、このフローを次のように実現することとした。 1 は、実データを管理しているサーバ上でのプロセスであり、実データの更新に合わせたメタデータ更新が行われる。2 は、実データを管理しているサーバから、更新されたメタデータをデータベースサーバ連携システムへ 66 れたメールを受け取った管理者が、更新情報を元に入力元データを入手し、依存関係にある実データを更新する。上記のデータ更新検知・推奨のフローに基づき、相互運用環境内にある、地盤データサーバ、地下構造モデル生成サーバ、データベースサーバ連携システムにおいて、ボーリングデータが地盤データサーバへ追加された場合に、地下構造モデルを生成する、といった更新を行うケースを想定した。その際のシステム構成および処理フローを図 3 に示す。送信し、クリアリングハウスに登録されているメタデータを更新することにより、データベースサーバ連携システムがメタデータの更新を検知する。3 は、データベースサーバ連携システムが、更新されたデータを入力元データとしているデータをクリアリングハウス内から検索する。4 は、データベースサーバ連携システムが、検索されたメタデータの管理者に対し、入力元データが更新されたことをメールで通知し、更新を指示または推奨する。5 は、依存関係にある実データを管理しているサーバ上でのプロセスで、入力元データの更新情報が記載さ処理の流れ地盤データサーバ地下構造モデル生成サーバメタデータの流れボーリングデータ交換フォーマット ①ボーリングデータの追加 ⑦モデル更新 <ボーリング情報 DTD_version="2.10"> <標題情報> <調査基本情報> <事業工事名>一般国道○○号建設事業</事業工事名> <調査名>○○共同溝土質調査(その2)</調査名> ・・・・作業者変換地盤データサーバ 3次元地下構造モデル hyoudaiテーブル coreテーブル ⑧メタデータの内容を更新 ②メタデータの内容を更新ボーリングデータ取得メタデータ ③メタデータを登録地下構造モデル（Avs30）メタデータメタデータ ⑨メタデータを登録インターネット回線 HTTP クリアリングハウス機能 HTTP メタデータ更新機能 SMTP ⑥更新対象のデータの情報をメール通知（更新開始処理要求） ④、⑩メタデータDB更新依存データありメタデータ DB 更新時追加ハンドラ（または依存関係抽出ハンドラ） ⑫END 依存データなし ⑤、⑪更新されたメタデータと依存関係にあるメタデータの検索データベースサーバ連携システム用アドオンモジュールクリアリングハウスデータベースサーバ連携システム図３：相互運用環境におけるシステム構成およびデータ更新検知・推奨のフロータの追加に伴う更新）、データベースサーバ連携システムへの送信機能がある。更新機能については、新たにボーリングデータが登録を行った後にメタデータの更新処理を実行すると、追加されたボーリングデータの位置や取得日時などに応じて、メタデータ内で更新の必要がある要素のみを自動的に更新するものとした。３．プロトタイプの構築図 3 に示したデータ更新検知・推奨のフローを実現させるために、各システムのプロトタイプ構築を行った。各システム上における動作および機能について、以下に示す。３−１．地盤データサーバ地盤データサーバは、ボーリングデータを登録・管理するためのサーバである。ボーリングデータそのものの管理のための機能・インターフェースはこれまでに構築しており、今回は新たにメタデータの管理機能を追加した（図 4）。地盤データサーバで扱うメタデータについては、ボーリングデータ 1 本 1 本にそれぞれメタデータを付与するのではなく、登録されている全ボーリングデータを１つのボーリングデータのレイヤとみなし、全体で 1 つのメタデータを付与することとした。メタデータの管理機能としては、閲覧機能、登録・更新機能（xml ファイルのアップロード、ボーリングデー図４：地盤データサーバでのボーリングデータおよびメタデータ管理画面 67 ３−２．データベースサーバ連携システムデータベースサーバ連携システムは、図 3 に示したように、クリアリングハウス内のメタデータの更新、更新されたデータと依存関係にあるデータの検索、検索された更新対象データのメール通知を行うためのシステムである。データベースサーバ連携システム内では、サーバから更新されたメタデータが送信されてくると、まず、クリアリングハウス内のメタデータの更新を行う。続いて、更新されたメタデータを入力元データとしている（依存関係にある）メタデータをクリアリングハウス内から検索する。検索の結果、依存関係にあるメタデータがあれば、入力元データの更新情報を検索されたメタデータの管理者に対し、入力元データの更新を通知し、依存関係にある実データの更新作業を指示または推奨するメールを送信する。更新情報の通知先については、メタデータ内に記載されている実データの作成者の連絡先とした。図 5 に、データベースサーバ連携システムから通知される更新情報のメール文例を示す。プロトタイプでは、ボーリングデータを入力元データとしているデータは、地下構造モデル生成サーバ内の、三次元地下構造モデルデータ（地層）、三次元地下構造モデルデータ（N 値）、および、二次元地下構造モデル生成のための係数の3 データである（図6）。３−３．地下構造モデル生成サーバ地下構造モデル生成サーバは、浅部を対象とした二次元および三次元の地下構造モデルを生成するためのサーバである。標高データと地形分類データを用いた二次元地下構造モデルの生成機能、および、ボーリングデータを用いた三次元地下構造モデルの生成機能、地盤データベースサーバとの連携機能（ボーリングデータの取得機能）は、これまでに構築しており、今回は新たにメタデータの管理機能、および、ボーリングデータによる二次元地下構造モデル生成のための係数の更新機能の追加を行った。メタデータの管理機能については、地盤データベースサーバと同様の閲覧機能、登録・更新機能（xml ファイルのアップロード、もしくは実データの更新に伴うメタデータ更新）、データベースサーバ連携システムへの送信機能がある。地下構造モデル生成サーバ内において、二次元地下構造モデルは、標高データと地形分類データを用いて生成され、その際に、二次元地下構造モデルのメタデータが自動的に生成されるようになっている（図 7）。更新されたメタデータについての情報更新されたメタデータを入力元データとしているメタデータの情報図５：更新情報の通知メール例三次元地下構造モデル（地層）ボーリングデータ三次元地下構造モデル（Ｎ値）ファイル識別子<fileIdentifier>：nied_ground_boring_higashiyama このファイル識別子を、入力元データ<inputData> として有しているメタデータを検索二次元地下構造モデル生成のための係数図６：プロトタイプにおけるメタデータの依存関係例 68 実データ二次元地下構造モデルの実データの生成メタデータ二次元地下構造モデルのメタデータの生成生成図７：二次元地下構造モデルのメタデータの自動生成更新後更新前図８：二次元地下構造モデル生成のための係数の更新機能更新前更新後 0 700 図９：二次元地下構造モデルの更新前後の比較例 69 すること等が改善点として挙げられた。 (2)については、クリアリングハウス連動型データ更新検知・推奨システムがメタデータを介してデータの更新検知・推奨を行っているため、実運用において、必要な情報（今回の場合は依存関係）が正確に記載されているメタデータを作成し、クリアリングハウスおよびその他の必要なサーバ上へ登録・更新されることが必要不可欠である。したがって、相互運用環境構築の前提として、依存関係の記載を含めたメタデータの作成とクリアリングハウスへの登録を行うための社会的な仕組みづくりについても、重要な検討課題であるといえる。データベースサーバ連携システムよりボーリングデータの更新通知を受け取った作業者は、地下構造モデル生成サーバを起動し、相互運用インターフェースを介した地盤データベースサーバとの連携機能により、追加されたボーリングデータを取得する。その後、三次元地下構造モデル、および二次元地下構造モデルの更新を行う。三次元地下構造モデルの更新については、ボーリングデータの追加に伴い、作業者が地層境界および N 値の境界の修正を行い、地盤モデルの更新を行う。二次元地下構造モデルの更新については、まず、追加されたボーリングデータの中から、PS 検層の情報を持っているデータを用いて、自動的に係数の更新を行う（図 8）。その後、更新された係数を用いて、再度二次元地下構造モデルを構築処理することで、更新を行う。更新前後の二次元地下構造モデルの比較例を図 9 に示す。二次元および三次元の地下構造モデルの更新が完了し、更新されたモデルが問題ないことを確認した上で、作業者が更新されたメタデータをクリアリングハウスへ送信して、一連の更新動作が完了となる。４．実証実験による評価検証このクリアリングハウス連動型データ更新検知・推奨システムの有効性の評価検証と課題抽出を行うために、地下構造モデルに関する専門家および実務者を対象として、実証実験を行った。実証実験における主な評価項目としては、処理の実効性やパフォーマンス評価とともに、特に実務の観点から、 (1)実利用を踏まえたユーザインターフェースのあり方、 (2) クリアリングハウス連動型データ更新検知・推奨システムの実現方法についての課題の整理等を想定した。実証実験では、実際に地盤データベースサーバにおいてボーリングデータの追加を行い、それをトリガとして、メタデータの更新と送信、データベースサーバ連携システムでの更新検知と推奨メール送信、地下構造モデル生成サーバでの更新処理、という一連の動作が連動して行われたことを確認できた。また、(1)については、追加された PS 検層の情報を有するボーリングデータを用いて、二次元地下構造モデル（AVS30）生成のための係数の更新を行う機能において、現状、すべてのデータを自動的に利用している部分を、データをプロットしたグラフを表示すると共に、グラフを見ながら使用するデータを取捨選択できるようにすること、二次元地下構造モデル（AVS30）から震度を算出する機能において、中間データとして算出している速度増幅度、地表最大速度についても地図表示できるようにすること等が改善点として挙げられた。また、更新通知を受けた地下構造モデル生成サーバの作業者が、ボーリングデータを取得する際、どのデータが既取得でどのデータが未取得かをわかりやすく表示すること、メタデータそのものの更新履歴をメタデータ内に記録できるように 70 ５．まとめと今後の予定本稿では、分散相互運用環境の有効性を評価検証するために、分散システム間での処理を連動させる手法として、メタデータおよびクリアリングハウスを活用したデータ更新検知・推奨システムを検討・開発し、プロトタイプの構築と実証実験によってその連動性を確認した。今後は、実証実験で課題として挙がった項目への対応を進めると共に、このシステムにより更新された地下構造モデルデータのさらなる連動活用、および他地域への拡大における課題抽出等についても検討を進めていく予定である。謝辞本開発を進めるにあたり、名古屋大学の福和伸夫教授、（株）応用地質の高橋広人氏、（株）ファルコンの坂上寛之氏にご指導・ご協力いただいた。ここに感謝の意を表す。参考文献 1) 臼田裕一郎・長坂俊成（2008）：相互運用技術による分散システムの連動手法の開発，第 2 回シンポジウム「統合化地下構造データベースの構築」予稿集， pp37-40．