日付を表す文字列の解釈と暦の変換－暦に関する統合基盤の構築に向けて関野樹（総合地球環境学研究所）山田太造（東京大学史料編纂所） www.hutime.jp 1 時間情報の解析環境時間を専門に扱うソフトウェアの登場時間に関する基盤情報を充実させる取り組み GISとの連携による本格的な時空間解析 HuTime www.hutime.jp 検索 2 1 時間情報のための知識・技術の集積－「時間情報学」地域研究年代学歴史学書誌学 … 統計学位相幾何学 … www.hutime.jp 3 基盤情報－時間情報解析のための3種類の知識時間基盤情報 (1) 基本年表ベース地図 (2) 時間名辞書地名辞書 (3) 暦法変換測地系変換 www.hutime.jp 4 2 暦に関する知識が必要な例ドナティ彗星 (C/1858 L1) Kometa Donati nad pařížským ostrovem Ile de Cité s Justičním palácem a Conciergerií 5. října 1858 (z desky v The World of Comets 1877, Amedée Guillemin) http://www.komety.cz/article.php3?sid=259 日本での出現記録ハーバードでの観測記録 The page from Bond's observing notebook at the Great Refractor at Harvard. 勘申彗星出現之事安倍晴雄著『安政戊午仲秋聞書』 http://www.komety.cz/article.php3?sid=259 http://library.nao.ac.jp/kichou/open/009/index.html www.hutime.jp 5 暦に関して必要な知識月、日の表現を知っていること漢数字が読めること八月十六日年号：安政年：戊午年号を伴っていること「安政」が年号であること月：8 日：16 和暦（天保暦）であること安政戊午「戊午」が干支による年であること書名『安政戊午仲秋聞書』より年月日の表現の順序を知っていること Sept が9番目の月であること 1858 Sept 28 www.hutime.jp 年：1858 月：9 日：28 1858-09-22 1858-09-28 米国がグレゴリオ暦を用いてること 6 3 暦に関して必要な知識日付の表記に関する知識 • • • • 年月日の表現順序や区切り文字使用される文字月などの名前や略称特定の日を表す用語暦そのものに関する知識 • どの地域、どの時代にどの暦が使われたか？ • 暦の運用方法の違い暦に関する知識を集約する暦同士の関係に関する知識 • それぞれの暦を基準の暦に置き換える方法（暦変換）データの入出力に関する知識 • データ入出力の仕様 • 材料からのデータの抽出方法暦に関する統合基盤単なる暦変換を超えて・・・日付の表現や暦そのもの関する知識も含めて再利用できるようにするデータの入出力を共通化する www.hutime.jp 7 暦に関する統合基盤 www.hutime.jp 8 4 本研究での範囲統合基盤の基本機能の構築と検証日付文字列の解釈ユリウス／グレゴリオ暦和暦漢字の読み取り、年月日の様々な表現ユリウス通日年月日によらない日付表現暦の変換機能ユリウス／グレゴリオ暦和暦基本的な解釈の仕組み計算式による変換不規則な例外を含む変換（データベースによる変換）ユリウス通日基準軸となる暦実用レベルのサービス提供技術的要件 .NET Frameworkをベース Webページでのサービス提供検証 Excelのマクロとしての利用を見込む www.hutime.jp 9 日付文字列の解釈－書式指定の方法日付文字列の書式指定書式指定子と任意の文字の組み合わせて指定４ケタの年の指定子 ISO8601形式の場合２ケタの月の指定子２ケタの日の指定子 yyyy-MM-dd 区切り文字入力時指定された書式に従っているものとして日付文字列を解釈出力時指定された書式に従って日付文字列を出力 yyyy-MM-dd www.hutime.jp 2013-12-13 解釈可能 2013/12/13 解釈不可 10 5 日付文字列の解釈－書式指定子書式指定子基本的な指定子（例） yyyy 4桁の年 MM 2桁の月 dd 2桁の日など（.NET Framework の仕様に準拠）暦ごとに拡張された指定子ユリウス／グレゴリオ暦（西暦）（例） Y 紀元前の表記に対応した年：紀元1年は1 ；紀元前1年は1 ”A.D.", "B.C." を伴って使うことを前提（基本の y は、連続した数値としての年：紀元1年は1; 紀元前1年は0）和暦数字、干支、月名などに対応（例） yK MJ dK dE 一, 元, …, 一〇, 十, …, 二〇, 二十, 廿, …, 三〇, 三十, 卅睦月, 如月, 弥生, …, 霜月, 師走一, 朔, …, 一〇, 十, …, 二〇, 二十, 廿, …, 三〇, 三十, 卅, …, 晦甲子, 乙丑, 丙寅, 丁卯, …, 壬戌, 庚亥 www.hutime.jp 11 日付文字列の解釈－書式指定子書式指定子（続き）ワイルドカード日付文字列の解釈に柔軟性を持たせる年月日のワイルドカード（例－和暦の日の書式） dK 日の漢数字によるあらゆる表現 da 日のすべての表現一, 朔, …, 一〇, 十, …, 二〇, 二十, 廿, …, 三〇, 三十, 卅, …, 晦 d （1, 01, …, 30） + dE （甲子, …, 癸亥） + dK 任意の文字のワイルドカード * 0文字以上の任意の文字 ? 任意の1文字ワイルドカードの適用例 gg*ya*Ma*da* 平成二五年一二月一三日平成25年12月13日平成廿五年十二月十三日平成25/12/13 平成癸巳師走癸丑 www.hutime.jp 12 6 日付文字列の解釈－処理の流れ入力データ平成弐伍年壹弍月壱参異体字等処理後平成二五年一二月一三東京大学史料編纂所のデータより可能性のある書式を複数指定最初に解釈に成功したものを採用解釈の結果年号：平成年： 25 月： 12 日： 13 暦変換などの処理へ（切り分けられた状態） www.hutime.jp 13 暦変換基準軸暦A ユリウス通日 • 紀元前4713年1月1日正午からの日数ユリウス通日 • 不連続が無い暦B 各暦はユリウス通日との相互変換を実現できるようにする２つの変換方法計算式による変換ユリウス／グレゴリオ暦（西暦） • 恣意的な変更や変異が少ない（ユリウス暦からグレゴリオ暦の改暦のみ） • 仕組み（月の日数、置閏法）が比較的単純で一定データベースによる変換和暦 • 恣意的な変更が多い（月の大小） • 変異がある（南朝・北朝） • 仕組みが複雑で変化する（天保暦、宣明暦、儀凰暦・・・） www.hutime.jp 和暦で使われているデータベース月テーブル各月の朔日のユリウス通日と年の年番号（皇紀に相当）を記録年号テーブル各年号が使われた期間をユリウス通日で記録 14 7 暦変換－実装基本機能暦変換にかかる全体の調整 API 外部からの利用を共通化する ※今回は見送り暦モジュール・暦に応じた日付文字列の解析機能・ユリウス通日との相互変換機能を実装暦カタログ暦そのものに関する情報・使用地域や期間・実装されているモジュール名 ※今後、他の暦へも対応してゆく予定 ※今回は見送り（対応する暦が増えたら構築） www.hutime.jp 15 結果の出力結果は日付文字列として出力書式指定 • 文字列解析（入力時）を基本的に同じ • 使用できない書式指定子（ワイルドカードなど）がある • 出力だけで使える書式指定子（漢数字の表現など）がある（例） dK1 dK1b dK2 dK3 一, …, 一〇、一一, …, 二〇, 二一, …, 三〇, 三一朔, …, 一〇, 一一, …, 二〇, 二一, …, 晦一, …, 十, 十一, …, 二十, 二十一, …, 三〇, 三一一, …, 十, 十一, …, 廿, 廿一, …, 卅, 卅一出力例ユリウス／グレゴリオ暦（西暦） 1703年1月30日年号和暦に対応した年 ggyK2年(yW/yE)MK2月dK2日漢数字の年和暦年の干支漢数字の月出力書式漢数字の日元禄十五年(1702/壬午)十二月十四日（赤穂浪士討ち入り） www.hutime.jp 16 8 サービスの提供暦変換フォーム検索 HuTime 既定の書式和暦（入力） gg*ya*Ma*da* gg*ya*Ma*朔da* （出力） ggy年MMM月d日ユリウス／グレゴリオ暦（西暦）（入力） gg*Y-M-d ya*Ma*da* （出力） gg YYYY-MM-dd 入力方法改行で区切って複数のデータを入力可能 http://www.hutime.jp/basicdata/calendar/form.html www.hutime.jp 17 検証（１）どれだけの史料に対応できるか－和暦東京大学史料編纂所のデータベースに含まれる日付の表現がどの程度変換できるか？平成25年12月13日・・・元年壱年々年一年１年貮年２年弐年貳年 2年・・・・・・・・・寶亀宝亀寳亀寳龜宝龜寶龜天應天応延暦大同孟冬初冬拾月 10月十月小春応鐘閏１０月後小春閏拾月廿壱日貳拾壱日二拾壱日貮拾壱日念壱日念一日廿一日貮拾一日弐拾弐日弐十弐日結果年号正解率 317/333 年正解率 1165/1167 月正解率 214/395 日正解率 363/372 ・・・・・・・・・・・・大半の史料に対応できると考えれる • 年号、年、月、日をそれぞれ置き換えて変換する。 • 必要に応じて、ほかの要素も調整（閏月など） • 和暦から和暦への変換を実施し、同じ日付を返すかを確認 www.hutime.jp 18 9 検証（２）処理速度同じデータ平成二五年八月二八日を複数件入力し変換。平成二五年八月二八日平成二五年八月二八日平成二五年八月二八日平成二五年八月二八日平成二五年八月二八日平成二五年八月二八日平成二五年八月二八日平成二五年八月二八日 • サーバと同一LANで実施（ネットワーク遅延の影響を抑える） • 和暦から西暦への変換 • 書式は既定のまま・・・結果 3,000件までであれば1秒以内に結果を出力実用的な処理速度を実現 ※ 実用上はネットワーク環境や書式指定、入力データの複雑さの影響を受けると考えられる www.hutime.jp 19 統合基盤の応用と今後の課題応用 • Webページや他のアプリケーション（HuTimeなど）への組み込み（APIの実装） • 史料からの日付文字列の抽出構造化されたテキストでの応用 • セマンティックWeb －異なる暦法による同じ日付の関係課題 • 対応する暦を増やす • 暦や日付の表現に関する知識の蓄積 • 時間名辞書との連携 www.hutime.jp 20 10