構造化データを活用したインバウンドアプリケーションへのコンテンツ展開 2016.11.10 NHK放送技術研究所浦川真 NHKワールドが保有するコンテンツは、インバウンドアプリケーションに有用か food Radio Live TV VOD Culture Web Article news 2 ISWCに合わせて開催されるアイディアソン／ハッカソンに、 NHKワールドのコンテンツを提供することで、実際の利用により近い状況での検証をおこなう。 ※LOD形式でのデータ公開は期間限定での検証 3 6～7月：合意形成 ↓ 1.5か月：データ構造化作業 8月：アイディアソン ↓ 0.5か月：プロトタイプ開発 9月：ハッカソン ↓ 1.0か月：学会用アプリ開発 10月：国際学会 4 インバウンドアプリケーションに有用なコンテンツとは？ [仮説] サービス面から見ると・・・日本を知ることができるコンテンツ開発面から見ると・・・構造化しやすいコンテンツ  ライブ配信番組表（2日分）  VODデータ＋シーンメタ（約100本）  レシピ（約400本） 5 システム概要（データフロー）技研 EPG WEB-API 国際局サーバ（API用） csv オフラインオンライン VOD レシピ構造化 AWS 追加・更新・削除データストア（Stardog）データ変換サーバ画像処理追加 WEB-API 構造化構造化＠ISWCサイト観光情報位置情報 6 システム概要（データフロー）技研 EPG WEB-API 国際局サーバ（API用） csv オフラインオンライン VOD レシピ構造化 AWS 追加・更新・削除データストア（Stardog）データ変換サーバ画像処理追加 WEB-API 構造化構造化＠ISWCサイト観光情報位置情報 7 構造化のポイント EPG 構造化したEPG：・http://www3.nhk.or.jp/nhkworld/en/tv/schedule/ ※2日分の放送予定を毎日定時に取得してRDF化する必要があるため、基本的な情報での構造化のみ 20161001T12:00:00 nw:onair 20161001T12:30:00 nw:onairEnd 2054 E001 nw:title Trails to Tsukiji nw:seriesId nw:airingId 003 nw:description This program showcases Japanese food ingredients. Today‘s focus is the black paper-like seaweed・・・ 8 システム概要（データフロー）技研 EPG WEB-API 国際局サーバ（API用） csv オフラインオンライン VOD レシピ構造化 AWS 追加・更新・削除データストア（Stardog）データ変換サーバ画像処理追加 WEB-API 構造化構造化＠ISWCサイト観光情報位置情報 9 構造化のポイント VOD 構造化したVOD：・Journesy in Japan（http://www3.nhk.or.jp/nhkworld/en/tv/journeys/）・Tokyo EYE2020（http://www3.nhk.or.jp/nhkworld/en/tv/tokyoeye2020/） ※随時更新不要のため、Dbpediaとのエンティティリンキングを実施 ※30分尺が基本であるため、ピンポイント視聴を可能とするシーンメタを付与 http://www3.nhk.or.jp/nhkworld/en/vod/up date/episodes/20160628 nw:link yyyymmddhhmm nw:id nw:publishDate nw:hasloaction V001 L122 nw:hasScene rdfs:seeAlso S342 文字エリア抽出（画像処理） ↓ 人手でDbpediaとのリンク dghaherhn66pkg nw:tc 150s Dbpedia/resouse/nagasaki rdfs:seeAlso nw:title Journeys in Japan http://dbpedia.org/resource/Castella nw:subtitle A Taste of Nagasaki 10 シーンメタの生成 VOD 画像処理ツール（※ＮＨＫ技研開発）を使い文字領域の抽出を行い、手動でアノテーション・データ構造化画像処理モジュールとその処理結果文字有無判定モジュール Dbpediaリソースの登録文字入力 RDFストアへ登録 11 シーンメタの生成 VOD s 付与したシーンメタの一例 http://nwlod.nhk.or.jp/V200 7261 http://nwlod.nhk.or.jp/V200 7261 http://nwlod.nhk.or.jp/V200 7223 http://nwlod.nhk.or.jp/V200 7223 http://nwlod.nhk.or.jp/V200 7235 http://nwlod.nhk.or.jp/V200 7232 http://nwlod.nhk.or.jp/V200 7258 scene_k http://nwlod.nhk.or.jp/V200 7261_s356 http://nwlod.nhk.or.jp/V200 7261_s355 http://nwlod.nhk.or.jp/V200 7223_s167 http://nwlod.nhk.or.jp/V200 7223_s168 http://nwlod.nhk.or.jp/V200 7235_s128 http://nwlod.nhk.or.jp/V200 7232_s101 http://nwlod.nhk.or.jp/V200 7258_s327 word tc dbpedia Minami Ise Town 279 http://dbpedia.org/resource/Minami ise,_Mie Kashiko-jima Island 112 http://dbpedia.org/resource/Kashik o_Island Himeji Station 161 http://dbpedia.org/resource/Himeji _Station Himeji Castle 183 http://dbpedia.org/resource/Himeji _Castle Kokuto shochu 1002 http://ja.dbpedia.org/resource/奄美黒糖焼酎 Unidon 1651 http://ja.dbpedia.org/resource/ウニ丼 Jigen-ji 1009 - 12 システム概要（データフロー）技研 EPG WEB-API 国際局サーバ（API用） csv オフラインオンライン VOD レシピ構造化 AWS 追加・更新・削除データストア（Stardog）データ変換サーバ画像処理追加 WEB-API 構造化構造化＠ISWCサイト観光情報位置情報 13 構造化のポイントレシピ構造化したレシピ：・http://www3.nhk.or.jp/nhkworld/en/food/#recipes ※日本語と英語が一元管理されたエクセルとしてデータが存在したため、日本語と英語でセットで参照できるよう構造化 Broiled Sardines in Kabayaki Sauce@en nw-recipe:title いわしのかば焼き@ja nw-recipe:title R001 hasIngredientRelation nw-recipe:quantity RI01 1尾 nw-recipe:hasIngredient I94 hasDirection nw-recipe:name いわし@ja sardines @en RS01 nw-recipe:order nw-recipe:title 3 nw-recipe:title 火を止め、混ぜておいた【たれ】を回しかける。弱火にかけ、スプーンでたれをすくってかけ、全体になじませる。@ja Turn off the heat and drizzle the sauce over the fillets. Place over low heat and repeatedly spoon the sauce over the fillets until they are fully coated. @en 14 データ仕様【語彙】語彙 PREFIX 名前空間 RDF rdf http://www.w3.org/1999/02/22-rdf-syntax-ns# RDF Schema rdfs http://www.w3.org/2000/01/rdf-schema# XML Schema xsd http://www.w3.org/2001/XMLSchema# OWL owl http://www.w3.org/2002/07/owl# NHK world EPG/VOD nw http://nw-lod.nhk.or.jp/ NHK world Recipe nw-recipe http://nw-lod.nhk.or.jp/recipe# ※NHKワールドの名前空間は本検証期間のみのために設けています。【クラス】Class 説明 nw:EPG ライブ配信番組表を表すクラス nw:VOD VOD動画を表すクラス nw:Scene 動画のシーンを表すクラス nw:Keyword キーワードを表すクラス nw:Location VOD動画が対象とする地名を表すクラス nw-recipe:Recipe レシピを表すクラス nw-recipe:IngredientRelation レシピと食材の仲介するためのクラス nw-recipe:Ingredient 食材を表すクラス nw-recipe:Direction 料理の手順を表すクラス nw-recipe:Preparation 料理の下ごしらえを表すクラス 15 データ仕様【属性】 ※EPG・VOD Property 種別 Domain Range 説明 nw:hasScene Object Property nw:VOD nw:Scene 各VODに紐づけられたシーン nw:hasKeyword Object Property nw:VOD nw:Keyword 各VODた対象とするキーワード nw:hasLocation Object Property nw:VOD nw:Location 各VODた対象とする地名 nw:title Data Property xsd:string タイトル xsd:string サブタイトル xsd:string 概要 xsd:string 番組内容文 xsd:anyURI WEBサイト xsd:anyURI サムネイル nw:EPG nw:VOD nw:Scene nw:subtitle Data Property nw:description Data Property nw:content Data Property nw:link Data Property nw:thumbnail Data Property nw:EPG nw:VOD nw:EPG nw:VOD nw:EPG nw:EPG nw:VOD nw:EPG nw:VOD nw:Scene nw:onair Data Property nw:EPG xsd:dateTime 番組開始日時 nw:onairEnd Data Property nw:EPG xsd:dateTime 番組終了日時 nw:publishDate Data Property nw:VOD xsd:dateTime 動画公開日時 nw:expireDate Data Property nw:VOD xsd:dateTime 動画公開終了日時 nw:duration Data Property nw:VOD xsd:int 動画の長さ（秒） nw:id Data Property nw:VOD xsd:string 動画再生用ID nw:tc Data Property nw:Scene xsd:int rdfs:seeAlso Data Property nw:genre Data Property nw:VOD nw:Scene nw:EPG 動画におけるシーンのIN点（秒） ※動画冒頭からの秒数 xsd:anyURI VODやシーンからDbpediaリソースへのリンク xsd:string 番組ジャンル 16 データ仕様【属性】 ※レシピ：抜粋 Property 種別 Domain Range nw－recipe:hasDirections Object Property nw－recipe:Recipe nw－recipe:Directions 各レシピに紐づく手順説明 nw－recipe:hasIngredientRelation Object Property nw－recipe:Recipe nw-recipe:IngredientRe各レシピに紐づく食材への仲介 nw－recipe:hasIngredients Object Property nw-recipe:IngredientRelation nw－recipe:Ingredient 各レシピに紐づく食材 nw－recipe:hasPreparations Object Property nw－recipe:Recipe nw－recipe:Preparation各レシピに紐づく下ごしらえ nw－recipe:title Data Property nw－recipe:Recipe xsd:string レシピ名（日本語／英語） xsd:string 手順名（日本語／英語） xsd:int 調理時間（分） nw－recipe:Direction nw－recipe:Preparation nw－recipe:duration Data Property nw－recipe:Recipe 難易度（日本語／英語） nw－recipe:difficulty Data Property nw－recipe:Recipe xsd:string 例） nw－recipe:EnglishURL Data Property nw－recipe:Recipe xsd:anyURI レシピ掲載WEBサイト（英語版） nw－recipe:JapaneseURL Data Property nw－recipe:Recipe xsd:anyURI レシピ掲載WEBサイト（日本語版） nw－recipe:thumbnail Data Property nw－recipe:Recipe xsd:anyURI レシピ画像 nw－recipe:nutrition_value Data Property nw－recipe:Recipe xsd:int 摂取カロリー（kcal） nw－recipe:yield_value Data Property nw－recipe:Recipe xsd:int 作れる料理の対象数 nw－recipe:yield_unit Data Property nw－recipe:Recipe xsd:string 作れる料理の対象（単位） nw－recipe:quantity Data Property nw－recipe:Ingredient nw－recipe:name Data Property nw－recipe:Ingredient 「簡単／普通／難しい」／「easy／average／difficult」 nw－recipe:order Data Property nw－recipe:Direction nw－recipe:Preparation 必要な食材の数量 xsd:string 食材名（日本語／英語） xsd:int 調理手順番号 17 神戸関連データ観光地／レストラン／カラオケ ※最終的なデータは，若干のデータ構造（プロパティ）の修正がされています Observation deck on the 24th Floor of Kobe City Hall (the Building #1)"@en rdfs:label ８ geo:lat 34.689467 rdfs:label 神戸市役所１号館24階@ja schema:adress ishk:dbpediaLink geo:long 神戸市中央区加納町6"@ja 6-5-1 Kano-cho, Chuo-ku, Kobe"@en http://ja.dbpedia.org/resource/神戸市役所 135.195755 rdfs:comment rdfs:comment 都心市街地からウォーターフロントにかけての景色を180度以上の大パノラマで楽しむことができる。・・・@ja The Observation Deck at the Kobe City Hall offers beautiful panoramic views ・・・@en 18 ISWC2016＠KOBE連携ハッカソンセマンティックとウェブオントロジー研究会（人工知能学会）に協力して開催  日時  8月20日：アイディアソン＠神戸 → 9月  参加者 3日：ハッカソン＠神戸  国内外のエンジニア（大学・企業など）約20～25名  開発されたアプリケーション  Japanese menu guide： ISWC2016アプリに採用！！日本語メニューを撮影して食べ物名から各種情報を提示  After Fiver 学会終わりの外国人に神戸で寄り道してもらうアプリ  Kobe Lifeline：災害・緊急時に必要な情報を、旅行者にわかりやすく提示  Food Challenge：日本の料理（チャレンジメニュー）や、故郷の料理に近い料理（安全なメニュー）を提示 19 ISWC2016に向けた開発 10月17~21日に、神戸で開催されるISWC参加者に利用してもらい、アンケートやログからデータ構造化の有用性について検証する。【AfterFiver】今いる場所＋目的地＋使える時間から、観光地（LOD）を地図上に表示【Japanese Cature】分からない日本語を撮影し DbpediaやNHKレシピ（LOD）などを表示 20 AfterFiverについて学会終わりに何しよう？ →学会会場にいて、新神戸駅のホテルに1時間で戻りたい。今いる場所行きたい場所使える時間 ②候補地のエリアを限定した上で、各候補地へのルート検索し所長時間を取得（Google Direction API）地図表示 2 １ 3 ①神戸LODから結果表示データ取得（SPARQL） ③各候補地の平均滞在時間＋移動所要時間が、ユーザー指定の所要時間以内の候補地のみ結果表示神戸 LOD 例） 5分１ 60分 40分＝105分詳細表示 ④候補地名から画像検索（Google Custom Search API） ⑤NHK LODからコンテンツ取得（SPARQL) 21 JapaneeCaptureについてこの文字はどういう意味？ →日本語しかないメニューから、情報を取得したい。 ①画像から文字領域・内容取得（Google Cloud Vision API）詳細表示 ②選択された文字列から情報取得 (Google Translate API) （Google Custom Search API） (Dbpedia: SPARQL) (NHK LOD: SPARQL) 22  データ集計  徐々に「JapaneseCapture」利用の占める割合が高くなっている。全日程ユニークユーザー数全機能操作回数 10/17 10/18 10/19 10/20 10/21 222 90 89 37 47 38 AfterFiver 3378 1608 998 399 373 32 JapaneseCapture 1764 276 639 533 316 11 319 127 60 41 91 10 WatchTV  アンケート調査結果  サービス設計とGUIは良いが、神戸以外のデータも追加してほしい。  レストランというジャンルから、さらにフィルター（「神戸牛」のみ等）して表示してほしい。  スポットに関連する動画は不要という意見もあり。 23 NHKワールドが保有するコンテンツは、インバウンドアプリケーションに有用か food Radio Live TV VOD Culture Web Article news 24 LOD形式にしたことで、既存のhtmlベースとは違うコンテンツ展開ができた。・外部サービスからの利用頻度の向上・ユーザーへの露出頻度の向上・サービス開発期間の短縮実際に訪日外国人向けのアプリケーションで検証できたため、コンテンツへのニーズを把握することができた。・動画をそのまま視聴するニーズは少ない・レシピといった生活に近いコンテンツはニーズがある 25 外部サービスが持っているコンテンツと、合致するコンテンツを制作している訳ではないため、媒介するためのデータ設計が必要。神社についても説明しているため、他の神社での説明にも使える。神社生田神社厳島神社生田神社「厳島神社の紅葉」紅葉 ●●寺日本の紅葉の一例として利用可能 26 動画を利用しやすいカタチへの変換・内容記述を行い、メタデータを付与してLOD化する方法を検討していく 27