2017年10月25日 星期三

以分鏡表為基礎之自動化摘要影片剪輯

在數位化科技發達之後,人們利用精巧的數位儲存播放媒介或透過網際網路獲得更多的數位影片(digital video)資料,這些數位影片可能是舊有類比資料數位化之產物,也可能是新拍攝之純數位影片。目前大多數的傳統影音媒體出版業者對於影片的存放是直接將影片透過數位化的過程儲存成數位檔案,並未包含相關資訊可供未來以不同形式出版時利用。因此當出版業者需要將影片進行出版或是從龐大的視訊庫中尋找需要的內容(甚至是內容中的某個片段)、從大量的視訊資料中過濾出個人指定的視訊資料、以及從冗長的視訊中做一些綜合性的整理與瀏覽資料,這些工作目前仍大都由人工處理,導致時間和人力成本的浪費。

針對影片的檢索,早期的方法是用文字將影片進行標識,這顯然不是基於影片本身內容的檢索,對於影片內包含的龐大資訊內容無法準確的以文字加以描述,因此基於內容的檢索是多媒體資料庫的關鍵技術。內涵式影像檢索系統(content-based image retrieval)是透過程式自動擷取特徵,例如顏色、外型、紋理等,並歸納特徵內容的差異來做自動化的影像檢索。可是這些方法都過於複雜且仍無法正確識別影片中大量有意義的資料。

此外,隨著智慧型行動裝置的普及,讓數位影音服務的需求大幅提升,而大量的多媒體檔案若能以更有效率的自動化分類與檢索技術加以儲存和管理,可以大幅減少人力與金錢的花費。


上圖則是一個以分鏡表為基礎之自動化摘要影片剪輯系統,有別於以往其他研究以:

  1. 單一畫面、單一像素做為分析單位
  2. 以物件為單位做索引
  3. 分析影片中各鏡頭轉換處
  4. 分析影片中各場景所包含的意圖
  5. 以語意網絡分析影片內涵(分析由受試者在觀看完整影片後,所表達最直接的感受陳述之逐字稿)

上述研究無法精準分析出影片內容實際含意、檢索影片中之精彩內容或重要關鍵字。本系統則利用於分鏡表編撰階段就已具備之人物對話、旁白字幕、背景音樂、鏡頭轉換方式等資訊做精準影片內容檢索,自動化建立影片的濃縮摘要,以應用在學習影片與商業電影的預告片剪輯、或是快速預覽影片內容。

沒有留言:

張貼留言