動画フレームを抽出する

FrameExtractor クラスは、MediaItem からデコードされたフレームを効率的に抽出する方法を提供します。

一般的なユースケースは次のとおりです。

  • サムネイルの生成: 動画ギャラリーやシークバー用の高品質なサムネイルを作成します。
  • 動画編集のプレビュー: エディタのタイムラインに正確なフレーム プレビューを表示し、ユーザーがコンテンツをシークしてフレームを正確に視覚化できるようにします。
  • 抽出中にスケーリング、切り抜き、回転などの変換を直接適用し、別の後処理ステップを回避します。
  • コンテンツ分析: フレームを一定間隔で抽出し、シーン検出、オブジェクト認識、品質管理などのタスクのために分析パイプラインに送信します。

概要

FrameExtractor を使用するには、次の 2 つの手順を行います。

  1. 抽出ツールをビルドする: FrameExtractor.Builder を使用してインスタンスを作成します。検査する Context と MediaItem をビルダーに渡します。Builder で構成メソッドをチェーンして、高度な設定を行うこともできます。
  2. フレームを抽出する: getFrame() を呼び出して特定のタイムスタンプでフレームを抽出するか、getThumbnail() を呼び出して代表的なサムネイルをリクエストします。これらのメソッドは非同期で、ListenableFuture を返します。そのため、複雑なデコード作業でメインスレッドがブロックされることはありません。

Kotlin

suspend fun extractFrames(context: Context, mediaItem: MediaItem) {
  try {
    // 1. Build the frame extractor.
    // `FrameExtractor` implements `AutoCloseable`, so wrap it in
    // a Kotlin `.use` block, which calls `close()` automatically.
    FrameExtractor.Builder(context, mediaItem).build().use { extractor ->
      // 2. Extract frames asynchronously.
      val frame = extractor.getFrame(5000L).await()
      val thumbnail = extractor.thumbnail.await()
      handleFrame(frame, thumbnail)
    }
  } catch (e: Exception) {
    handleFailure(e)
  }
}

ExtractFrames.kt

Java

public void extractFrames(Context context, MediaItem mediaItem) {
  // 1. Build the frame extractor.
  // `FrameExtractor` implements `AutoCloseable`, so use try-with-resources
  // so that the resources are automatically released.
  try (FrameExtractor frameExtractor = new FrameExtractor.Builder(context, mediaItem).build()) {
    // 2. Extract frames asynchronously.
    ListenableFuture<FrameExtractor.Frame> frameFuture = frameExtractor.getFrame(5000L);
    ListenableFuture<FrameExtractor.Frame> thumbnailFuture = frameExtractor.getThumbnail();

    ListenableFuture<List<Object>> allFutures = Futures.allAsList(frameFuture, thumbnailFuture);
    Futures.addCallback(
        allFutures,
        new FutureCallback<List<Object>>() {
          @Override
          public void onSuccess(List<Object> result) {
            handleFrame(Futures.getUnchecked(frameFuture), Futures.getUnchecked(thumbnailFuture));
          }

          @Override
          public void onFailure(Throwable t) {
            handleFailure(t);
          }
        },
        directExecutor());
  }
}

ExtractFrames.java