未完成だが大きな可能性 Apple純正アプリ「Clips」を試してわかった自動字幕と可変BGM：CloseBox（2/5 ページ）

自分が撮影したビデオにハリウッドの巨匠がサントラの尺をぴったり合わせてくれるって知ってました？

[松尾公也，ITmedia]

　Clipsは1つのプロジェクトに、その場で撮影する写真、ムービー、そしてライブラリから読み込む写真とムービーをクリップとして追加し、順番を入れ替えたりして仕上げる。LiveTitleは、それぞれにクリップ内で設定が反映される仕組みだ。

　字幕は大きさや背景色（赤）、上下位置、左寄せ、センタリングなどのバラエティーで「なし」も含めて8種類。

　字幕が表示された状態で画面上にあるLiveTitleアイコンをタップすると、表示されるテキストの種類を変更することも可能だ。文字列をタップすると、テキストの中身を変えることができる。ただし、そこには表示される時間情報も含まれているので、文字列を消すのではなく、領域指定してそれを上書きする文字列を入れるといった工夫が必要になる。

　そして、LiveTitleのレンダリングにはバグがある。LiveTitleがオンになっていないクリップで、「テキストを追加するには録音中にしゃべってください」というデフォルトの文字列が表示されてしまうことがあるのだ。その失敗例がこちら（4分50秒あたりから）。

　このLiveTitleを使ってやりたかったのは、歌詞の自動認識と、カラオケ的な歌詞表示。英語でできないものかと挑戦してみた。

　GarageBandのSmart Stringsを使ったYesterday弾き語りという、多分世界でやっているのは筆者くらいだろうというチャレンジでもあるのだが、Yesterdayの英語認識には苦労した。背景の音楽が邪魔をして、特定の音域ではうまく文字を認識してくれないのだ。だから、この動画ではバッキングの音量を小さくし、入力後にかなりのテキスト修正をかけている。

　通常だと英語の認識はしない（日本語のみ）ので、設定アプリで言語を英語優先に切り替えてもいる。

　LiveTitleで面白いのが、ライブラリにあるビデオを読み込んで使う場合だ。そこには既にオーディオトラックがあり、LiveTitleは当然その音声を認識するものと想像してしまうが、そのビデオにさらに音声を重ね、その新しい音声トラックを音声認識する仕組みなのだ。つまり、Clipsは音声を2トラック使うことができるのだ。LiveTitle化した後、それぞれのトラックを消去することもできる。

　これは、面白いことができそうだ。