こんにちは！私の名前はリズ・ステイリーです。私はCLIP STUDIO PAINTの長年のユーザーです（Manga Studio 4として知られていた頃からこのプログラムを使い始めました！）。私はManga Studio 5プログラムとCLIP STUDIO PAINTのベータテスターを務め、このプログラムについて3冊の本といくつかのビデオコースを執筆しました。実際、皆さんの多くは、それらの本で私の名前を知っているかもしれません。私はGraphixly.comとCSP Tipsで毎週記事を書いていますので、毎週戻ってきて、私からCLIP STUDIOのヒントやコツをもっと学んでください！

 

新しいポーズスキャナー技術の短いビデオを初めて見たとき、私は完全に感動し、「すごい！なんて素晴らしい機能だ！」と心の中で思いました。それから「どんな限界があるのだろうか？」と思いました。そして、それがこの記事で答えを見つけようとする疑問です。まず、ポーズスキャナー機能の使い方を学び、それからそれをテストして、私が発見したことをお見せします。

 

この記事では、以下のトピックについて説明します。

ポーズスキャナー機能の使用

コスチュームを着た人々の写真

ボディちゃんとうつ伏せポーズ

その他のポーズ

 

早速、この新しい技術が何ができるか見てみましょう！

 

ポーズスキャナー機能の使用

この新機能をテストする際に覚えておくべき重要な点は、これがテクノロジープレビューであり、まだ完全にリリースされていないということです。そのため、最終的な形でリリースされたときには、私が発見した問題は解消されているかもしれません。この機能のAIにはいくつかの限界を発見しましたが、全体的にはまだ素晴らしい新機能だと思います。

 

さて、ポーズスキャナーとは何でしょうか？

 

ポーズスキャナーは、読み込みオプションの新機能です。この機能は、与えられた写真をAIで分析し、CSPの3Dモデルをソース写真に合わせてポーズ付けします。

 

この機能を自分で試す前に知っておくべきこといくつか：

読み込みメニューにこの機能が見当たらない場合は、Clip Studio Paintの最新バージョンにアップデートしてください。

この機能が動作するには、インターネットに接続している必要があります。

選択した画像はインターネット接続を通じてサーバーに送信され、そこで分析された後、そのデータはCSPプログラムで検出されたポーズのおおよその近似を作成するために使用されます。その後、写真はサーバーから削除されます。写真と一緒に個人を特定するデータは送信されず、写真も保存されません。

この記事執筆時点では、AIは手を検出してポーズ付けしません。このセクションの後半で、3Dモデルの手をすばやくポーズ付けする方法について説明します！

ソース画像に複数の人物が含まれている場合、CSPは最も大きい人物のポーズを近似として選択します。

 

では、ポーズスキャナー機能を試してみましょう。まず、キャンバスを開いて準備する必要があります。この記事で使用しているキャンバスの設定は次のとおりです。

 

次に、ファイル - 読み込み - ポーズスキャナー（画像）（テクノロジープレビュー）に進みます。

この機能を初めて使用する場合、この通知が表示されます。

ポーズスキャナーを使用するたびにこのメッセージを表示したくない場合は、「今後このダイアログを表示しない」チェックボックスをクリックし、「OK」をクリックして続行します。

 

次に、ポーズスキャナーが使用する画像をデバイスから選択します。実は、私が漫画を制作していた頃の古い写真がたくさんあり、通常は参考にするための奇妙なポーズをとっている私が写っています。デスクトップのピクチャフォルダでいくつか見つけ、完璧だと思いました。特に選んだ一枚は、テクノロジーにとって挑戦的だが、願わくばそれほど難しくなく、ゼロから3Dモデルをポーズ付けするのは間違いなく大変だろうと思いました！

 

ポーズスキャンしたい画像を選択し、「開く」をクリックします。

 

次に、出力ポーズにどの3Dモデルを使用するかをCSPに伝える必要があります。私は「3Dデッサン人形 - Ver.2 (女性)」を選択しました。使用したい3Dフィギュアをクリックし、「OK」をクリックします。

CSPは写真をサーバーに送信して処理し、自動的に人物をスキャンします。AIが人物を検出しない場合、メッセージを表示してプロセスを停止します。人物を検出した場合、選択された3Dフィギュアでポーズを最大限近似しようとします。最初のテスト結果は以下の通りです。

脚と左腕はそれほど悪くありませんでしたが、AIは写真の右腕と頭がどこにあるのかについて間違いなく混乱したと思います！しかし、それは少しの微調整で修正できないことではありません。

 

モデルのポーズの仕方については、すでにTIPS記事全体を書いていますので、やり方を知らない場合はこちらで情報を見つけることができます！https://tips.clip-studio.com/en-us/articles/3627

 

ポーズスキャナーの大きな欠点の一つは、手がはっきりと見えていても、手をポーズ付けしないことです。しかし、それは問題ありません。ツールプロパティウィンドウを使用すると、モデルの手を簡単にポーズ付けできるからです。手のクイックコントロールにアクセスするには、3Dモデルが選択されていることを確認します。次に、CSPインターフェースでツールプロパティウィンドウを見つけ、右下隅にある小さなレンチのようなアイコンをクリックします。これにより、サブツール詳細オプションが開きます。

 

サブツール詳細ボックスの左側にある「ポーズ」をクリックして、ポーズオプションにアクセスします。このメニューで、「手のポーズ」オプションを見つけることができます。3Dモデルのいずれかの手をクリックすると、手のポーズコントロールを使用して指をすばやく動かすことができます。下のスクリーンショットでは、手のポーズコントロールの三角形の下にあるアイコンの1つをクリックして、モデルの各手をすばやく緩い拳にしています。

 

頭と腕の位置を少し調整し、手を変えた後、この3Dモデルは元の写真のポーズをかなりよく近似していると思います！

さて、このテクノロジーの限界が何であるかを確認するために、他のテストを行う時が来ました！

コスチュームを着た人々の写真

長年熱心なコンベンション参加者である私は、かっこいいポーズをとっているコスチュームを着た人々の写真をたくさん持っているので、ポーズスキャナーがコスチュームを着た人の写真にどのように反応するかを見てみることにしました。これらのコンベンション写真はすべて自分で撮影しましたが、写真に写っている人々のプライバシーを保護するために顔を隠します。

 

まずは、素晴らしいワンダーウーマンのコスプレイヤーが基本的な戦闘準備ポーズをとっている写真から始めましょう。これはかなり単純なポーズでしたが、腕の位置は完全に正確ではなく、元の画像に近づけるには少しの微調整が必要でした。モデルの頭もソースのようにカメラの方を向いていませんが、これも簡単に修正できます。AIが3Dモデルの足をハイヒールのブーツを履いているように動かしたことには感銘を受けました！

 

次のソース写真はウィンターソルジャーのコスプレイヤーです。このポーズは非常に基本的なものですが、AIが肉の腕ではなく金属の腕のように見える腕に対して何をするかを見たかったのです。ここで、AIがコスチュームの一部を腕として認識していないように見える問題に遭遇しました。なぜなら、モデルの左腕をまったく動かさなかったからです。

賭けを上げて、ストームトルーパーのグループを試してみましょう！全身コスチュームでヘルメットを着用していること、そしてソース写真が複数人のグループであるため、プログラムがどの人物を選択するかを見たかったので、これを試してみたかったのです。

しかし、私が受け取ったメッセージはこれでした。

したがって、鎧やヘルメットを着用した人物は人間として認識されないようです。

 

AIから最も正確な結果を得られたポーズは以下の通りで、最小限の調整しか必要ありませんでした。

 

したがって、人物の四肢がはっきりと見え、胴体との重なりが少ない鮮明な写真が、今のところ最良の結果をもたらすようです。また、全身コスチュームは、「人間型」に見えてもAIを混乱させ、人物として認識しません。

 

以下は、上記のポーズを修正したバージョンで、右手に何かを持たせるためにほうきが追加されています！

 

ボディちゃんとうつ伏せポーズ

次に試したかったのは、私が持っているデッサン用マネキンドールの写真です。SHフィギュアーツのボディちゃんを試しましたが、残念ながら「この写真で人物は検出されませんでした」というメッセージが表示されました。これはかなり残念です。なぜなら、物理的なデッサン人形をポーズさせる方がデジタル人形をポーズさせるよりもはるかに簡単だと感じることもあるからです。しかし、物理的な人形の写真からポーズをスキャンして、後で他の角度から使用するために保存できるとしたら素晴らしいでしょう！

ボディちゃんとの試行を続け、無料のストックフォトサイトから入手したうつ伏せポーズをいくつか試すことにしました。以下の最初のテストでわかるように、これはCSPが最も苦手とするポーズの種類のようです。

AIがこれをどのように解釈しようとしたのかはわかりますが、モデルが画面に表示されたときには大笑いしてしまいました！そこで、別の画像を試しました。今回は全身がはるかに鮮明に見えるものです。

まあ、それほど良くはありませんでした！そこで、ソースの人物がお腹を下にして寝ていることに関係があるのか​​疑問に思いました。CSPがそのような方法で人物を回転させることができないのか、あるいはAIがモデルがそのように向きを変えていることを認識していないのか、と考えました。そこで、別のポーズを試しました。そして、出てきた実際の3Dモデルを、立っている状態でこのポーズをとらないように回転させた後、完璧とは程遠いものの、実際にはかなり近いと思います。

したがって、人間型の可動フィギュアは機能しないようです（私が持っている灰色のものだけでなく、肌色のものだったらどうなるか疑問ですが！）。また、多くの回転やリクライニングを伴うポーズもAIを本当に混乱させるようです。あるポーズをAIに2回試したところ、どちらも異なる結果が得られたので、結果が大きくずれている場合は、もう一度試して、AIが何か異なる解釈をするかどうかを確認してみてください！

その他のポーズ

最後に試したかったのは、集合写真と、人物の一部が隠れている写真の2枚です。

 

集合写真は基本的なものでしたが、複数人の写真では「最も大きい」人物が選択されるため、CSPがどの人物を選択するかまだ興味がありました。以下の無料ストック画像でそれが正確であることを確認しました。

 

しかし、私がそれを見たとき、中央左の青いシャツの男性が最も大きい人物だと私は言ったでしょうが、CSPは中央右のライラック色のシャツの男性を選択したようです。AIは隠された右腕について何をすべきか確信が持てませんでしたが、それはより自然に見えるように変更したり、モデルを回転させたりカメラアングルを変更して隠したりするのにそれほど難しくないでしょう。

 

最後に、人物の前に何かが遮る場合どうなるかをテストするために、馬のショーでプレゼンターを撮影した写真を選びました。この写真ではプレゼンターが馬と一緒に囲いの中にいたので、CSPが家畜パネルのバーを無視してポーズを取得するかどうか興味があり、結果にはかなり驚きました！

 

大きな水平の金属バーが前景全体を横切っているにもかかわらず、それが私のテストで得られた最も近い結果の1つでした！

結論