Kentaro Inomata

異常個体ニシダずっと面白い

8.3K views · 153 reactions | 【AI実験室】Claudeでモーションキャプチャができる？ MediaPipeと連携したアニメーション制作 こんにちは！今日は、最新のAIツールを組み合わせた驚きの映像制作プロセスをご紹介します。 今回挑戦したのは、「実写映像から人物の動きを抽出し、キャラクターアニメーションを生成する」というプロセス。なんと、大規模言語モデルのClaude上でMediaPipeを走らせるという、一歩先を行く手法です。 1. はじまりは「ソフビ化」した自分 まず、冒頭の映像をご覧ください。この独特の質感を放つキャラクターは、Googleの最新動画生成モデル「Veo」を用いて、私自身のプロフィール映像を「ソフビ人形風」にアレンジしたものです。 2. Claude × MediaPipe の強力タッグ 次に、この動画をClaude 3.5 Sonnetにアップロードし、Googleの開発したオープンソースのフレームワーク「MediaPipe」を適用します（Claudeが内蔵しています。呼べば使えます）。 ポーズ推定（Pose Estimation）: 動画内の人物から、肩、肘、手首、腰など33箇所の関節ポイントをリアルタイムで検出。これらが「座標データ」として取得されます。 ボーン（骨格）の可視化: 背景を黒にし、取得したポイントを結ぶと、いわゆる「スティックフィギュア（棒人間）」のアニメーションが完成します。データ量が非常に軽量なのも特徴です。 3. プログラミングによる「肉付け」 骨格が完成したら、次はそのデータをもとにキャラクターを描画します。 AI画像生成モデル（ControlNetなど）を使わずとも、Claudeが得意なPythonプログラミングを駆使することで、幾何学的なパーツを各関節の座標に追従させ、人間型のキャラクターへと変身させることができます。 4. 豊富な情報をオーバーレイして「未来感」を演出 最後に、元の映像に解析データ（顔のメッシュ、手の動き、解析ログ、グラフなど）を重ね合わせることで、まるでSF映画の解析画面のような「モーションキャプチャ・アナリシス映像」の出来上がりです。 まとめ：AIが「目」と「手」を持つ時代 今回の実験で驚いたのは、AI（Claude）が単にコードを書くだけでなく、動画の内容を正確に理解し、適切なライブラリを使って視覚化までこなしてしまう点です。 元の動きを忠実に再現 全く異なるビジュアル表現への変換 複雑な解析データのリアルタイム合成 これらが、個人のPC環境で、しかもチャット形式のやり取りで実現できるようになったのは、クリエイティブの現場において非常に大きなインパクトではないでしょうか。 皆さんも、お手持ちの動画で「AIモーション解析」に挑戦してみませんか？ ＃この記事はこの動画をGeminiにアップロードして「この映像をブログ記事にして」で書かせています。 | Daiya Hashimoto 【AI実験室】Claudeでモーションキャプチャができる？ MediaPipeと連携したアニメーション制作 こんにちは！今日は、最新のAIツールを組み合わせた驚きの映像制作プロセスをご紹介します。...

おもしろ。個人的にはあえて昔のクレイアニメみたいに12fps以下で作った動画を見たい

https://www.facebook.com/share/v/188VSmKD8z/

末枯れ (@urgre) on X 37/8拍子だけど聴き続けるとだんだんノれるようになる（？）、フィンランドの呪術的トラッドバンド Värttinä - “Kivutar” の変拍子を可視化してみた

フィンランドのヴァルティナ、日本語ウィキペディアにページもある
https://x.com/urgre/status/2030226953769296335

とある女子中学でTRPG同好会が部に昇格したと聞いて、令和にそんなこと起きる？とびっくりしたが、ニコニコ動画のTRPGリプレイブームがあり若いプレイヤーが増えたと聞いて、ふーむそういうこともあるのね

植物園 (@MNabeeee) on X これは本当にそう。 アメリカは口語だけでなく本などの文語でもこの傾向が強い。たとえビジネスなどの実用書でも、序章や各章の冒頭などの前置きが長い。 「ビルはテキサスに住む34歳の電気技師だ。ある朝、通勤中にガソリンスタンドに寄って車を停めると…」的な謎のエピソードが延々と続き、

なんかわかる。アメリカっぽさはあるかも。他国はあんまりわからないけど。

https://x.com/mnabeeee/status/2027583280904868101?s=12

GitHub - matarillo/agentic-coding-experiment Contribute to matarillo/agentic-coding-experiment development by creating an account on GitHub.

人間がボトルネックにならないようにしてAIで爆速開発する、もいいけど、速度を求めずにプロダクト開発のまねごとをエージェントとともにできるか、もやってみたいので、遊んでみる https://github.com/matarillo/agentic-coding-experiment

自分用ドメインを管理してるならこの程度のことはするよねえ

エクスプローラーのシェル拡張による統合 (tortoiseXXXとかGit Extensionsとか) は、自分的には早々に捨てつつ、SIギョムの現場では必要なのかもなーとも思っていたが、そっちでももういらんやろってなったな。それはVSCodeの影響なのかも。

各種しがらみでWindowsに制約された身からの視点ということで自分の過去ツイートをたどってみてる。あわせて石坂さんのブログも確認。

2009 gitさわってみてる
2011 Windowsでgitやりたくない （msysgitは1.7とかだった）
2014 git for Windowsが安心して使えるようになったのでもうgitでよい
2015 (git for Windowsがmsys2になりgit v2系になった)

どうしてもそんな感じで出遅れるよね。

SolidJS, Vue, Svelteと比べたりもする

https://bitbucket.org/matarillo/sonartest-flaskr/src/main/docs/notes/

LLMと対話しながらReact (SPA特化、Next.js/SSR/RSCを含まないスタイル) の勉強。
https://bitbucket.org/matarillo/sonartest-flaskr/src/main/

ということで例の言いすぎ事件を覚えているので、Zineは同人誌と違うのかみたいなのを見ると……

ちなMovable Type自体は2002/9に試していた模様 （そして11月ぐらいにtDiaryのスタイルを当ててみている）
https://web.archive.org/web/20030206025852/http://skycgi.zero.ad.jp/~zab82609/foobar/archives/2002_09_06.html

2002ぐらいまでは https://www.rescue.ne.jp/cgi/history/ を置いて日記代わりにしてて、2003ぐらいにはてなダイアリーを使い始めてたっぽい

バックエンドのデモアプリでRDBMSが欲しいが、SQLiteではデータ型がなあ……というとき、DuckDBでもいいっぽい。デモアプリ程度では列指向かどうかはほとんど関係なさげ

年収2500万でも貧困層？ 米マイクロソフトに18年勤務した日本人エンジニアが「日本は健全」と語るワケ - エンジニアtype | 転職type 米マイクロソフトに18年勤務し、プリンシパル級まで登り詰めた日本人エンジニアを襲った「5分間の解雇通告」。年収2500万円でも低所得とされる米国の異常な物価、30分の手術で2250万円の請求……。行き過ぎた資本主義の最前線を見た彼が、絶望の先に見つけた「日本の健全さ」とエンジニアの真の幸せを問う約1万字のロングインタビュー。

太田さんの記事が出てた
https://type.jp/et/feature/30493/

内容はべつに普通というか、それはそうだろうなというもの

ChatGPT - 中華圏の食事マナー Shared via ChatGPT

中国系の友人がいないのでチャッピー（意図的な表記）に聞いてみた。おもしろ。
https://chatgpt.com/share/69957151-d4cc-8009-a2b2-8973256b54f1

Podcast 竹原屋 Podcast https://anchor.fm/takeharaya お便りお待ちしてます！ お名前 お便り 送信 直近のエピソード #246 デコレーター？ https://podcasters.spotify.com/pod/show/takeharaya/episodes/246-e3f3a1o #245 めんぱ https://podcasters.spotify.com/pod/show/takeharaya/episodes/245-e3efmu7 #244 ファビュラスサウンド https://podcasters.spotify.com/pod/show/takeharaya/episodes/244-e3dqr8v #243 The sky is the Limit https://podcasters.spotify.com/pod/show/takeharaya/episodes/243-The-sky-is-the-Limit-e3ckttc #242 ソフィーとダナの大冒険 https://podcasters.spotify.com/pod/show/takeharaya/episodes/242-e3ch4ue #241 喉が痛すぎた https://podcasters.spotify.com/pod/show/takeharaya/episodes/241-e3am3a0 #240 It’s show time https://podcasters.spotify.com/pod/show/takeharaya/episodes/240-Its-show-time-e38od9r #239 ハローオランダ 後編

https://takeharaya.com/podcast/

Rustに限らずだと思うけど、ゼロコスト抽象のコストとはたいてい実行時コストだろうから、コンパイル時に引き受けることになるわね。

オードリーがスーパーボール関係のロケでサンタクララにいるらしい。リーバイススタジアムだろうなあ。駐在中に住んでたとこのすぐそば。

FM音源が標準じゃなかった(2オペOPLLのMSX-MUSICもオプション)MSX民としては、PSGことAY-3-8910の音は全然好きじゃなかった。ファミコン音源ですら音のバリエーションがあって羨ましかった(Commodor64のSID音源は知らなかったが、当時なら羨んだだろう)。「ピコピコ音」として一番好きだったのはナムコの波形メモリ音源だなあ

ジョイフルがローカルチェーンのファミレスなのはそうだけど、ジョナサン、デニーズ、日高屋、富士そばみたいなのに言及するときにはローカルってつけないのは、まあちょっともやっとはするよね。

ハードウェアの制約が厳然と存在する中で、限界を超える視聴体験を詰め込むこともあれば、「もし制約がなければ……」のIFを楽しむこともあり、実演奏アレンジは後者だろうと思う

「昔からゲーム音楽は評価されていた」は疑わしいけど、「昔からゲーム音楽を好んだファンはいた」を否定する人はいなそう。
レコードやCDを出す側も、アルバムをオリジナルサウンドトラックだけで構成せず、バンドアレンジや交響曲アレンジを含めることは多々あった。でもそれが、ゲーム音楽単体で評価されてなかった証拠かと言われると、難しい

canaan (@canaan1008) on X ダブルシャープの意味も必要性も理解している一方で…… そもそも、12音のうちハ長調の7音をメインに優遇して、それ以外を臨時記号でなんとかする五線譜と鍵盤のシステムが狂っているのでは？と思っている（過激派）

ダブルシャープに関する話をXで見かけた。意義（ハーモニックマイナーなどの臨時）はわかるけどそもそもシステムがハ長調優先だからというのは結構同意。
https://x.com/canaan1008/status/2018041349631889749

ただ、今回の話題は「B♭とA♯は本来違う音だけど平均律だから同じになってる」とはあんまり関係ないのでこの話を入れると発散すると思う。

熊本の超マイナー温泉宿にきた。

太宰府天満宮: kinomata1 checked in Pathtraq user kinomata1 checked in at 太宰府天満宮

太宰府天満宮

https://pathtraq.tagomor.is/checkin/01kg9113n9rv8xqh4vttyxev8k

アップデートされるんだ

ほんとに来てる