SJimbo

メモ書き-text/2d 画像から 3d モデルを作製するサービス

参考url
https://www.youtube.com/watch?v=PSU4wB8WkzA
https://www.youtube.com/watch?v=v5A30BtVHMQ

Llama-mesh https://github.com/nv-tlabs/LLaMA-Mesh
: 2024/11月 – localでも動かせる + blenderのextensionもある。localで動かすなら、これが面白そう。interfaceが提供されているのが嬉しい。

Top 1: https://www.tripo3d.ai/app/home
: onlineで行うなら、これがよさそう。image to 3d-modelだが、3d-model作成の制度が非常に高い印象。
Top 2: https://www.meshy.ai/
Top 3: https://hyperhuman.deemos.com/chatavatar

Copilot調べ

テキストから3Dモデルを作成する方法

  1. 3DTopia
    • 概要: 3DTopiaは、テキストから3Dモデルを生成するための二段階モデルです。最初の段階でディフュージョンモデルを使用して候補を生成し、次の段階で選ばれたアセットを精緻化します。
    • GitHubリンク: 3DTopia 1
  2. Meshy
    • 概要: Meshyは、テキストから3Dモデルを生成する無料ツールです。簡単な操作で3Dモデルを生成でき、無料プランと有料プランがあります。
    • 詳細情報: Meshyの使い方 2
  3. DreamFusion
    • 概要: DreamFusionは、テキストから3Dモデルを自動生成するAIです。大規模なデータセットを使用して高品質な3Dモデルを生成します。
    • 詳細情報: DreamFusion 3

画像から3Dモデルを作成する方法

  1. Stable-DreamFusion
    • 概要: Stable-DreamFusionは、NeRFとディフュージョンモデルを使用して、テキストおよび画像から3Dモデルを生成するツールです。<- 2023年に発表されたもので、当時は革新的な印象だが、今では古く、実用に耐えない印象。
    • GitHubリンク: Stable-DreamFusion 4 : https://github.com/ashawkey/stable-dreamfusion
  2. Generating-3d-model-from-2d-images
    • 概要: このプロジェクトは、2D画像から高精度な3Dモデルを自動生成するためのアプローチを提案しています。構造マスキングネットワークとポイントクラウド法を使用します。 … 開発段階な印象。
    • GitHubリンク: Generating-3d-model-from-2d-images 5
  3. Zero-1-to-3
    • 概要: Zero-1-to-3は、単一の画像から3Dオブジェクトを生成するためのゼロショットモデルです。複数の視点からの再構成を行います。<-同じく当時としては革新的だけど、現状難しい印象。
    • GitHubリンク: Zero-1-to-3 
      https://zero123.cs.columbia.edu/