github : https://github.com/nv-tlabs/LLaMA-Mesh
参考にさせていただいたsite : https://zenn.dev/cloudyfluid/articles/c6861ec522a791
pythonにrequirement.txtの内容をinstallしていくわけですが、仮想環境の作製をします。condaでもよいですが、最近anacondaが有料になったりとvenvでの実装のほうが主流になっているように感じますので、今回はそっちで。
手順のまとめ
- コマンドプロンプトまたは PowerShell を起動
- cd C:\Projects (仮想環境を作成したいディレクトリに移動)
- python -m venv LLaMA-mesh (仮想環境を作成)
- LLaMA-mesh\Scripts\activate (コマンドプロンプトの場合) または .\LLaMA-mesh\Scripts\Activate.ps1 (PowerShellの場合) (仮想環境をアクティベート)
- pip install -r requirements.txt (パッケージをインストール)
- deactivate (仮想環境を非アクティベート)
python app.pyを実行
メモ : 変更点
app.pyを走らせると、どうやらcpuで実行してるよう… gpuを使ってくれない。
gpuを使うようにcuda (ver12.4 )を合わせてインストールした。
またmyapp.pyとしてgpuを使用しているか確認できるようにした。
gpuは使ってくれるようになったが、実行速度が改善しない… rtx3090だとメモリー不足？(llama3.1-8bを使っているとのことだが、量子化されていないとか？)