Huggin Faceにモデルをアップロードする
ファインチューン済みのモデルをTogether AIていうSaasでホストして推論しようと思ったんだけど、実際やってみるとHugging Faceからしか読み込めないっていうことがわかったよぃ
Cloud Runとかで直接ホストする方法もあるけど、HF使いこなせたらあとあと便利そう、てわけでアップロードに挑戦してみたら、めちゃ簡単だったよぃ
学習済みモデルの用意
まず、学習済みモデルをお手元に用意するよぃ
あーしが作ったLoRAの場合こんな感じのファイル構成
.
├── README.md
├── adapter_config.json
├── adapter_model.safetensors
├── added_tokens.json
├── chat_template.jinja
├── special_tokens_map.json
├── tokenizer.json
├── tokenizer.model
└── tokenizer_config.json
adapter_config.json（LORAのメタ情報）とadapter_model.safetensors（学習済みのLoRA重み）がどんなLoRAにも共通で、あとはフレームワーク依存のファイルらしい
あーしはPEFT (Hugging Face)っていうフレームワーク使ったから、たぶんそのファイルも含まれてるよぃ
ちなみにLoRAって、完全なモデルではなくて、一部の層を差し替えるパッチ的なものなんだけど、モデルとしてHugging Faceにアップロードできるよぃ
hfコマンドのインストール
brew install huggingface-cli
HFログイン
hf authでログイン- HFのAPIトークンを求められるから、右上のユーザーアイコン>Access TokenからWRITE権限のAPIトークン作ってコピペ
モデルをアップロード
- 右上のユーザーアイコン>New Model からリポジトリ作成
hf upload SachikoNitta/pillow_street_lora [ファイルパス]
HFに上げてみてわかったけど、ルートのREADME.mdがモデルカードになるみたい
リポジトリの公開範囲はprivateとpublicが選べるよぃ