Skip to content

Latest commit

 

History

History
111 lines (65 loc) · 3.89 KB

01.HF.md

File metadata and controls

111 lines (65 loc) · 3.89 KB

Verwendung der Phi-Familie in Hugging Face

Hugging Face ist eine sehr beliebte AI-Community mit umfangreichen Daten und Open-Source-Modellressourcen. Verschiedene Hersteller veröffentlichen Open-Source-LLMs und SLMs über Hugging Face, darunter Microsoft, Meta, Mistral, Apple, Google usw.

Microsoft hat die Phi-Familie auf Hugging Face veröffentlicht. Entwickler können die entsprechenden Modelle der Phi-Familie basierend auf Szenarien und Geschäftsanforderungen herunterladen. Neben der Bereitstellung von Phi-Pytorch-Modellen auf Hugging Face haben wir auch quantisierte Modelle veröffentlicht, die GGUF- und ONNX-Formate verwenden, um Endnutzern eine Auswahl zu bieten.

Modelle auf Hugging Face herunterladen

Sie können das Modell der Phi-Familie über diesen Link herunterladen:

Sie können das Modell auf verschiedene Arten herunterladen, z. B. durch die Installation des Hugging Face CLI SDK oder durch die Verwendung von git clone.

Verwendung des Hugging Face CLI zum Herunterladen von Phi-Familienmodellen

  • Hugging Face CLI installieren
pip install -U "huggingface_hub[cli]"
  • Mit huggingface-cli einloggen

Melden Sie sich bei Hugging Face mit einem User Access Token aus Ihrer Einstellungsseite an.

huggingface-cli login --token $HF_TOKEN --add-to-git-credential
  • Herunterladen

Sie können das Modell herunterladen und im Cache speichern.

huggingface-cli download microsoft/phi-4

Sie können den Speicherort anpassen.

huggingface-cli download microsoft/phi-4 --local-dir $YOUR_PATH

Verwendung von git clone zum Herunterladen von Phi-Familienmodellen

Sie können auch git clone verwenden, um das Modell herunterzuladen.

git lfs install

git clone https://huggingface.co/microsoft/phi-4

Beispiele - Inferenz mit Microsoft Phi-4

  • Installation der Transformers-Bibliothek
pip install transformers -U
  • Code in VSCode ausführen
import transformers

pipeline = transformers.pipeline(
    "text-generation",
    model="microsoft/phi-4",
    model_kwargs={"torch_dtype": "auto"},
    device_map="auto",
)

messages = [
    {"role": "user", "content": "I have $20,000 in my savings account, where I receive a 4% profit per year and payments twice a year. Can you please tell me how long it will take for me to become a millionaire? Also, can you please explain the math step by step as if you were explaining it to an uneducated person?"},
]

outputs = pipeline(messages, max_new_tokens=2048)
print(outputs[0]["generated_text"][-1])

Haftungsausschluss:
Dieses Dokument wurde mit dem KI-Übersetzungsdienst Co-op Translator übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner Ausgangssprache sollte als maßgebliche Quelle betrachtet werden. Für kritische Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die sich aus der Nutzung dieser Übersetzung ergeben.