README.md

Phi Cookbook: Praktische Beispiele mit Microsofts Phi-Modellen

Phi ist eine Serie von Open-Source-KI-Modellen, die von Microsoft entwickelt wurden.

Phi ist derzeit das leistungsstärkste und kosteneffektivste kleine Sprachmodell (SLM) mit hervorragenden Benchmarks in den Bereichen Mehrsprachigkeit, logisches Denken, Text-/Chatgenerierung, Programmierung, Bilder, Audio und anderen Szenarien.

Sie können Phi in der Cloud oder auf Edge-Geräten bereitstellen und mit begrenzter Rechenleistung problemlos generative KI-Anwendungen entwickeln.

Befolgen Sie diese Schritte, um die Ressourcen zu nutzen:

1. Repository forken: Klicken Sie auf
2. Repository klonen: git clone https://github.com/microsoft/PhiCookBook.git
3. Treten Sie der Microsoft AI Discord Community bei und treffen Sie Experten sowie andere Entwickler

🌐 Mehrsprachige Unterstützung

Französisch | Spanisch | Deutsch | Russisch | Arabisch | Persisch (Farsi) | Urdu | Chinesisch (Vereinfacht) | Chinesisch (Traditionell, Macau) | Chinesisch (Traditionell, Hongkong) | Chinesisch (Traditionell, Taiwan) | Japanisch | Koreanisch | Hindi | Bengalisch | Marathi | Nepalesisch | Punjabi (Gurmukhi) | Portugiesisch (Portugal) | Portugiesisch (Brasilien) | Italienisch | Polnisch | Türkisch | Griechisch | Thailändisch | Schwedisch | Dänisch | Norwegisch | Finnisch | Niederländisch | Hebräisch | Vietnamesisch | Indonesisch | Malaiisch | Tagalog (Filipino) | Swahili | Ungarisch | Tschechisch | Slowakisch | Rumänisch | Bulgarisch | Serbisch (Kyrillisch) | Kroatisch | Slowenisch

Inhaltsverzeichnis

• Einführung

  • Willkommen in der Phi-Familie
  • Einrichten Ihrer Umgebung
  • Verstehen von Schlüsseltechnologien
  • KI-Sicherheit für Phi-Modelle
  • Unterstützung von Phi-Hardware
  • Phi-Modelle & Verfügbarkeit auf verschiedenen Plattformen
  • Verwendung von Guidance-ai und Phi
  • GitHub Marketplace Modelle
  • Azure AI Modellkatalog

• Phi-Inferenz in verschiedenen Umgebungen

  • Hugging Face
  • GitHub-Modelle
  • Azure AI Foundry Modellkatalog
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Phi-Familie-Inferenz

  • Phi-Inferenz auf iOS
  • Phi-Inferenz auf Android
  • Phi-Inferenz auf Jetson
  • Phi-Inferenz auf AI-PC
  • Phi-Inferenz mit dem Apple MLX Framework
  • Phi-Inferenz auf einem lokalen Server
  • Phi-Inferenz auf einem Remote-Server mit AI Toolkit
  • Phi-Inferenz mit Rust
  • Phi-Vision-Inferenz lokal
  • Phi-Inferenz mit Kaito AKS, Azure Containers (offizielle Unterstützung)

• Quantifizierung der Phi-Familie

  • Quantisierung von Phi-3.5 / 4 mit llama.cpp
  • Quantisierung von Phi-3.5 / 4 mit generativen KI-Erweiterungen für onnxruntime
  • Quantisierung von Phi-3.5 / 4 mit Intel OpenVINO
  • Quantisierung von Phi-3.5 / 4 mit dem Apple MLX Framework

• Bewertung von Phi

• Response AI

  • Azure AI Foundry zur Bewertung
  • Verwendung von Promptflow zur Bewertung

• RAG mit Azure AI Search

  • Wie man Phi-4-mini und Phi-4-multimodal (RAG) mit Azure AI Search verwendet

• Phi-Anwendungsentwicklung-Beispiele

  • Text- und Chat-Anwendungen

    • Phi-4 Beispiele 🆕
      • [📓] Chat mit Phi-4-mini ONNX-Modell
      • Chat mit Phi-4 lokalem ONNX-Modell .NET
      • Chat .NET Konsolenanwendung mit Phi-4 ONNX unter Verwendung des Semantic Kernel
    • Phi-3 / 3.5 Beispiele
      • Lokaler Chatbot im Browser mit Phi3, ONNX Runtime Web und WebGPU
      • OpenVino Chat
      • Multi-Modell - Interaktives Phi-3-mini und OpenAI Whisper
      • MLFlow - Erstellung eines Wrappers und Nutzung von Phi-3 mit MLFlow
      • Modelloptimierung - Wie man das Phi-3-min-Modell für ONNX Runtime Web mit Olive optimiert
      • WinUI3 App mit Phi-3 mini-4k-instruct-onnx
      • WinUI3 Multi-Modell KI-gestützte Notizen-App Beispiel
      • Fine-Tuning und Integration benutzerdefinierter Phi-3-Modelle mit Prompt flow
      • Fine-Tuning und Integration benutzerdefinierter Phi-3-Modelle mit Prompt flow in Azure AI Foundry
      • Bewertung des Fine-Tuned Phi-3 / Phi-3.5 Modells in Azure AI Foundry mit Fokus auf Microsofts Responsible AI Prinzipien
      • [📓] Phi-3.5-mini-instruct Sprachvorhersage-Beispiel (Chinesisch/Englisch)
      • Phi-3.5-Instruct WebGPU RAG Chatbot
      • Verwendung von Windows GPU zur Erstellung einer Prompt flow-Lösung mit Phi-3.5-Instruct ONNX
      • Verwendung von Microsoft Phi-3.5 tflite zur Erstellung einer Android-App
      • Q&A .NET Beispiel mit lokalem ONNX Phi-3-Modell unter Verwendung von Microsoft.ML.OnnxRuntime
      • Konsolen-Chat .NET App mit Semantic Kernel und Phi-3

  • Azure AI Inference SDK Code-basierte Beispiele

    • Phi-4 Beispiele 🆕
      • [📓] Projektcode mit Phi-4-multimodal generieren
    • Phi-3 / 3.5 Beispiele
      • Erstellen Sie Ihren eigenen Visual Studio Code GitHub Copilot Chat mit Microsoft Phi-3 Familie
      • Erstellen Sie Ihren eigenen Visual Studio Code Chat Copilot Agent mit Phi-3.5 und GitHub-Modellen

  • Fortgeschrittene Reasoning-Beispiele

    • Phi-4 Beispiele 🆕
      • [📓] Phi-4-mini Reasoning Beispiele

  • Demos

    • Phi-4-mini Demos gehostet auf Hugging Face Spaces
    • Phi-4-multimodal Demos gehostet auf Hugging Face Spaces

  • Vision-Beispiele

    • Phi-4 Beispiele 🆕
      • [📓] Verwendung von Phi-4-multimodal zum Lesen von Bildern und Generieren von Code
    • Phi-3 / 3.5 Beispiele

• [📓]Phi-3-vision-Image text to text - Phi-3-vision-ONNX - [📓]Phi-3-vision CLIP Embedding - DEMO: Phi-3 Recycling - Phi-3-vision - Visueller Sprachassistent - mit Phi3-Vision und OpenVINO - Phi-3 Vision Nvidia NIM - Phi-3 Vision OpenVino - [📓]Phi-3.5 Vision Multi-Frame oder Multi-Image Beispiel - Phi-3 Vision Lokales ONNX-Modell mit Microsoft.ML.OnnxRuntime .NET - Menübasierte Phi-3 Vision Lokales ONNX-Modell mit Microsoft.ML.OnnxRuntime .NET

  • Audio-Beispiele

    • Phi-4 Beispiele 🆕
      • [📓] Extrahieren von Audio-Transkripten mit Phi-4-multimodal
      • [📓] Phi-4-multimodal Audio Beispiel
      • [📓] Phi-4-multimodal Sprachübersetzung Beispiel
      • .NET-Konsolenanwendung mit Phi-4-multimodal zur Analyse einer Audiodatei und Erstellung eines Transkripts

  • MOE-Beispiele

    • Phi-3 / 3.5 Beispiele
      • [📓] Phi-3.5 Mixture of Experts Modelle (MoEs) Social Media Beispiel
      • [📓] Erstellen einer Retrieval-Augmented Generation (RAG) Pipeline mit NVIDIA NIM Phi-3 MOE, Azure AI Search und LlamaIndex

  • Beispiele für Funktionsaufrufe

    • Phi-4 Beispiele 🆕
      • [📓] Verwendung von Funktionsaufrufen mit Phi-4-mini
      • [📓] Verwendung von Funktionsaufrufen zur Erstellung von Multi-Agenten mit Phi-4-mini
      • [📓] Verwendung von Funktionsaufrufen mit Ollama

  • Multimodale Mixing-Beispiele

    • Phi-4 Beispiele 🆕
      • [📓] Verwendung von Phi-4-multimodal als Technologiejournalist
      • .NET-Konsolenanwendung mit Phi-4-multimodal zur Analyse von Bildern

• Fine-Tuning Phi Beispiele

  • Fine-Tuning Szenarien
  • Fine-Tuning vs RAG
  • Fine-Tuning: Phi-3 wird zum Industrieexperten
  • Fine-Tuning Phi-3 mit AI Toolkit für VS Code
  • Fine-Tuning Phi-3 mit Azure Machine Learning Service
  • Fine-Tuning Phi-3 mit Lora
  • Fine-Tuning Phi-3 mit QLora
  • Fine-Tuning Phi-3 mit Azure AI Foundry
  • Fine-Tuning Phi-3 mit Azure ML CLI/SDK

• Feinabstimmung mit Microsoft Olive

  • Feinabstimmung mit Microsoft Olive Hands-On Lab
  • Feinabstimmung von Phi-3-vision mit Weights and Bias
  • Feinabstimmung von Phi-3 mit dem Apple MLX Framework
  • Feinabstimmung von Phi-3-vision (offizielle Unterstützung)
  • Feinabstimmung von Phi-3 mit Kaito AKS, Azure Containers (offizielle Unterstützung)
  • Feinabstimmung von Phi-3 und 3.5 Vision

• Hands-On Lab

  • Erkundung modernster Modelle: LLMs, SLMs, lokale Entwicklung und mehr
  • Freischaltung des NLP-Potenzials: Feinabstimmung mit Microsoft Olive

• Akademische Forschungsarbeiten und Veröffentlichungen

  • Textbooks Are All You Need II: phi-1.5 technischer Bericht
  • Phi-3 Technischer Bericht: Ein leistungsfähiges Sprachmodell direkt auf Ihrem Telefon
  • Phi-4 Technischer Bericht
  • Phi-4-Mini Technischer Bericht: Kompakte, aber leistungsstarke multimodale Sprachmodelle durch Mixture-of-LoRAs
  • Optimierung kleiner Sprachmodelle für Fahrzeuginterne Funktionsaufrufe
  • (WhyPHI) Feinabstimmung von PHI-3 für Multiple-Choice-Fragen: Methodik, Ergebnisse und Herausforderungen

Verwendung von Phi-Modellen

Phi auf Azure AI Foundry

Sie können lernen, wie Sie Microsoft Phi nutzen und E2E-Lösungen auf Ihren verschiedenen Hardwaregeräten erstellen. Um Phi selbst zu erleben, starten Sie mit den Modellen und passen Sie Phi für Ihre Szenarien an, indem Sie den Azure AI Foundry Azure AI Model Catalog verwenden. Mehr dazu erfahren Sie unter Erste Schritte mit Azure AI Foundry.

Playground
Jedes Modell hat einen eigenen Playground, um das Modell zu testen Azure AI Playground.

Phi auf GitHub Models

Sie können lernen, wie Sie Microsoft Phi nutzen und E2E-Lösungen auf Ihren verschiedenen Hardwaregeräten erstellen. Um Phi selbst zu erleben, starten Sie mit dem Modell und passen Sie Phi für Ihre Szenarien an, indem Sie den GitHub Model Catalog verwenden. Mehr dazu erfahren Sie unter Erste Schritte mit GitHub Model Catalog.

Playground
Jedes Modell hat einen eigenen Playground, um das Modell zu testen.

Phi auf Hugging Face

Sie finden das Modell auch auf Hugging Face.

Playground
Hugging Chat Playground.

Verantwortungsbewusste KI

Microsoft verpflichtet sich, unseren Kunden zu helfen, unsere KI-Produkte verantwortungsvoll zu nutzen, unsere Erkenntnisse zu teilen und vertrauensbasierte Partnerschaften durch Tools wie Transparenznotizen und Auswirkungenbewertungen aufzubauen. Viele dieser Ressourcen finden Sie unter https://aka.ms/RAI.
Microsofts Ansatz für verantwortungsbewusste KI basiert auf unseren KI-Prinzipien: Fairness, Zuverlässigkeit und Sicherheit, Datenschutz und Sicherheit, Inklusivität, Transparenz und Verantwortlichkeit.

Großskalige Modelle für natürliche Sprache, Bilder und Sprache - wie die in diesem Beispiel verwendeten - können sich potenziell auf unfaire, unzuverlässige oder beleidigende Weise verhalten und dadurch Schäden verursachen. Bitte konsultieren Sie die Transparenznotiz des Azure OpenAI-Dienstes, um über Risiken und Einschränkungen informiert zu sein.

Der empfohlene Ansatz zur Minderung dieser Risiken besteht darin, ein Sicherheitssystem in Ihre Architektur einzubinden, das schädliches Verhalten erkennen und verhindern kann. Azure AI Content Safety bietet eine unabhängige Schutzebene, die in der Lage ist, schädliche Inhalte, die von Benutzern oder KI generiert wurden, in Anwendungen und Diensten zu erkennen. Azure AI Content Safety umfasst Text- und Bild-APIs, die es ermöglichen, schädliches Material zu erkennen. Innerhalb von Azure AI Foundry ermöglicht der Content Safety-Dienst das Anzeigen, Erkunden und Testen von Beispielcode zur Erkennung schädlicher Inhalte über verschiedene Modalitäten hinweg. Die folgende Schnellstart-Dokumentation führt Sie durch das Erstellen von Anfragen an den Dienst.

Ein weiterer zu berücksichtigender Aspekt ist die Gesamtleistung der Anwendung. Bei multimodalen und Multi-Modell-Anwendungen betrachten wir Leistung als die Fähigkeit des Systems, so zu funktionieren, wie Sie und Ihre Benutzer es erwarten, einschließlich der Vermeidung schädlicher Ausgaben. Es ist wichtig, die Leistung Ihrer gesamten Anwendung mit Evaluatoren für Leistung und Qualität sowie Risiko und Sicherheit zu bewerten. Sie haben auch die Möglichkeit, mit benutzerdefinierten Evaluatoren zu erstellen und zu bewerten.
Sie können Ihre KI-Anwendung in Ihrer Entwicklungsumgebung mit dem Azure AI Evaluation SDK evaluieren. Anhand eines Testdatensatzes oder eines Ziels werden die generierten Ergebnisse Ihrer generativen KI-Anwendung quantitativ mit integrierten oder benutzerdefinierten Evaluatoren Ihrer Wahl gemessen. Um mit dem Azure AI Evaluation SDK zu beginnen und Ihr System zu evaluieren, können Sie der Schnellstartanleitung folgen. Nach der Durchführung eines Evaluationslaufs können Sie die Ergebnisse in Azure AI Foundry visualisieren.

Marken

Dieses Projekt kann Marken oder Logos für Projekte, Produkte oder Dienstleistungen enthalten. Die autorisierte Nutzung von Microsoft-Marken oder -Logos unterliegt den Marken- und Markenrichtlinien von Microsoft und muss diesen folgen. Die Verwendung von Microsoft-Marken oder -Logos in modifizierten Versionen dieses Projekts darf keine Verwirrung stiften oder eine Unterstützung durch Microsoft implizieren. Jede Nutzung von Marken oder Logos Dritter unterliegt den Richtlinien der jeweiligen Drittpartei.

Haftungsausschluss:
Dieses Dokument wurde mit dem KI-Übersetzungsdienst Co-op Translator übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner ursprünglichen Sprache sollte als maßgebliche Quelle betrachtet werden. Für wichtige Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir haften nicht für Missverständnisse oder Fehlinterpretationen, die sich aus der Nutzung dieser Übersetzung ergeben.