Inference API nedir ve nasıl çalışır?

(https://huggingface.co/inference-api)

Yazıya başlamadan önce, başta İngilizce hazırlamayı planlamıştım fakat bu konu hakkında herhangi bir Türkçe kaynak bulamadığım için Türkçe hazırlamaya karar verdim. Şimdi başlayabiliriz.😇

Öncelikle Inference API nedir ile başlayalım. Orijinal dokümantasyona göre:

Basit API çağrıları yoluyla çıkarım için dağıtılan NLP, ses ve görüntü işleme modellerini kolayca entegre edin. MLOps’tan uzak dururken makine öğreniminin gücünden yararlanın!

Basit bir şekilde söylemek gerekir ise:

Inference API, Hugging Face tarafından oluşturulan, makine öğrenimi modellerinin dağıtımı ve kullanımı için bir platformdur. Inference API, kullanıcıların modellerini Hugging Face Hub’da barındırmasına ve ardından API’yi kullanarak modellerinden tahminler almasına olanak tanır. Inference API, kullanıcıların modellerini hızlı ve kolay bir şekilde dağıtmasına ve kullanmaya olanak tanıyan güçlü bir araçtır.

Peki Inference API’ın faydaları nelerdir:

• Kullanım kolaylığı: Kullanıcıların modellerini dağıtması ve kullanmak için basit bir API sunar.
• Hızlı: Modellerden tahminler almak için optimize edilmiştir ve hızlı bir yanıt süresi sağlar.
• Esnek: Kullanıcıların farklı modelleri ve farklı veri formatlarını destekler.
• Ücretsiz: Ücretsiz planı bulunmaktadır. (Fiyatlandırma seçeneklerini görmek için tıklayabilirsiniz.)

Inference API’yi Nasıl Kullanabilirsiniz?

3 adımda basit bir şekilde kullanabilirsiniz:

1. Inference API’yi kullanmak için, öncelikle bir model oluşturmanız gerekir.
2. Modelinizi oluşturduktan sonra, Hugging Face Hub’a yüklemeniz gerekir.
3. Modelinizi yükledikten sonra, API’yi kullanarak modelden tahminler alabilirsiniz.

Örnek: API İstekleriyle Inference API Çalıştırma

ENDPOINT = https://api-inference.huggingface.co/models/<MODEL_ID>

import json
import requests
API_URL = "https://api-inference.huggingface.co/models/gpt2"
headers = {"Authorization": f"Bearer {API_TOKEN}"}
def query(payload):
    data = json.dumps(payload)
    response = requests.request("POST", API_URL, headers=headers, data=data)
    return json.loads(response.content.decode("utf-8"))
data = query("Can you please let us know more details about your ")

Inference API’nin Bazı Örnek Kullanımları

• Metin sınıflandırma
• Metin özetleme
• Dil çevirisi
• Soru yanıtlama
• Görsel tanıma
• Doğal dil işleme

Özetle

Inference API, makine öğrenimi modellerini dağıtmak ve kullanmak için harika bir araçtır. Kullanımı kolay, hızlı, esnek ve ücretsizdir.

Referanslar

• https://huggingface.co/inference-api
• https://huggingface.co/docs/api-inference/index
• https://github.com/huggingface/api-inference (Şu anda ulaşılamıyor ama normalde repository bu 🥲)
• https://medium.com/geekculture/fast-prototyping-with-hugging-faces-inference-api-3cd6c43ff1b4
• https://blog.futuresmart.ai/mastering-hugging-face-inference-api-integrating-nlp-models-for-real-time-predictions