Bilgisayarınızda yapay zeka modeli çalıştırmanızı sağlayan araçlar

Günümüzde pek çok kişi veri güvenliği, hızlı erişim ya da yeni açık modelleri deneme ihtiyacıyla LLM olarak da bilinen Büyük Dil Modelleri’ni kendi bilgisayarında ya da başka bir deyişle "yerel”de çalıştırmayı tercih ediyor. Biz de farklı araçlar kullanarak yerelde Llama 3.2, Phi-3.5 ve Gemma 2 modellerini çalıştırdık ve karşılaştırdık.

Ollama, Open WebUI ve Docker

Modelleri yerelde çalıştırmak için Ollama, arayüz için Open WebUI ve Open WebUI'ı çalıştırmak için Docker kullandık. Öncelikle yerelde Büyük Dil Modeli çalıştırabilmek için Ollama’yı bilgisayarınıza kurmanız gerekiyor. Ardından dilediğiniz modeli seçip indirerek terminalden yazışmaya başlamanız mümkün. Ancak bu yazışmayı daha kullanımı kolay bir ortamda gerçekleştirmek istiyorsanız ChatGPT benzeri açık kaynak Open WebUI'ı kullanabilirsiniz. Bunun için Docker'ı indirdikten sonra Open WebUI'ın dokümantasyonundaki ya da GitHub sayfasındaki yönergeleri izleyerek kendi sisteminize uygun versiyonu indirebilirsiniz.

Biz de bu yolla terminalde çalıştıracağımız komutu aldık. Siz de bu adımları tamamladıktan sonra Docker'ın uygulamasında Open WebUI'ın hangi portta çalıştığını görebilir ve bağlantıya tıklayarak Open WebUI'ı kullanmaya başlayabilirsiniz. Biz, tüm bu adımları tamamladığımızda Open WebUI üzerinden açık modelleri kullanmaya başladık.

Küçük bir not düşmek gerekirse, bu süreçte Docker yerine Pinokio kullananlar da mevcut. Ancak ben Pinokio’yu denediğimde paketleri indirirken sürekli hata aldım. Ekip üyelerimizden bazıları farklı ürünler için Pinokio’dan faydalandığını belirtildi.

Open WebUI'ın detayları ve kullandığımız modeller

Open WebUI’a geri dönecek olursak; aracın sade ve tanıdık arayüzü ile kullanım kolaylığı sağladığını söyleyebiliriz. Modelleri istemlerle özelleştirebiliyor ya da arayüze birden fazla model ekleyerek aynı anda farklı modelleri test edebiliyorsunuz. Aynı şekilde platforma ses desteği eklemeniz de mümkün.

Biz Open WebUI’da Meta’nın geçen haftalarda duyurulan Llama 3.2 modelinin hafif versiyonları ile Phi-3.5 ve Gemma 2 modellerini karşılaştırdık. Önce kısaca Llama 3.2’den bahsedelim. Model, küçük ve orta boyutlu yani 11 milyar ve 90 milyar parametreli iki görsel model ve mobil cihazlarda kullanılmak üzere tasarlanmış daha hafif yani 1 milyar ve 3 milyar parametreli iki metin odaklı model içeriyor.

Llama 3.2, 128 bin token uzunluğunda bir bağlam sunuyor. Bu da yüzlerce sayfalık metni işleme yeteneği sağlıyor. Söz konusu özellik, modelin daha karmaşık görevleri yerine getirebilmesine imkan tanıyor.

Meta, Llama 3.2'nin hem görüntüleri hem de metinleri anlamada Claude 3 Haiku ve GPT4o-mini ile rekabet ettiğini dile getiriyor. Modelin, talimat takibi, özetleme ve araç kullanımı gibi alanlarda üstün performans gösterdiğini belirtiyor. Paylaşılan dökümanlara göre; Llama 3.2, Phi-3.5 ve Gemma 2 modelleriyle karşılaştırıldığında çeşitli ölçütlerde yüksek performans gösterdi.

Biz de farklı istemlerle Llama 3.2’yi Phi-3 .5 ve Gemma ile karşılaştırdık. Phi-3.5’in yanıtları daha uzun ve kapsamlı olmasıyla öne çıkarken, Gemma Türkçe tercüme yetenekleriyle diğer modellerden ayrışıyor. Her modelden insan ile robot aşkı üzerine şiir yazmasını istediğimizde Llama 3.2’nin 1 milyar parametreli modeli Meta’nın güvenlik politikalarına bağlı kalarak bu konuda şiir yazamayacağını belirtirken, 3 milyar parametreli versiyon aynı konuda şiir yazabildi. Gemma ise şiiri üretirken sonunda kullanıcıları uyarmayı ihmal etmedi.