Web sitesi üzerinden LLM kullanmanızı sağlayan yapay zeka aracı: Groq

Yapay zeka çıkarımları sunan Groq, artık doğrudan web sitesinde önde gelen büyük dil modelleri (LLM'ler) ile sorgular yapmanızı sağlıyor. Kullanıcılar, sorgularla beraber, diğer görevleri gerçekleştirebiliyor. 

Groq nasıl kullanılıyor? 

Geçen hafta sessiz sedasız bir şekilde söz konusu özelliği yayına alan şirket, sorguları yazarak ya da konuşarak girmenize imkan tanıyor. Sesli sorgularda Groq, sesinizi metne çevirmek için OpenAI'ın açık kaynaklı otomatik konuşma tanıma ve konuşma çevirisi modeli olan Whisper Large V3 modelini kullanıyor. Dönüştürülen metin daha sonra büyük dil modeli için bir istem olarak ekleniyor. Ortaya çıkan sonuçların ise şirketin daha önce sunduklarından çok daha hızlı ve akıllı olduğu belirtiliyor. 

Groq'un sitesinde yer alan motor, varsayılan olarak Meta'nın açık kaynaklı Llama3-8b-8192 büyük dil modelini kullanıyor. Meta'nın Nisan ayında yayınlanan Llama 3 model serisini sizlere daha önce tanıtmıştık. Ayrıca daha büyük ağırlığa sahip Llama3-70b'yi de kullanan motor, bazı Gemma ve Mistral modelleri arasından seçim yapmanızı da mümkün kılıyor. Şirketin belirttiğine göre; Groq yakında diğer modelleri de destekleyecek.

GPU yerine LPU kullanımı

Groq'un değer önerisi yapay zeka görevlerini rakiplerinden çok daha hızlı ve uygun maliyetli bir şekilde yerine getirmek. Şirket, bu değer önerisini dil işleme birimi (LPU) sayesinde hayata geçirebiliyor. LPU'lar doğrusal olarak çalıştığı için bu tür görevlerde GPU'lardan daha iyi performans gösteriyor. 

Paylaşılan bilgilere göre; Groq'un teknolojisi, bir GPU'nun gücünün yaklaşık üçte birini kullanıyor. Hatırlarsanız, Google'ın karbon emisyonunun, yapay zeka kaynaklı enerji talebiyle yaklaşık yüzde 50 arttığını sizlere aktarmıştık. Bu noktada Groq'un verimliliği, genellikle GPU'ların hakim olduğu yapay zeka alanında dikkat çekici bir alternatif olarak konumlanıyor. 

Groq'un CEO'su Jonathan Ross'un aktardıklarına göre; yaklaşık 4 ay önce ücretsiz olarak hizmet vermeye başlayan Groq, şu anda 282 binden fazla geliştirici tarafından kullanılmakta. Groq, geliştiricilerin uygulamalarını oluşturmaları için bir konsol sunuyor. Bununla OpenAI üzerinde uygulama geliştiren yazılımcıların hızlıca uygulamalarını Groq'a geçirme olanağına da sahip olduğunu belirtelim.