Google, Agent Sandbox başta olmak üzere yeni açık kaynaklı araçlarını ve özelliklerini tanıttı. Atlanta'da düzenlenen KubeCon + CloudNativeCon North America konferansında tanıtılan araç ve özellikler yapay zeka ortamlarının işletilmesini kolaylaştırmak için tasarlandı.
Agent Sandbox'ın detayları
Google'ın bugün yapay zeka ajanı sanal alanlarının oluşturulmasını kolaylaştırmak için tasarlanan açık kaynaklı Agent Sandbox'ı piyasaya sürdü. Kubernetes'in temel özellik setinin bir uzantısı olarak uygulanan Agent Sandbox ile yapay zeka uygulamaları, binlerce izole yapay zeka ajan ortamı hayata geçirilebilir. Üstelik ajanlar çalışmalarını tamamladığında bu ortamlar silinebilir.
Agent Sandbox'ın Google'ın 2018'de piyasaya sürdüğü gVisor adlı açık kaynaklı bir aracı temel aldığını belirtelim. Bir konteyneri üzerinde çalıştığı işletim sisteminin hassas bileşenlerinden izole eden gVisor, bu sayede konteyner içinde çalışma ihtimali bulunan yapay zeka tarafından yazılmış kötü amaçlı yazılımların zararlı değişiklikler yapmasını önlüyor.
Bu arada Google Cloud'ın, geliştiricilerin bulut tabanlı Kubernetes kümeleri oluşturmasına olanak tanıyan GKE hizmetinde Agent Sandbox için destek sağlayacağını belirtelim. Ayrıca söz konusu hizmet, ilgili altyapı bakım görevlerinin çoğunu otomatikleştiriyor.
Pod Snapshots
Buna ek olarak yapay zeka iş yüklerinin performansını daha da iyileştirmeyi hedefleyen Google Cloud, bunun için dün tanıtılan Pod Snapshots adlı bir GKE özelliği ile karşımıza çıkıyor. Google'ın paylaştığı bilgilere göre; bazı büyük dil modellerinin başlatılması 10 dakikadan fazla sürebilirken, Pod Snapshots bazı durumlarda başlatma sürelerini yüzde 80 oranında kısaltıyor.
Aslında LLM'lerin başlatılması, çalıştıkları konteynerlerin sıfırdan başlatılması gerektiği için de uzun sürebiliyor. Bu süreçte bir modelin çalışması için gerekli olan çeşitli yazılım bileşenlerinin dağıtılması ve ardından bu bileşenlerin yapılandırılması adımları izleniyor. Bu işlem genellikle bir komut dosyası tarafından otomatik olarak gerçekleştiriliyor. Pod Snapshots ise komut dosyası tabanlı ortam yapılandırması ihtiyacını ortadan kaldırarak iş akışını hızlandırıyor.
Özellik kapsamında bir konteynerin içerdiği tüm yazılım bileşenlerinin yanı sıra bunların yapılandırmasını da içeren bir anlık görüntü veya kopya oluşturuluyor. Uygulamalar da kullanıma hazır anlık görüntüyü bellekten yükleyebiliyor. Anlık görüntü ile 70 milyar parametreli modeller 80 saniyede, 8 milyar parametreli modeller ise sadece 16 saniyede yüklenebiliyor.
Google'ın kıdemli ürün müdürü Brandon Royal'ın aktardıklarına göre GKE Pod Snapshots, hem CPU hem de GPU tabanlı iş yüklerinin anlık görüntüsünü ve geri yüklemesini destekliyor. Bu sayede pod başlatma süreleri dakikalarca süren işlemlerden saniyelere indiriliyor. Royal, Pod Snapshots ile, herhangi bir boşta kalan sanal alan anlık olarak görüntülenebildiği gibi askıya alınabiliyor.
Multi-Tier Checkpointing
Agent Sandbox ve Pod Snapshots, Google'ın Multi-Tier Checkpointing (MTC) adlı yeni bir açık kaynaklı aracıyla birlikte piyasaya sürülüyor. büyük ölçekli yapay zeka eğitim projelerini kolaylaştırmaya odaklanan Multi-Tier Checkpointing, iş akışını hızlandırıyor. Böylece şirketler, yeni yapay zeka modellerini daha hızlı eğitebiliyor ve mevcut modelleri yeni veri kümeleriyle güncellemelerini sağlıyor.
GKE Inference Gateway
Son olarak Google'ın yapay zeka iş yüklerini daha hızlı çalıştırmayı destekleyen GKE Inference Gateway'i genel kullanıma sundu. Üretim sürümü, ilk token zaman gecikmesini (TTFT) yüzde 96 oranında azaltıyor. Aynı şekilde GKE Inference Gateway'in standart GKE uygulamalarına kıyasla dörtte bir daha az token kullandığını belirtelim. Ayrıca, GKE'nin tek bir kümede destekleyebileceği düğüm sayısı da 130 bine çıkarılmış durumda. Böylece en büyük eğitim iş yüklerinin bile kaldırılabileceğini söylemek mümkün.
İlk Yorumu yazmak ister misiniz?
Yorum Yazmak için Giriş Yap