x

İnternet Devleri ve Altyapıları

Internetin devlerini çoğumuz ya kullanıcı sayıları ile ya da gelirleri ile takip ediyoruz. Bu sefer buz dağının altına bakmanın işin büyüklüğünü görmemiz açısından önemli olacağını düşünerek, internet devlerinin altyapıları ile ilgili bilgiler topladık.

Özellikle son dönemde gündeme gelen Google servisleriyle ilgili yasaklamalar sonrası Türkçe arama motoru tartışmaları da gündem yaratmıştı. Google resmi açıklama yapmasa da 1 milyondan fazla sunucu ile zirvede yerini koruyor ve tasarımlarını 1 milyon ile 10 milyon arasını destekleyecek şekilde düzenlemişler. Verimliliği artırmak için rack mimarisine kadar birçok farklı çalışmanın yapıldığı ile ilgili bilgi de mevcut.

Akamai’nin “İçerik dağıtım ağı” konusunda liderliği şirketi sunucu sayısında da oldukça ciddi yatırımlara zorlamış gözüküyor.

Facebook’un ise 30.000‘den fazla sunucusu olduğu tahmin ediliyor. Bildiğiniz gibi Facebook, Friendfeed’i satın aldıktan sonra Friendfeed kurucularına ait Tornado altyapısını açık kaynak hale getirmiş ve kendi de kullanmaya başlamıştı. Bu altyapı düzenlemelerinin Facebook’a ne kadar verimlilik sağladığı ile ilgili net bir bilgi yok. Fakat bu kadar sunucusu olan bir şirketin verimliliği artırmak için birden fazla çalışma yaptığını da birçok kaynaktan görebiliyoruz.

Örneğin Facebook PHP kullandığını söylüyor fakat daha hızlı çalışmak adına PHP kodunu C++ koduna çevirirek çalıştıran “HipHop for PHPkullanıyor. Verimliği artırmak adına kullandığı diğer teknolojiler ise şunlar: MemCached, Haystack, BigPipe, Cassandra, Scribe, Hadoop, Hive, Thrift, Varnish.

Twitter ile ilgili altyapısal büyüklük anlamında net bir rakam yok. Fakat günde 50 milyondan fazla tweet sayısına sahip ve ortalamada 640 TPS/s’e sahip bir servisin de oldukça yüksek bir altyapıya sahip olduğunu öngörebiliriz. Unicorn, MedCached, Cassandra, Murder, Kestrel gibi yapıları kullanan Twitter’ın birçok kez çökmesi her ne kadar kötü bir etki yaratsa da “Real Time Web” konusunun ne kadar zorlu bir konu olduğunu da göz önünde bulundurmak gerekiyor.

Özetlemek gerekirse, “Twitter’ı ben de yazarım”, “Facebook’u 3-4 ayda biz de yazarız”, “Arama motoru yazmak çok zor değil” gibi cümleleri etrafınızda da duyuyorsunuzdur. Ön yüze bakarak ya da fonksiyonel özelliklere bakarak bu cümleleri kurmak aslında kolay, fakat bunlar sadece buz dağının görünen kısımları! Altyapısal anlamda işin büyüklüğünü görmek ve ona göre adımlar atmak gerekiyor. Devlerle yarışmak için üniversitelerle sıkı işbirlikleri yapıp “gerçek zamanlı internet” ile ilgili teknolojiler geliştirmek gerekiyor, sonrasında da ciddi yatırımlar gerekiyor.

Not: Tabloyu sıralama olarak değerlendirmemenizi öneririz. Resmi açıklamalar olmadığı için firmaların birbirlerine göre durumlarını değil de yaptıkları yatırımları görmeniz açısından fikir vermesi için böyle bir tablo hazırladık. Microsoft, EBay, Amazon, Yahoo ve IBM’in rakamları 50.000’den fazla deniliyor fakat bu firmaların sunucu sayılarının Intel ve Akamai’den çok mu az mı olduğuyla ilgili bilgi olmadığı için onları 50.000’de sabitledik.

Yorumlar (17)

  1. çağlar taşdelen |

    “””–Özetlemek gerekirse, “Twitter’ı ben de yazarım”, “Facebook’u 3-4 ayda biz de yazarız”, “Arama motoru yazmak çok zor değil” gibi cümleleri etrafınızda da duyuyorsunuzdur.–“” demişsiniz fakatiyi bir iş çıkarmak için başta 10bin sunucu mu gereklidir ?

    Cevapla
    • Serkan Ünsal |

      Merhaba,
      Yerel pazarı hedefliyorsanız, çok büyük kitlelere ulaşma gibi bir hedefiniz yoksa veya gerçek zamanlı internet ile ilgili projeniz yoksa tabi ki o kadar sunucuya gerek yok. (Twitter 350.000 kullanıcıya ulaşana kadar ~10 sunucu ile çalışmış.)

      Cevapla
    • O cümledeki kasıt 10bin sunucu gerektiği değil sanırım. Dışarıdan gözüktüğü kadar kolay olmadığı kastedilmek isteniyor.

      Yükü sunuculara doğru şekilde yayamazsanız, projeyi lineer büyütülebilir hale getiremezseniz 1 milyar sunucunuz olsa yine problem yaşarsınız.

      Cevapla
  2. Sanırım bu listede hosting firmaları yer almıyor onların da yer aldığı şöyle bir infografik vardı. http://www.intac.net/a-comparison-of-dedicated-servers-by-company_2010-04-13/

    Saygılar.

    Cevapla
    • Serkan Ünsal |

      Merhaba, aynı linki yukarıda yazının içerisinde bulabilirsiniz. Hosting firmalarını bilinçli olarak dahil etmedik. Daha çok uygulama sunanları ve Türkiye’de çok bilinen firmaları listelemeye çalıştık.

      Cevapla
  3. Bu dataların kaynağı nedir?

    Cevapla
  4. Aslında tahir beyin sorusunu bende soracaktım. Bu verilerin kaynağı nedir acaba?

    Cevapla
  5. Bilgiler için teşekkürler.Ancak bahsettiğiniz gibi sadece bu konuda değil birçok konuda buz dağının arkasını görmek herşeyden daha önemli.

    Cevapla
  6. Barış Şeker |

    Bu olmamış. Yahoo, Microsoft orijinal dokümanda 50k ve üstü diyor. Siz 50k’da sabitlemişsiniz.
    Intel’de 100k varsa, Yahoo ve Microsoft’un mutlaka Intel’den fazla vardır.
    Google da sunucu sayısını söylemez ama onlarınkini de 1 milyon diye uydurmuşlar. Tutarsız rakamlar olmuş.

    Cevapla
    • Serkan Ünsal |

      Merhaba,
      Google’ın 1 milyondan fazla olduğuna dair farklı birkaç kaynak var. O yüzden tek kaynağı baz almadık. Dediğiniz gibi Google’ın resmi açıklaması yok fakat yazıdaki bağlantılara bakarsanız mimarilerini 1-10 milyon arasına göre tasarlamışlar.

      Yahoo ve Microsoft dediğiniz gibi Intel’den daha çok olabilir fakat 50.000’den çok sözü için rasgele bir rakam girmek istemedik. (Yazıya yine de 50.000’den çok diye not düşeriz.) Burada sıralamadan çok firmaların isimlerine dikkat çekmeye çalıştık. Hatta listede sunucu barındırma şirketleri de vardı fakat onları da uygulama sunmadıkları için listeden çıkardık.

      Cevapla
  7. Süper yazı. Harika!

    Cevapla
  8. Facebook ilk zamanlarında da 30.000 sunucuya mı sahipti , değildi zamanla büyüdü ve genişledi buna paralel olarakta sunucu sayısı arttı yani umutları yıkmamak gerek,ayrıca Google 1.000.000 sunucuyu arama için mi kullanıyor yoksa sahibi olduğu diğer servisleri de ordan mı yönetiyor? bunun da belirtilmesi gerekirdi teşekkürler

    Cevapla
  9. Serkan Ünsal |

    Facebook ile ilgili güncel bir bilgi paylaşayım istedim: http://perspectives.mvdirona.com/2010/06/28/60000ServersAtFacebook.aspx Sayfada Facebook’un 60 bin sunucuya ulaştığından bahsediliyor.

    Cevapla

Bir Cevap Yazın