x

Büyük veri: Şehir efsanesi ile fırsatlar arasında uzun ince bir yoldayız

Konuk yazarımız İpek Karadağ, dijital medya ve internet teknolojileri konularında danışman ve eğitmen olarak görev yapmaktadır.

dog

Peter Steiner’in 90’lı yılların başında New Yorker’da yayımlanan karikatürünü anımsayanlar vardır eminim.. Bilgisayar önünde bir sandalyede oturan köpek, yerdeki köpeğe dönüp; “Internette kimse senin köpek olduğunu anlamaz” diyordu. Ardından Mark Anderson; nazire karikatüründe “Kahretsin webcam! Artık herkes köpek olduğumu biliyor” deyince anladık ki bir ‘şeyler’ dönüşüyor… Aslında her iki karikatürün hepimizin zihnine bu denli kazınmasının sebebi; Internet’in rahatsız edici ölçüde anonim nitelikleri barındırdığı ve de bundan beslendiği gerçeğini sembolize etmiş olmasıydı şüphesiz. İfadem -di’li geçmiş zaman dikkatinizi çekerim.  

Ancak Internet aynı zamanda ticari döngünün temel dişlilerinden biri olduğunun rüştünü ispat ettiği an itibariyle; bu anonimlik dereceli olarak dönüşmeye başladı. Öncelikli olarak internet altyapısını teknolojik olarak domine eden (!) büyük global şirketler internette bu anonimliği besleyen kullanıcıları / daha doğru bir söylemle; bu aksiyonları gerçekleştiren cihazların gerçek öznelerini daha iyi tanıma çabası içine girdi. Yanı sıra hükümetler de bu potansiyeli keşfettikleri gün bu konudaki yatırımlara, geliştirmelere destek göstermekten çekinmediler.

Daha somut örneklerle; dünyada Tüzel girişimciler, şirketler; kullanıcıların ilgi alanlarına, onların gereksinimlerine yönelik reklam gösterme ihtiyacı ile öncelikle web; sonrasında mobil cihazlar üzerinden devasa veri yığınları oluşturmaya başladılar. Öte yandan bambaşka ihtiyaçlarla, bambaşka oluşumlar içinde hükümetler; ‘suç ve terörizmle mücadele gerekçesi’ ekseninde başka veri yığınlarını toplayacak teknolojilere yatırım yapma yolunda adım aldılar.

Bu saydığımız somut adımların Büyük Veri’nin tamamı olmayıp sadece operasyonu tetikleyen adımlar olduğunun altını çizmek isterim.

Çünkü internetin yaygınlaşmasından, veri miktarının fazlalığına bağlı olarak herşeyi tamamen Büyük Veri olarak tanımlama gafı sıkça rastladığımız bir durum. Öncelikle mevcut teknolojik yeti içinde ne değişti, ne meydana geldi de biz Büyük Veri kabiliyetinden söz etmeye başladık bunu netleştirmemiz lazım:

Aslında yıllarca bu tarz veriler; IT uzmanlarınca veya kurumlar tarafından gereksiz veri yığını olarak görülüyordu. Ve alışılageldiği üzere bu toplanan veri yığını içinden her kurum kendi veri tabanında ihtiyaca göre sorgu yaparak; rapor çekiyordu. Veri tabanı içindeki Data Scientist/s (veri bilimci) dediğimiz kişi veya kişiler üzerinden rapor okuması gerçekleştirilip; analiz edilmesini mevcut şartlar içinde sağlamaya çalışıyordu. Ancak günümüzde artık büyük veri yığınları içinde rapor değil bütünleşik olandan, filtrelenmiş temizlenmiş sonuç ihtiyacı söz konusu.

Pek tabii ki öncü adımlardan birini Google attı

Klasik uygulanan veri toplama yönteminde bir fark yarattı ve sürecin hızlandırılmasını sağlayan bir çözüm üretti. Yenilikçi adım; verinin merkezi storage’ta tutulup onu işleyecek makinelere taşınması yerine, doğrudan, en başta verinin, kılavuzun kendini oluşturan makinelere dağıtılması oldu. Bu da çalışacak prosedürün verinin olduğu makineye direkt olarak yollanması yöntemiyle vücut buldu. Burada çözümünü Google’ın yayınladığı makalelerden de bildiğimiz Hadoop ortaya çıktı diyebiliriz. Büyük Veri üzerine yeni yeni araştırmalar yapmaya başlamış arkadaşlarımız için kısaca Hadoop’u şöyle açıklayabiliriz en anlaşılır haliyle: Büyük ve karmaşık veri hacimlerine iyi ölçeklenebilen bir depolama ve işleme ortamı olup; çoklu paralel sunucular üzerinden büyük veri işlemesi yapabilen açık kaynaklı yazılımdır. Ezcümle Google hala büyük veri üzerine çalışmalarını sürdürüyor keza Amazon; IBM; GE benzer çalışma tasarruflarını ifşa etmiş durumdalar.

Büyük Veri artık bilgi teknolojileri sektöründe iş üreten profesyonellerin aşina olduğu ve neredeyse ezberlediği şekilde 5V ile tanımlanıyor: 1- Volume (Aşırı Büyük Veri Hacmi) 2- Velocity (Yüksek Veri Hızı) 3- Variety (Dev Veri Çeşitliliği ) Kaçınılmaz olarak bilgi teknolojilerindeki ilerlemeler sonucunda veri saklama kapasitesinin ve işlem hızının artması ile devasa veri çeşitliliği ortaya çıkmaya başladı. Bu dev veri çeşitliliğinden asıl kastımız ne biraz açalım : Bugün internet kullanıcıları makinalara sürekli olarak veri aktarımı yapıyor, kişisel arşivler, smart telefonlar üzerinden yapılan aksiyonlar, banka kartları, tıbbi amaçlı kullanılan sayaç, ölçüm, iletişim araçlı cihazlar, eticaret platformlarında yaratılan hareketler bu kategoride yer alıyor diyebiliriz. Ancak bitmedi makinalar arası veri aktarımı da aynı kategorinin bir başka kırılımı; mesela; kullandığımız GPS cihazları, barkod okuyucular, bilimsel araştırmalarda kullanılan cihaz ve araçlar, takip kameralarını vb. sayabiliriz. Bitmedi bir de kullanıcılar arasındaki veri aktarımı sözkonusu; sosyal medya platformlarında yarattığımız aksiyonlar, internet üzerindeki web logları, sanal topluluk özelliklerini taşıyan sanal gerçeklik oyun platformları üzerindeki davranışlarımız da bu küme içine yerleştirilebilir.

Tüm bu saydığımız aksiyonlardan ortaya çıkan dev veri çeşitililiğinin bir artçıl etkisi olarak; pek tabii verinin doğrulanması yani güvenilirliği mevzuu, ‘Verinin Doğrulanması’ – Verification başlığı altında olmazsa olmaz 3V’ grubu içine katıldı. En son olarak da tüm bu prosesin kurumlar için ve/veya bu veriyi talep eden / edecek partiler için bir DEĞER – VALUE yaratması ham verinin 5V kuralı içinde son bileşen olarak yerini aldı.

Büyük Veri hala pek çoğumuz için Mars’tan Masallar gibi algılanıyor olabilir; ancak onunla doğru bir eksende buluşmak ve uzlaşmak adına en azından bir platform olduğunu ve de veri yığınlarının yüksek performanslı işlemesini sağlayan fonksiyonların bütünü olduğunu kabul ederek ilk adımı atabiliriz. Büyük Veri bir platform olarak; veri entegrasyonunu, yönetimi ve veriye sofistike hesaplama işlemleri uygulama becerilerini kapsar.

Dünya üzerinde bugün 2,5 kentilyon bite veri üretiliyor gelişen teknoloji ile birlikte sürekli nete bağlı cihazlar göz önünde bulundurulduğunda 2025 yılında uzmanlar 50 milyar algılayıcının sürekli olarak nete bağlı olacağını öngörüyor. Hal böyle olunca bugün neden Büyük Veri tartışmalarının kritik olduğunu ve Internet of Thing’s gerçeğinin göz ardı edilmemesi gereğini konuşuyor oluyoruz ister istemez.

Büyük Şirketlerin Çoğu Bugün Büyük Veri Konusunda ne Yapıyor ?

Bir şirketin analitik ortamı ne kadar olgunsa , şirketin tarihsel başarı ve başarısızlıklarının bileşimini o ölçüde temsil eder. Bazı durumlarda kurumsal veri ambarları sadece analiz edilecek veriler için değil; aynı zamanda üretim işlem sistemindeki veriler için de popüler ve erişilebilir bir depolama yeri olarak kullanılabiliyor ve ne yazık ki kendi başarılarının kurbanı haline gelmiş oluyorlar. Bugün Türkiye’de pek çok büyük kurumun bu hataya düşerek; kurumsal veri ambarını bu şekilde kullandığına tanıklık ediyoruz. Veri ambarında bu şekilde dağınık halde duran verinin bir bölümünü boşaltmak amacıyla büyük veri araçlarına yönlenebilirler. Hadoop veya benzeri diğer büyük veri teknolojileri muhtemel veri ambarının yerini alamayacak olsa da şirketler için seçenekleri artıracağı kesin. Pek tabii ki global örneklerde; ilk adım ekip içinde ve yönetsel becerileri içinde Büyük Veri farkındalığını barındıran bir yapılanmaya gitmek oluyor. Eskiyi 100 % terkederek değil dereceli bir geçişle; entegre çözümlere yakınlaşmak mevcut durum içinde en güvenliilk adım diyebiliriz. Ancak bunun için şirketin faaliyet gösterdiği sektörün yapısı, rekabet şartları da bir diğer belirleyici unsur.

Şirketler Nezdinde Yöneticilerin Eylem Planı Kapsamında Yanıtlaması Gereken Sorular ve Yanıtlar Başlarken El Kitapçığı Olabilir;

  • Yönetim Takımı şu an ve gelecek için işinizi, sektörünüzü etkileyebilecek yeni veri türlerinden kaç tanesini değerlendirmeye aldı?
  • Verinin sürekli elverişliliğiyle birlikte karar verme süreçleriniz dönüşme yolunda kaç belli başlı adım aldınız?
  • İşiniz ve faaliyet gösterdiğiniz pazarda ilgili dış veri entegrasyonu konusunda analiz yaptınız mı, haberdar mısınız?
  • Büyük Verinin sektörünüzü, iş modelinizi müşterileri deneyimlerinizi nasıl değiştirebileceğine dair herhangi bir gelecek senaryosu üzerine çalışmanız var mı?
  • Büyük Veri gelişmelerini üst yönetime aktaran yönetim kadronuzda kim? Allokasyonunuz var mı?
  • Üst Yönetim Büyük Veri ve analitiğin işinizdeki rolünü düzenli olarak tartışıyor mu?
  • Bunlardan kaç tanesine ‘check’ işareti attınız?! Hiç mi? 

Büyük Veri ilk etapta sektörel olarak ne şekilde vücut bulabilir?

Pek tabii ki ilk büyük adımları Pazarlama alanında daha sık görüyor olacağız. Kullanıcıların davranışlarını analiz etmek, eğilim ve popüler gündemi sosyal medya analizleri ile çözümleyebilmek, reklam stratejileri doğrultusunda nokta atışı hedeflemeler ve optimizasyon yapabilmek, eticaret oyuncuları için satış artırabilmek amaçlı ilk çarpıcı kurgularını görmeye başladık bile.

Ancak bununla kalmıyor; Pazarlama yöneticilerinin vizyonu da şaşırtıcı şekilde dönüşüyor: Nicelik nezdinde aldığımız saha raporları artık tüketicinin hissiyatı ve asıl eğilimi konusundaki ‘somut veriye’ yönelik göstergelere bırakıyor yerini. Saha araştırmaları pek tabii ki terkedilmeyecek ancak onların da gardroplarını ihtiyaca yönelik bir kreasyonla donatmaları şart. Yoksa kolaylıkla oyun dışı kalabilirler.

Yanısıra kimi kurumlara Büyük Veri önemli bir misyon yüklüyor, veri sahipliğini tartışmaya açarken onları aynı zamanda göreve ve paylaşıma çağırıyor olacak. Kimileri buna hızla uyum sağlamaya başladı diyebiliriz.

Mesela bankalar, müşterilerine ilişkin veriler aracılığıyla, mudilerinin en son hareketine veya en çok kullandığı araçlara göre; kişiselleştirilebilir menü ve arayüzler oluşturarak hızlı ve kullanışlı hizmet vermeye yönlendiler. Hastaneler, hastalarına yönelik bireysel kişiselleştirilmiş, tıbbi hizmetler sunabilmek için bireysel bazdaki verileri kendi ortamlarında hala depoluyorlar.

Hala çekinik duran ama sistemin içine girdiğinde oyunu dönüştürecek sektör temsilcileri de var :

Enerji firmaları, şu an gitgide popülerleşerek yayılan akıllı şebeke ve sayaçlar kullanan özel teşebbüsler; abonelerin bireysel kullanımlarıyla ilgili verileri depolamak durumundalar.

İlaç endüstrisinde faaliyet gösteren firmalar, onkolojik araştırmalar kanadında oluşturulan genomik veri tabanlarını araştırmacıların, bilim adamlarının sürekli erişimine açık tutmak durumundalar.

Servis sağlayıcılar; büyüyen bilgiyi harmanlayıp, anlamlı bir formata dönüştürerek yeniden kullanıma sunmak durumunda kalacaklar gibi görünüyor.

Böylece veriyi üreten, işleyen ve tüketen partiler açısından veri hızı arttıkça doğrulanabilir güvenli sonuç üretecek. Bu süreç bize gösteriyor ki; Büyük Veri aslında Ticari değerler sistemi içinde statükoyu dönüştürüyor hatta etkisizleştirmeye başlıyor. Veri sahipliği konusunda bir başka tartışmayı da tetikliyor diyebiliriz. Verinin üzerinden mülkiyet bilincinin ağırlığını kaldırmaya çalışıyor ancak buradaki en önemli kriter Verinin Güvenliği ve Veriyi Üretenin Gizliliği. Bu iki değişken, güçlenirken verinin sahibi olduğunu iddia eden demode yaklaşımı da eğitme, bilgilendirme yolunda bir başlangıç zorunlu görülüyor.

Büyük Veri’nin Açmazları : Gizlilik, Veri Güvenliği

Büyük Veri, her ne kadar önümüzde önlenemez bir veri çığının kaçınılmaz getirisi gibi görünse de ve bizi kendisine uyum sürecine yüksek sesle ve iştahı kabarık bir biçimde davet etse de, karanlık yönlerinin olabileceği gerçeği de gün gibi aşikar.

Öncelikle Büyük Veri eksenindeki paydaşların hak ve yükümlülüklerini net belirlemek er ya da geç gerekli.

Kim bu paydaşlar ?

  • Büyük Veriyi Sağlayan Internette içerik ve aksiyon yaratan bireyler (İnternet Kullanıcıları)
  • Büyük Veri Yığınlarını Depolayan Sağlayıcılar (Servis Sağlayıcılar, Operatörler, Online Ortamda Ticari Faaliyet Gerçekleştiren Şirketler-Kurumlar vb.)
  • Büyük Veri Yığınlarını İşleyen Platformlar (Üçüncü Parti Çözüm Şirketleri ve/veya Üçüncü Parti Çözümlerle aynı fonksiyonları geliştirmiş birinci düzey şirketler, girişimler vb.)
  • Büyük Veri Yığınlarını Kullanan, Büyük Verinin Alıcısı olan Kurumlar (Şirketler, eticaret oyuncuları, medya şirketleri, vb tüm kurum ve kuruluşlar)

Bu eksende öncelikle koruma altına alınması ve kişisel hak ve yükümlülükler çerçevesinin belirlenmesi gereken ilk paydaş reel internet kullanıcısı olmasına rağmen, mevcut düzenekte ne yazık ki yeteri kadar söz sahibi olmadığı gibi; yeteri kadar da ‘doğru bilgi’ ile donanımlı değil.

Gelişmiş pazarlarda ve Büyük Veri Operasyonuna daha önce giriş yapan ülkelerde sağlayıcılar için regülatif şartlar ilk olarak belirleniyor. Bu yükümlülükler sivil vatandaşların ‘kişisel hak ve özgürlüklerini koruma ve tanınmasını sağlayan yasalar çerçevesinde belirleniyor ilk etapta. Benzer tüm örneklerde görüldüğü üzere sağlayıcılara hareket alanı imkanı sunacak tek adım sivil vatandaşın onayını almak. Onay veren kullanıcıların bu minvalde sadece özel hayatları dışında kalan alandaki verileri depolayabilme hakkını salık veriyor. Yöntem olarak da; potansiyel olarak audit ( bağımsız denetim ) esnasında ifşa edilebilir veri aşamasında uygulanabilirliği sözkonusu ve sıkça başvurulan bir yöntem.

İkincil olarak regülatif düzenlemeye ihtiyaç duyan diğer alan ise;

Büyük Veri Yığınlarını İşleyen Platformları hedef alıyor. Aslında burada kast ettiğimiz gayet açık ki; TOBB ‘a bağlı tüm şirketler. Meslek Odalar ve Birliği bünyesindeki kurumlar ve şirketlerin faaliyet gösterdikleri sektörel dernek ve standardizasyon masaları. Şimdi görüldüğü üzere Kullanıcı kişisel hak ve yükümlülüklerini ancak kollektif bir bilinç ile bileşkeli bir regülasyon süreci ile koruma altına alabiliriz.

Üçüncül olarak da bu Büyük Veri’yi satın almak isteyen, talep eden kurum ve kuruluşlar. Yani Rekabet Kurumunun standartları belirlediği; bir ticari girişimin özgürlük alanının bir diğerinin özgürlük ve haklar alanının başladığı yere kadar sınırlandığı, yükümlülüklerden söz ediyoruz.

Ne yazık ki Elektronik Ticaretin Düzenlenmesi Hakkında Kanun’un ve Elektronik Haberleşme ve Yayıncılık konusundaki yasal süreç gözönüne alındığında; bu saydığımız kriterlerden oldukça uzak köşelerde çözüm arayışı içinde olunduğunu görmekteyiz.

Yukarıda saydığımız tüm bu birimler nezdinde Büyük Veri bir yeni dünya kuracak önümüzde çok yakın bir gelecekte. Hatta ilk örneklerini görmeye başladık. Açmazları bugünden yarına bir gece içinde çözmek pek mümkün değil ancak bir yerden başlamak gerekiyor. Görmezden gelmek veya tamamen karşı durarak yok olmasını beklemek Don Quichotte’u oynamak olabilir en nazik söylemiyle…

‘Büyük Veri’ yığını büyüdükçe Internet of Things futurist yaklaşımı göz önünde bulundurulacak olursa; kaçınılmaz bir şekilde tamamen göz önündeyiz. Temsil ettiğimiz kurumlarımızı ve orada üstlendiğimiz sorumluluk, taşıdığımız kimliğin ötesinde her birimiz öncelikle basit Internet kullanıcısıyız. O nedenle bu değişim sürecinde zincirin hak ve yükümlülüklerimizi belirleyen aşamasında üstümüze düşeni çok geç olmadan sahiplenmemiz yerinde olur. Aksi halde Büyük Veri’yi yöneten yerine Büyük Veri’nin yönettiği ‘şeyler’ dünyasındaki yerimizi almaktan başka yolumuz kalmayabilir.

Açıklama: Konuk yazarımız İpek Karadağ, 11 Nisan Cumartesi günü Büyük Veri ve E-Ticaret Etkileşimi başlıklı bir workshop verecektir. İlgilenenler aşağıdaki form aracılığıyla bilgi alabilirler.

Kaynakça :

  • Needham, J. (2013). Disruptive Possibilities: How Big Data Changes Everything. O’Reilly Media, Inc.
  • Mc Kinsey Report (2012 ) Big Data : The Next Frontier for Innovation, Competition and Productivity
  • C.Dwork, A Firm Foundation For Private Data Analysis
  • Silver, N. ( 2013) The Signal an the Noise: Why So Many Predictions Fail – But Some Don’t.
  • Hardy, Q. (2012) Bizarre Insights from Big Data

Yorumlar (5)

  1. En sonunda içi dışı düzgün bir yazı geldi.

    Cevapla
    • Yazının tümü Big Data adlı kitaptan (Kenneth Cukier ve Viktor Mayer-Schönberger) alıntıdır. Yazının ilerleyişi ve örnekler bire bir aynı.

      Cevapla
  2. Merhabalar;

    Yazı içerisinde çok yanlış anlatımlar gördüm. Bu konuya dikkat çekmek istiyorum:

    Aslında yıllarca bu tarz veriler; IT uzmanlarınca veya kurumlar tarafından gereksiz veri yığını olarak görülüyordu (Yıllar önce bu tarz veriler yoktu. Sensörler yeni yaygınlaştı, sosyal medya ve paylaşma çılgınlığı ile üretilen veriler sosyal medya yeni bir buluş olduğu için yeni bir veri kaynağı, akıllı telefonlar yeni yaygınlaştı. Ayrıca verilere IT uzmanları gereksiz demez, iş birimi alacağı aksiyon için IT ekiplerinden veri ister ve onlar iletir. Eğer iş birimi istemezse kullanılmayan veri etki analizi sonucu gereksiz ver yığını olarak etiketlenir ve silinir.)

    Veri tabanı içindeki Data Scientist/s (veri bilimci) dediğimiz kişi veya kişiler üzerinden rapor okuması gerçekleştirilip; analiz edilmesini mevcut şartlar içinde sağlamaya çalışıyordu. (Data Scientist/s kelimesi bir meslek olarak 2008 yılında hayatımıza girdi bkz:http://www.forbes.com/pictures/lmm45emkh/2-jeff-hammerbacher-chief-scientist-cloudera-and-dj-patil-entrepreneur-in-residence-greylock-ventures/)

    Yenilikçi adım; verinin merkezi storage’ta tutulup onu işleyecek makinelere taşınması yerine, doğrudan, en başta verinin, kılavuzun kendini oluşturan makinelere dağıtılması oldu.(Transactional bir makinede nasıl işlem yapılması beklenebilr ki bence olayı yanlış anlamışsınız. Konu ile ilgili orjinal white paper’ı tekrar okumanızı tavsiye ederim bkz: http://static.googleusercontent.com/media/research.google.com/tr//archive/mapreduce-osdi04.pdf)

    Bazı durumlarda kurumsal veri ambarları sadece analiz edilecek veriler için değil; aynı zamanda üretim işlem sistemindeki veriler için de popüler ve erişilebilir bir depolama yeri olarak kullanılabiliyor ve ne yazık ki kendi başarılarının kurbanı haline gelmiş oluyorlar. Bugün Türkiye’de pek çok büyük kurumun bu hataya düşerek; kurumsal veri ambarını bu şekilde kullandığına tanıklık ediyoruz. Veri ambarında bu şekilde dağınık halde duran verinin bir bölümünü boşaltmak amacıyla büyük veri araçlarına yönlenebilirler. (Veri ambarı kavramını da çok yanlış anladığınızı düşüüyorum. Öncelikle gelenekse anlamda veri tabanları rdbms dir. Bir rdbms de dağınık halde veriyi nasıl saklarsınız. Dwh konusunda da bence http://en.wikipedia.org/wiki/Bill_Inmon ve http://en.wikipedia.org/wiki/Ralph_Kimball linklerini okumanız gerekiyor.)

    Bu şekilde yazılar sayesinde “Büyük veri: Şehir efsanesi ile fırsatlar arasında uzun ince bir yoldayız” şehir efsaneleri devam eder.

    Cevapla
    • işi “danışmanlık ve eğitim” olan ama bu anlattıklarını kullanmayı bilmeyen insan tabi yanlış yazar.

      ayrıca yazıdaki linkedin profilinden Phorm türkiye yöneticisi olduğunu görüyoruz, şu hani herkesi optin dahil eden gezinti.com ve türevlerinin altyapısı.

      Cevapla
  3. Ahmet ÇAĞAR |

    Güzel makale bookmarkladım.

    Cevapla

Bir Cevap Yazın