Serbest yazılım geliştiriciler web sayfalarını ayrıştıran (parse) ve içerisinden anlamlı verilerin çekilmesine olanak sağlayan araçlar geliştirmeye devam ediyor. Bu konuda son zamanlarda dikkatimi çeken girişim ise Dashblock oldu.
Dashblock'u basitçe özetlemek gerekirse, veri çekmek istediğiniz bir web sayfasına girip çekmek istediğiniz alanları etiketliyorsunuz ve daha sonrasında dashblock uygulamanın öğrendiği etiket alanlarına göre verileri sizin için hazırlıyor.
Uygulama oldukça basit bir şekilde tasarlanmış. Veri çekmek istediğiniz web sayfasını uygulama içerisinde girip alanları işaretliyor ve etiketliyorsunuz. Ardından uygulama benzer alanlar varsa otomatik sizin için o alanları tarıyor ve etiketliyor. Etiketlemeyi bitirdiğiniz web sayfası için artık API'niz hazır. Aynı sitenin farklı sayfalarındaki içeriklerini uygulamaya verdiğiniz anda sizin daha önce etiketlediğiniz tüm alanları keşfediyor ve JSON formatında size sunuyor.
Art arda yapacağınız istekler bazı web sayfaları tarafından bot olarak algılanıp engellenebiliyor. Şu aşamada oldukça başarılı çalışan uygulama için bot korumasını atlatacak IP Rotation özelliği de uygulamaya eklenmiş. Bu sayede yapacağınız istekler bot olarak algılansa bile istekleri göndermeye devam edebiliyorsunuz.
Üye girişi yapılması gereken siteler için henüz desteğin olmadığını ama yakın zamanda geleceğini de ekleyelim.
İlk Yorumu yazmak ister misiniz?
Yorum Yazmak için Giriş Yap