ScraperWiki ile Bulutta Veri Bilimi Yapmak

İlan

Zihinsel pirzola, programlama ve hikaye anlatma yeteneğine ve tasarıma sahipseniz, veri bilimine girmekten daha iyisini yapabilirsiniz. Teknolojideki yeni büyük şey; son derece modaya uygun ve yüksek ücretli, veri bilimcileri dünyanın en büyük şirketleri tarafından aranıyor.

ScraperWiki uzun zamandır veri bilimi alanı ile ilişkilendirilmiş bir şirkettir. Son birkaç yıldır, Liverpool merkezli bu başlangıç, kodlayıcıların veri alan, temizleyen ve bulutta analiz eden araçlar yazmaları için bir platform sundu.

Son zamanlarda yapılan bir yenileme ve kurumdaki veri bilimcileri için giderek artan talep ile ScraperWiki'ye iyi bir göz atmaya değer.

Tam açıklama: Geçen yaz ScraperWiki'de stajyerdim.

ScraperWiki ne yapıyor?

ScraperWiki, verileri almak, temizlemek ve analiz etmek için bir yer olarak pazarlar ve bu sayıların her birini sunar. En basit haliyle, size - kullanıcı - bir kaynaktan veri alan kod yazabileceğiniz bir yer, dönüştürmek için araçlar sağlar analiz etmesi kolay bir formatta ve daha sonra görselleştirme için saklamak için ScraperWiki ile de işleyebileceğiniz bir biçime dönüştürün.

Ayrıca, tekrarlayan görevleri otomatikleştiren önceden oluşturulmuş bir dizi araçla birlikte gelir. PDF'lerden veri almakod çözülmesi çok zor olan. Buna ek olarak Twitter araması İnsanların Sizin Hakkınızda Ne Dediklerini İzlemek İçin 5 Harika Twitter Arama Püf NoktasıBir web siteniz varsa veya sadece bir freelancer olarak çevrimiçi para kazanmaya çalışıyorsanız, insanların İnternet üzerinden sizin hakkınızda ne söylediğini bilmek her zaman iyidir. İnsanlar alıntı yapıyor olabilir ... Daha fazla oku ve kazıma yardımcı programları. Bunları kullanmak için herhangi bir yazılım geliştirme deneyimine ihtiyacınız yoktur.

Maliyet

Daha önce belirtildiği gibi, ScraperWiki freemium fiyatlandırma modelini benimser ve birden fazla katmanı olan bir hizmet sunar. Veri bilimine yeni başlayanlar veya sınırlı ihtiyaçları olanlar ücretsiz hizmetten yararlanabilirler. Bu size üç veri kümesi verir - verilerinizi ve kodunuzu sakladığınız yer.

Birden fazla kazıyıcı yazmayı planlayan veya veri analizi dağları yapmak isteyenler, premium bir hesap için biraz nakit kesebilir. Bunlar ayda 9 $ 'dan başlar ve 10 veri kümesi sunar. Bu hala yeterli değilse, her zaman 100 veri kümesiyle gelen ve aylık 29 ABD doları olan en yüksek düzeyine yükseltebilirsiniz.

Kodlama

Programcılar kodlama konusunda genellikle oldukça belirgindir. Bazıları, dilleri derlenmiş dillere tercih eder. Bazıları, bir metin düzenleyicinin entegre geliştirme ortamının (IDE) deneyimini tercih eder. ScraperWiki bunu tanır ve kodunuzu nasıl yazdığınız konusunda kullanıcıya çok fazla seçenek sunar.

Çok eğimliyseniz, kodunuzu tarayıcıya yazabilirsiniz. Herhangi bir profesyonel sınıftan beklediğiniz gibi, web tabanlı Tarayıcıda Kod Oluşturmak İçin En İyi 3 Tarayıcı Tabanlı IDE Daha fazla oku geliştirme aracı, sözdizimi vurgulama gibi herhangi bir programcının gerekli olduğunu düşündüğü özellikler ile birlikte gelir.

Sunulan birçok dil var. Bunlar piton Python Programlamayı Öğrenmek İçin En İyi 5 Web SitesiPython programlamasını öğrenmek ister misiniz? İşte Python'u çevrimiçi öğrenmenin en iyi yolları, birçoğu tamamen ücretsiz. Daha fazla oku Google ve NASA tarafından kullanılan popüler bir betik dili; Yakut 3 Ruby Programlama Dilini Öğrenmeye Başlamanın Etkileşimli, Eğlenceli, Ücretsiz YollarıRuby etkileyici, çok üst düzey bir betik dilidir. Web'de esas olarak Ruby on Rails web geliştirme çerçevesinin bir parçası olarak, aynı zamanda bağımsız olarak kullanılır. Ruby'nin ne olduğunu merak ediyorsanız (değil ... Daha fazla oku Living Social gibi bir dizi popüler web sitesine güç veren; ve popüler istatistiksel analiz dili R.

Ayrıca, SSH, Git ve kullanmak istediğiniz metin düzenleyicisini kullanarak komut satırından da kod yazabilirsiniz. Evet, doğru okudunuz. SSH SSH Nedir ve FTP'den Farkı [Açıklanan Teknoloji] Daha fazla oku . Kullandığınız her kutu kendi Linux hesabıdır ve bir VPS veya başka bir kabuk hesabında olduğu gibi bağlanabilirsiniz. Kullanabileceğiniz çeşitli metin editörleri de vardır. gayret Vim Metin Editörü'ne Şans Vermek İçin En Önemli 7 NedenYıllarca bir metin düzenleyicisini birbiri ardına denedim. Siz söyleyin, denedim. Bu editörlerin her birini iki aydan uzun bir süre birincil günlük editörüm olarak kullandım. Her nasılsa, ben ... Daha fazla oku eklentilerle ve yapılandırmayı düzenleyerek genişletilebilir. Vim tarafından korkutulanlar, hafif bir komut satırı metin editörü olan Nano'yu kullanabilir.

Yüklü kütüphaneler, veri almak ve işlemek için yazma araçlarına yeterli olmalıdır. Biraz daha belirsiz bir şeye ihtiyacınız varsa, her zaman komut satırından bir sanal ağ oluşturabilirsiniz. Gördüğünüz gibi, geliştiricilere sağlanan büyük miktarda esneklik var.

Veri goruntuleme

Yani, verileriniz elinizde. Normalleştirdiniz. Temizledin. Analiz ettin. Şimdi biraz görselleştirme yapma ve dünyaya ne öğrendiğinizi gösterme zamanı.

ScraperWiki, geliştiricilerin HTML, CSS ve JavaScript'in tanıdık üçlüsünden oluşturulan web sayfalarını kullanarak verilerini görüntülemelerine olanak tanır. Ayrıca, Bootstrap bileşenleri kutudan çıkar çıkmaz desteklenir.

Verilerinizi bir harita üzerinde çizen ve bulgularınızdaki eğilimleri bulanlar da dahil olmak üzere önceden yapılmış çeşitli görselleştirmeler vardır. Bunları kullanmak için, verilerinizin "scraperwiki.sqlite" dosya adıyla SQLite dosyası olarak depolandığından emin olmanız gerekir. Ardından, ilgilendiğiniz görselleştirmeyi ekleyin. Basit, değil mi?

Sonuç

ScraperWiki en zorlu kullanıcıları bile memnun etme esnekliğine sahipken, geliştirme ortamları yoluna girmeden veri analizi yapmak isteyen geliştiricilere çok şey sunuyor. Ama ne düşünüyorsun? Aşağıdaki yorumlarda bana bildirin.
Fotoğraf kredisi: Roket Bilimi (Dan Brown)