Derin Web Verileri ve Excel Web Sorguları Kullanarak Vizyoner Web Araştırma Çalışmaları Yapın

İlan

Çığır açan, dünyayı parçalayan bir araştırma yapmak için elinizde araçlar olduğunu söylersem ne söylerdiniz? Peki, biliyorsun ve sana nasıl olduğunu göstereceğim.

Hükümetler, akademik kurumlar ve kar amacı gütmeyen araştırma kuruluşları veriyle dolu tabloları kamuya açıklar. Bu bilgiyi kullanan kimse olmadan, gerçek değeri asla bilinmeyecektir. Ne yazık ki, çok az insan veriyi almak ve görünüşte bağlantısız bilgiler arasında ilginç korelasyonlar yapmak için içgörü, beceri veya araçlara sahiptir.

Arka fon

Kendi blogum için yaptığım araştırmaların birçoğu, görünmez web Görünmez Web'i Keşfetmek için En İyi 12 Arama MotoruGoogle veya Bing her şeyi arayamaz. Görünmez web'i keşfetmek için bu özel arama motorlarını kullanmanız gerekir. Daha fazla oku , herkese açık, ancak gizli olan verileri ortaya çıkarmak için arama motorları Web'deki En Gelişmiş 5 Arama Motoru Daha fazla oku çevrimiçi bir veritabanı içinde. Bu derin internet TorSearch Derin Web İçin Google Olmayı HedefliyorTor gizli bir hizmettir ve Deep Web'in bir parçasıdır. TorSearch, kurucusu Chris MacNaughton'un “Google of Tor” u yapmak istediği yeni bir anonim arama motorudur.

Daha fazla oku ve değerli verilerle dolu. Sıklıkla, sayımı verilerinden nadir hastalıklar üzerine epidemiyolojik çalışmalara kadar gamı ​​çalıştıran konularda en değerli verilerle takoz dolu web sayfalarına rastlarım. Bu farklı veri kaynaklarını çeşitli yöntemlerle nasıl kullanacağımı ve ilişkilendireceğimi sürekli öğreniyorum araçları - ve bulduğum en değerli araçlardan biri Microsoft'un içindeki Web Sorgusu Excel.

İlginç Veri İlişkileri Bulma

Bugün size göstereceğim şey, verileri almak için Excel Web Sorgularını nasıl kullanabileceğinize bir örnektir farklı web sitelerini ziyaret edebilir ve aralarındaki potansiyel korelasyonları aramak için bunları birbirine göre grafiklendirebilir veri.

Böyle bir egzersize başlamanın yolu ilginç bir hipotez bulmaktır. Örneğin - burada ilginç olan şeyleri tutmak için - Amerika'da bu hızla yükselen otizm oranlarını rastgele bir şekilde tahmin edeceğim aşı aşıları veya çocuklarda ve çevresinde hücre gibi elektromanyetik alanların artan varlığından kaynaklanır telefonları. Çoğu komplo teorisi web sitesinde bulacağınız çılgın bir hipotezdir, ancak bu eğlenceli kılan şey budur. Öyleyse başlayalım, olur mu?

İlk olarak Excel'i açın, veri menü öğesine gidin ve menü şeridinde “Web'den” simgesini bulun.

Bunları yayınlayan birçok web sitesinden farklı veri tablolarını içe aktarmak için kullanacağınız şey budur.

Web Verilerini Excel'e Aktarma

Bu nedenle, eski günlerde bu tablodaki verileri bir web sayfasında kopyalamaya, Excel'e yapıştırmaya ve ardından bunu yapmakla ilgili tüm çılgın biçimlendirme sorunlarıyla uğraşmaya çalışmanız gerekir. Tamamen güçlük ve çoğu zaman baş ağrısına değmez. Excel Web Sorguları ile o günler geride kaldı. Elbette, verileri içe aktarabilmeniz için, ihtiyacınız olan verileri tablo biçiminde bulmak için Web'de yolunuzu bulmanız gerekir. Benim durumumda, otizm olduğu tespit edilen ABD devlet okulu öğrencilerinin sayısı için Eğitim Bakanlığı istatistiklerini yayınlayan bir web sitesi buldum. Orada güzel bir tablo 1994'ten 2006'ya kadar rakamlar sağladı.

Böylece, "Web'den" yi tıklamanız, web sayfası URL'sini sorgu adresi alanına yapıştırmanız ve ardından içe aktarmak istediğiniz verilerin bulunduğu tablonun yanında sarı oku görene kadar sayfayı aşağı kaydırmanız yeterlidir.

Yeşil bir onay işareti olması için oku tıklayın.

Son olarak, Excel'e tablo verilerini yeni e-tablonuzun içine yapıştırmak istediğiniz alanı söyleyin.

Sonra - Voila! Veriler otomatik olarak doğrudan e-tablonuza akar.

Yani, 1996-2006 yılları arasında devlet okulu otizm oranları eğilimi ile, aşılama ve cep telefonu kullanım eğilimlerini de arama zamanı.

Neyse ki, 1985'ten 2012'ye kadar ABD'de cep telefonu aboneleri için eğilimleri hızla buldum. Bu çalışma için mükemmel veriler. Yine, bu tabloyu içe aktarmak için Excel Web Sorgusu aracını kullandım.

Bu tabloyu yeni, temiz bir sayfaya aktardım. Daha sonra, farklı hastalıklara karşı aşılanan okul çocuklarının yüzdesi için aşılama eğilimlerini keşfettim. Bu tabloyu Web Sorgusu aracını kullanarak üçüncü bir sayfaya aktardım. Son olarak, Web'de keşfettiğim görünüşte bağlantısız verilerle dolu üç tablo ile üç sayfa vardı.

Bir sonraki adım, verileri analiz etmek ve herhangi bir korelasyonu tanımlamak için Excel'i kullanmaktır. İşte benim en sevdiğim veri analiz araçlarından biri devreye giriyor - PivotTable.

Excel'de PivotTable ile Verileri Analiz Etme

PivotTable'ınızı yepyeni, boş bir sayfada oluşturmak en iyisidir. Yapmak üzere olduğunuz şey için sihirbazı kullanmak istiyorsunuz. Excel'de PivotTable sihirbazını etkinleştirmek için, bir bildirim penceresi açılana kadar Alt-D tuşlarına aynı anda basmanız gerekir. Ardından bu düğmeleri bırakın ve “P” tuşuna basın. Ardından sihirbazın açıldığını göreceksiniz.

Sihirbazın ilk penceresinde, içe aktardığınız tüm sayfalardan veri seçmenize olanak tanıyan “Birden çok konsolidasyon aralığı” nı seçmek istersiniz. Bunu yaparak, ilgisiz görünen tüm verileri tek ve güçlü bir özet halinde birleştirebilirsiniz. Bazı durumlarda, bazı verilere masaj yapmanız gerekebilir. Örneğin otizm tablosundaki “Yıl” alanını düzeltmek zorunda kaldım, böylece “1994” yerine “1994” gösterdi “1994-95” - birinci sınıfa sahip olan diğer sayfalardaki tablolarla daha uyumlu hale getirildi alan.

Veriler arasındaki ortak alan, bilgileri denemek ve ilişkilendirmek için ihtiyaç duyduğunuz şeydir, bu nedenle verileriniz için Web'i avlarken bunu unutmayın.

PivotTable tamamlandıktan ve tüm farklı veri değerlerini tek bir tabloda görüntüledikten sonra, size atlayan belirgin bir bağlantı olup olmadığını görmek için görsel bir analiz yapma zamanı.

Verileri Görselleştirmek Önemli

Eğer bir ekonomistseniz, bir tablodaki sayılara sahip olmak harikadır, ancak sahip olmanın en hızlı ve en kolay yolu bu "aha!" samanlıkta iğne gibi bağlantılar bulmaya çalıştığınız an, grafikler ve grafikleri. PivotChart'ınızı topladığınız tüm veri kümelerine yerleştirdikten sonra, grafiğinizi oluşturmanın zamanı geldi. Genellikle bir çizgi grafiği en iyisini yapar, ancak verilere bağlıdır. Bir çubuk grafiğin çok daha iyi çalıştığı zamanlar vardır. Ne tür verilere baktığınızı ve hangi form karşılaştırmalarının en iyi sonucu verdiğini anlamaya çalışın.

Bu durumda, zaman içinde verilere bakıyorum, bu nedenle çizgi grafik yıllar boyunca trendleri görmenin en iyi yoludur. Aşağı doğru aşılama oranlarına (koyu mavi), su çiçeği aşılarına (açık mavi) karşı otizm oranlarının (yeşil) grafiklendirilmesi ve cep telefonu kullanımı (mor), oynadığım bu örnek veri kümesinde aniden garip bir korelasyon ortaya çıktı ile.

Garip bir şekilde, 1994'ten 2006'ya kadar cep telefonu kullanımındaki eğilim, aynı dönemde otizm oranlarındaki tırmanışla neredeyse mükemmel bir şekilde eşleşti. Desen tamamen beklenmedik olsa da, ilginç verileri bir araya getirmenin büyüleyici potansiyel müşterileri nasıl ortaya çıkarabileceğinin mükemmel bir örneğidir - ileriye doğru itmeye devam etmenizi ve daha fazla veriyi arayabilmeniz için daha fazla bilgi ve motivasyon sağlayarak hipotez.

Yukarıdaki gibi bir korelasyon hiçbir şey kanıtlamaz. Zamanla yükselen birçok eğilim vardır - desen tesadüf olabilir, ancak internette daha fazla veri için devam eden arayışınızda da önemli bir ipucu olabilir. Neyse ki, Excel Web Queries adlı güçlü bir aracınız var ve bu görevi biraz daha kolaylaştıracak.

Fotoğraf kredisi: Kevin Dooley üzerinden photopincc