Video: Лучшие в своём деле: Артур Хачуян | Большие данные — Big Data | ЛСД #7 (Oktober 2024)
Satu hal yang membuat saya terkesan pada Bloomberg Enterprise Technology Summit kemarin adalah fokus berurusan dengan data dengan cara baru - dengan kata lain, berurusan dengan apa yang sering disebut "big data."
Beberapa percakapan berhubungan dengan nilai data besar, dan apakah itu benar-benar merupakan "peluang bernilai trilyun dolar, " sementara yang lain membahas tantangan spesifik yang dihadapi oleh organisasi dan industri secara keseluruhan menghadapi lebih banyak penyebaran teknik baru ini.
Gerard Francis, Kepala Global Bloomberg Enterprise Solutions, Bloomberg LP memulai hari dengan menyarankan bahwa hal terpenting yang dapat dilakukan perusahaan adalah "memanfaatkan nilai data dengan menggunakannya, " dan berfokus pada akses, kualitas, dan aliran data dalam suatu organisasi. Pada panel berikutnya, ada banyak pembicaraan tentang alat-alat baru yang berhubungan dengan data, serta masalah spesifik dalam menyimpan, mengelola, dan menemukan orang untuk menangani data.
Dalam panel umum tentang tren perusahaan, Dwight Merriman, Chairman dan Co-Founder MongoDB, mengatakan bahwa lapisan data trek aplikasi mengalami "gangguan dan perubahan terbesar yang pernah kita lihat dalam 25 tahun terakhir." Dia mengatakan perusahaan telah menggunakan database relasional selama 25 tahun atau lebih, menjadikannya teknologi tertua di stack. Tetapi sekarang ada hal-hal yang terjadi dengan penyimpanan berbasis file seperti Hadoop dan teknologi database baru, sering dikelompokkan sebagai "NoSQL." Dia menyatakan bahwa Big Data bukan tentang "besar" melainkan tentang bentuk data, jenis data, dan langkah menuju berurusan dengan data real-time.
Kepala Informasi Google Benjamin Fried setuju bahwa sebagian besar perusahaan tidak memiliki masalah "data besar". Banyak set data - dengan hal-hal seperti data SDM dan data keuangan - tidak sebesar itu, katanya. Yang penting adalah fleksibilitas yang Anda butuhkan untuk menangani data dengan benar.
Apa itu Big Data?
Konsep itu - fleksibilitas itu sama pentingnya dengan ukuran data - digemakan di panel lain di kemudian hari. Di sana, para peserta sepakat bahwa perusahaan telah berurusan dengan aplikasi data yang berat untuk waktu yang lama, tetapi skalanya telah berubah baru-baru ini. Misalnya, Mark F. Bregman, Wakil Presiden Senior dan Kepala Teknologi Neustar mencatat bahwa beberapa perusahaan sekarang "menyimpan segalanya" dengan harapan bahwa itu akan terbukti berharga.
"Besar lebih baik didefinisikan sebagai kompleksitas, " menurut Gary Bloom, CEO dan Presiden MarkLogic. Dia mencatat bahwa banyak aplikasi yang disebut "data besar" melibatkan banyak jenis data yang berbeda, tetapi bukan jenis volume yang biasanya Anda dengar dalam aplikasi "data besar".
Dia mengutip contoh lalu lintas udara yang menggabungkan data cuaca, data bandara, data geospasial, data penerbangan, data reservasi penerbangan, dan data sosial. Dia mencatat bahwa berurusan dengan data heterogen sangat sulit dilakukan dengan database relasional tradisional, menggemakan komentar sebelumnya dari Merriman MongoDB bahwa ini adalah "pergeseran generasi pertama dalam database dalam 25 tahun" sejak kami pindah dari mainframe ke era database relasional.
Dia mencatat bahwa banyak orang berbicara tentang data media sosial, tetapi itu benar-benar perlu digabungkan dengan data lain untuk benar-benar memiliki sesuatu yang dapat Anda manfaatkan. Menggabungkan data ini adalah "nilai sebenarnya".
Tentu saja, beberapa aplikasi memang melibatkan banyak informasi, dengan Bregman mengatakan heterogenitas hanyalah satu faktor. Dia mengutip data DNS, yang dapat dengan mudah menghasilkan 8TB informasi sehari, dan kebutuhan untuk menyimpan hal-hal seperti itu di Hadoop. Bregman dan yang lainnya mencatat bahwa ketika datang ke "kapitalisasi data, " nilai sebenarnya tidak ada dalam data mentah, tetapi dalam analisis ketika itu menjadi sesuatu yang dapat Anda gunakan. Yang lain di panel setuju.
CEO Streambase Mark Palmer mengatakan bahwa menyisir data dalam jumlah besar dengan analitik streaming adalah penting dalam banyak aplikasi; dan berbicara tentang nilai tambahan yang dapat diciptakan dengan menggabungkan analitik tradisional dan real-time.
Tetapi dia setuju bahwa kompleksitas data adalah masalah. Dia mengutip bagaimana Vivek Ranadivé, yang menjalankan Tibco (yang sekarang memiliki Streambase), membeli tim bola basket sebagian untuk mengetahui bagaimana teknologi dapat meningkatkan pengalaman penggemar. Dia lagi berbicara tentang "menumbuhkan berbagai jenis data, " mulai dari aliran Twitter tetapi juga meningkatkan jenis data lainnya.
Bloom mencatat bahwa itu semua tergantung pada aplikasi, mengatakan bahwa "latensi ada di mata yang melihatnya." Beberapa aplikasi perlu mem-parsing data pada kabel sebelum bahkan menyentuh database, sementara yang lain tidak.
Bregman mengemukakan masalah bahwa alih-alih sulit untuk memindahkan sumber daya komputasi, sekarang semakin sulit untuk memindahkan data. Dia mencatat bahwa untuk banyak aplikasi, "penguncian" adalah lokasi data. Setelah Anda menyimpan data Anda di cloud publik, sangat sulit untuk memindahkannya. Akibatnya, katanya, banyak organisasi ingin menyimpan sejumlah besar data di lokasi mereka sendiri, kemudian dapat pindah ke penyedia yang berbeda untuk fungsi komputasi. Meminjam istilah dari MarkLogic's Bloom, ia berbicara tentang bagaimana organisasi mungkin membutuhkan "pusat data yang berpusat pada data" sebagai tempat di mana Anda menyimpan sejumlah besar data.
Apakah Big Data adalah 'Peluang Triliun-Dolar?'
Panel lain membahas peluang dan tantangan yang dibawa oleh data besar, merefleksikan komentar dari Porter Bibb, Managing Partner di MediaTech Capital Partners. Bibb mengatakan sebenarnya ada lebih dari satu triliun dolar manfaat bagi perusahaan menggunakan teknik baru. Sampai saat ini, katanya, kami "bahkan belum mulai memanfaatkan potensi yang ditawarkan teknologi ini."
Bibb berbicara tentang betapa pentingnya bagi organisasi untuk menyelaraskan strategi data mereka dengan strategi bisnis, dan khawatir bahwa sebagian besar sistem perusahaan dan pemerintah tidak selaras.
Dalam sesi pertama itu, Scott Weiss dari Andreessen Horowitz mengatakan bahwa "Hadoop seperti penyimpanan kriogenik, " demikian moderator Jason Kelly dari Bloomberg Link bertanya kepada Kepala Arsitek Cloudera, Doug Cutting, yang merupakan salah satu pencipta Hadoop di tempat pertama, bagaimana dia melihat bahwa.
Memotong kata Hadoop memungkinkan orang untuk bekerja dengan lebih banyak data. Dia mengatakan organisasi menarik data dari rekaman, alih-alih membuatnya online dan bisa digunakan. Pelanggan beralih dari bekerja dengan data 90 hari menjadi data lima atau 10 tahun dalam "arsip aktif."
Sejumlah masalah khusus dalam menangani semua data ini muncul lagi di panel ini. CEO Snaplogic Gaurav Dhillon berbicara tentang "data gravity, " mengatakan bahwa tidak masuk akal untuk mengambil data yang ada di Hadoop dan memindahkannya ke cloud. Tetapi pada saat yang sama, jika ada data di cloud, seperti analisis aliran klik, tidak masuk akal untuk memindahkannya di tempat. Akibatnya, katanya, dia melihat sangat sedikit "peluang lintas batas" dalam memindahkan data.
Cutting mengatakan dia tidak percaya benar-benar ada kekurangan ilmuwan data. Sebagai gantinya, dia mengatakan ada banyak orang yang mengerti matematika dan bisnis, tetapi mereka tidak memiliki alat. Anda dapat mempelajari dasar-dasar alat dan apa yang mereka lakukan dalam beberapa minggu, katanya, tetapi memahami bisnis Anda membutuhkan waktu bertahun-tahun. Namun ada banyak orang yang mengerti itu.
Dhillon juga mencerminkan keprihatinan tentang undang-undang yang mengatur informasi apa yang dapat disimpan di mana. Dia mengatakan beberapa pasar vertikal memerlukan informasi untuk disimpan di tempat, tetapi khawatir tentang hal-hal seperti persyaratan untuk tidak memindahkan data dari negara asalnya. Banyak dari ini adalah reaksi berlebihan terhadap hal-hal seperti wahyu Snowden dan pelanggaran data, katanya, mencatat "terburu-buru untuk membuat undang-undang tidak pernah baik."
Ditanya apakah dia khawatir bahwa pelanggaran Snowden dan Target membuat pelanggan takut tentang data, Cutting mengatakan dia khawatir bahwa begitu banyak orang khawatir. Banyak orang takut oleh teknologi, katanya, dan itu adalah kegagalan industri untuk membuat pelanggan nyaman dengan anggapan bahwa data mereka tidak digunakan. "Kamu tidak harus menyeramkan, " katanya.
Pada akhirnya, ada banyak diskusi tentang penilaian, dengan Bibb menyarankan investasi Intel baru-baru ini di Cloudera adalah "masalah besar, " karena hal itu memvalidasi apa yang sedang dilakukan perusahaan. Dia mengatakan perusahaan besar lainnya seperti Oracle, IBM, Microsoft, dan Amazon berkeliaran di sekitar perusahaan analitik prediktif. "Demam emas baru saja dimulai."
Dhillon mengatakan bahwa penilaian mencerminkan apa yang dibawa oleh perusahaan plumbing ke pasar big data. Dia mengatakan dia senang melihat "pick and shovel" seperti itu mendapatkan penilaian yang bagus, tetapi mengatakan dia agak takut bahwa valuasi semakin unggul di pasar.
Bibb mengatakan dia berpikir bahwa data besar mungkin diekspos berlebihan di media, tetapi itu kurang terang dalam "c-suite" (artinya CEO, CFO, dan eksekutif top lainnya.) Dia mengatakan itu memiliki "potensi ekonomi besar yang belum ditemukan."."
