Ketika cloud dibanjiri, itu komputasi tepi, ai untuk menyelamatkan

Di sepanjang garis pantai negara bagian New South Wales Australia (NSW) melayang-layang armada drone, membantu menjaga perairan tetap aman. Awal tahun ini, drone membantu penjaga pantai di negara bagian Far North Coast menyelamatkan dua remaja yang berjuang keras dalam ombak.

Drone ini ditenagai oleh algoritma kecerdasan buatan (AI) dan visi mesin yang secara konstan menganalisis umpan video mereka dan menyorot item-item yang perlu perhatian: misalnya, hiu, atau perenang liar. Ini adalah jenis teknologi yang sama yang memungkinkan Foto Google untuk mengurutkan gambar, kamera keamanan rumah untuk mendeteksi orang asing, dan lemari es pintar untuk memperingatkan Anda ketika barang yang mudah rusak Anda mendekati tanggal kedaluwarsanya.

Tetapi sementara layanan dan perangkat tersebut membutuhkan koneksi konstan ke cloud untuk fungsi AI mereka, drone NSW dapat melakukan tugas pendeteksian gambar mereka dengan atau tanpa koneksi internet yang solid, berkat chip komputasi saraf yang memungkinkan mereka melakukan perhitungan pembelajaran mendalam secara lokal.

Chip ini adalah bagian dari tren inovasi edge-computing yang berkembang yang memungkinkan perangkat kami yang didukung perangkat lunak untuk melakukan setidaknya beberapa fungsi penting tanpa tautan konstan ke cloud. Maraknya komputasi terdepan membantu memecahkan masalah baru dan lama dan membuka jalan bagi perangkat pintar generasi berikutnya.

Melepas Awan

Dalam dua dekade terakhir, cloud telah menjadi cara defacto untuk hosting aplikasi, dengan alasan yang bagus.

"Hal yang membuat cloud begitu menarik adalah cenderung mengeluarkan biaya untuk memulai setiap aktivitas yang ingin Anda lakukan, " kata Rob High, CTO dari IBM Watson. "Awan… memungkinkan orang untuk… memecahkan masalah nyata hari ini tanpa harus melalui biaya pembuatan infrastruktur."

Dengan konektivitas internet di mana-mana dan aplikasi cloud, layanan, dan platform pengembangan yang tak terhitung jumlahnya, hambatan untuk membuat dan menggunakan aplikasi telah jauh berkurang. Sumber daya yang luas dari penyedia cloud seperti IBM, Google, dan Amazon telah mendorong pengembangan tidak hanya aplikasi bisnis yang sepele tetapi juga perangkat lunak yang kompleks yang membutuhkan sejumlah besar komputasi dan penyimpanan - AI dan algoritma pembelajaran mesin serta streaming dan AR (augmented reality) aplikasi.

Tetapi kemajuan ini juga menciptakan tantangan: Sebagian besar aplikasi yang kami gunakan tidak dapat berfungsi kecuali jika terhubung ke cloud. Ini termasuk sebagian besar aplikasi yang berjalan di komputer dan ponsel serta perangkat lunak dalam lemari es, termostat, kunci pintu, kamera pengintai, mobil, drone, sensor cuaca, dan sebagainya.

Dengan munculnya Internet of Things (IoT), semakin banyak perangkat yang menjalankan perangkat lunak dan menghasilkan data, dan sebagian besar dari mereka akan memerlukan tautan ke cloud untuk menyimpan dan memproses data tersebut. Jumlah daya dan bandwidth yang diperlukan untuk mengirim data ke cloud sangat besar, dan ruang yang dibutuhkan untuk menyimpan data akan menantang sumber daya bahkan raksasa cloud yang paling kuat sekalipun.

"Ada banyak data yang kami kumpulkan dalam sistem ini, apakah itu di tepi, atau itu adalah perangkat IoT, atau tempat lain, yang Anda hampir bisa memutuskan untuk tidak peduli, " kata High. Tetapi jika setiap keputusan harus dilakukan di cloud, semua data harus dikirim melintasi jaringan ke server cloud untuk digosok dan difilter.

Sebagai contoh, High memberi nama pesawat terbang modern, yang berisi ratusan sensor yang memantau mesin jet dan mengumpulkan ratusan gigabyte status dan data kinerja selama setiap penerbangan. "Berapa banyak dari data itu yang benar-benar penting jika Anda ingin menganalisisnya secara agregat? Mungkin hanya sebagian kecil dari itu, " kata High. "Kenapa tidak menyingkirkan saja sumbernya padahal itu tidak perlu untuk hal lain yang sedang kamu lakukan?"

Melakukan apa yang High sarankan di luar cloud sebelumnya adalah sesuatu yang mustahil, tetapi kemajuan dalam prosesor System-on-Chip (SoC) yang berdaya rendah dan murah telah memberi perangkat tepi lebih banyak daya komputasi dan membiarkan mereka memikul sebagian beban komputasi mereka. ekosistem, seperti melakukan analisis waktu nyata atau memfilter data.

"Ada begitu banyak data di lingkungan tepi, masuk akal untuk membawa beberapa kemampuan komputasi awan ke dalam kapasitas komputasi perangkat tepi, " kata High.

Kekhawatiran Privasi

Manfaat komputasi tepi tidak terbatas untuk membebaskan sumber daya cloud.

Remi El-Ouazzane, Grup Teknologi Baru dan Manajer Umum di Movidius (Intel), mengutip kamera keamanan komersial sebagai contoh lain kapan komputasi tepi dapat membuat perbedaan besar. Anda melihat kamera ini di lampu lalu lintas, di bandara, dan di pintu masuk gedung, merekam dan mengalirkan video berkualitas tinggi di seluruh jaringan sepanjang waktu.

"Semakin sedikit data yang Anda perlukan untuk dibawa kembali ke server atau pusat data, semakin banyak scrubbing dan finessing yang dapat Anda lakukan secara lokal, semakin baik keseluruhan biaya kepemilikan Anda akan dari perspektif penyimpanan dan transfer, " kata El-Ouazzane.

Ini berarti memberikan kekuatan pada kamera untuk menganalisis umpan video mereka sendiri, menentukan frame atau panjang video mana yang memerlukan perhatian, dan hanya mengirim data itu ke server.

Ketika kamera-kamera itu dipasang di rumah Anda, kantor Anda, atau lokasi pribadi apa pun, koneksi ke cloud juga menjadi masalah keamanan potensial. Peretas dan peneliti keamanan telah dapat mengkompromikan koneksi antara peralatan rumah tangga dan server cloud mereka untuk mencegat umpan video sensitif. Parsing data secara lokal menghilangkan kebutuhan untuk memiliki saluran video antara rumah Anda, kehidupan pribadi Anda, dan penyedia layanan.

Movidius, yang diakuisisi oleh Intel pada tahun 2016, adalah salah satu dari beberapa startup yang membuat chip komputer khusus untuk tugas-tugas AI seperti pengenalan suara dan visi komputer. Perusahaan memproduksi Vision Processing Units (VPUs) - prosesor berdaya rendah yang menjalankan jaringan saraf yang menganalisis dan "memahami" konteks gambar digital tanpa perlu mengirimnya kembali ke cloud.

Movidius Myriad 2 adalah prosesor penglihatan selalu aktif yang dibuat untuk lingkungan dengan daya terbatas.

"Ketika kamera memahami semantik dari apa yang dilihatnya, maka kemampuan untuk memaksakan aturan tentang apa yang dapat dilakukan atau tidak dapat dilakukan kamera menjadi tugas yang sangat mudah, " kata El-Ouazzane. "Anda tidak perlu benar-benar menangkap ruang tamu Anda selama 12 jam ke depan hanya untuk mengetahui bahwa, pada waktu tertentu, anjing Anda melintasi karpet di depan sofa."

Perusahaan lain sedang mengeksplorasi penggunaan komputasi tepi bertenaga AI khusus untuk menjaga privasi pengguna. Apple iPhone X, misalnya, ditenagai oleh chip A11 Bionic, yang dapat menjalankan tugas AI secara lokal, memungkinkannya untuk melakukan pengenalan wajah yang rumit tanpa mengirim foto pengguna ke cloud.

Semakin banyak pemrosesan AI di tepi dapat membuka jalan bagi kecerdasan buatan yang terdesentralisasi, di mana pengguna harus berbagi lebih sedikit data dengan perusahaan besar untuk menggunakan aplikasi AI.

Mengurangi Latensi

Masalah lain dengan penyedia cloud besar adalah bahwa pusat data mereka berlokasi di luar kota besar, menempatkan mereka ratusan dan ribuan mil jauhnya dari orang-orang dan perangkat yang menggunakan aplikasi mereka.

Dalam banyak kasus, latensi yang disebabkan oleh data yang melakukan perjalanan ke dan dari cloud dapat menghasilkan kinerja yang buruk, atau lebih buruk, hasil yang fatal. Ini bisa berupa drone yang berusaha menghindari tabrakan atau mendarat di tanah yang tidak rata, atau mobil yang bisa mengemudi sendiri yang mencoba memutuskan apakah itu menabrak rintangan atau pejalan kaki.

Implementasi Movidius yang ringan terhadap jaringan saraf yang dalam dan visi komputer membuat chip-chipnya cocok untuk perangkat tepi mobile seperti drone, yang tidak memungkinkan perangkat keras yang mengonsumsi daya seperti GPU. Drone adalah studi yang sangat menarik, karena mereka memerlukan akses latensi rendah ke komputasi AI dan harus tetap berfungsi dalam pengaturan offline.

Deteksi gerakan sebagai area lain di mana komputasi tepi membantu meningkatkan pengalaman drone. "Tujuannya adalah membuat drone dapat diakses oleh banyak orang, dan gerakan tampaknya menjadi cara yang baik bagi orang-orang untuk menggunakannya. Latensi penting ketika Anda memberi isyarat drone untuk melakukan beberapa tugas, " kata El-Ouazzane.

Untuk startup seperti Skylift Global, yang menyediakan layanan drone kelas berat untuk menyelamatkan pekerja dan responden pertama, akses latensi rendah ke AI dan menghitung sumber daya dapat menghemat uang dan nyawa. "Ini akan secara signifikan memangkas biaya konsumsi data, mengurangi latensi jaringan, meningkatkan keamanan, dan membantu mengubah streaming data menjadi keputusan waktu-nyata, " kata Amir Emadi, CEO dan pendiri Skylift.

Mengirim pasokan ke responden pertama membutuhkan keputusan sepersekian detik. "Semakin banyak waktu yang berlalu, misalnya dalam memerangi api, semakin mahal jadinya untuk memperbaiki situasi. Ketika drone kami menjadi mampu membuat keputusan waktu nyata di tepi bahkan ketika mereka kehilangan konektivitas, kami akan dapat menghemat lebih banyak hidup, uang, dan waktu, "kata Emadi.

Domain lain yang membutuhkan perhitungan waktu dekat adalah aplikasi augmented reality dan virtual dan kendaraan otonom. "Ini semua adalah lingkungan komputasi berbasis pengalaman. Mereka akan terjadi di sekitar orang-orang, " kata Zachary Smith, CEO Packet, sebuah startup berbasis di New York yang berfokus pada memungkinkan pengembang untuk mengakses perangkat keras yang sangat terdistribusi.

Aplikasi AR atau VR yang tidak bisa mengikuti pergerakan pengguna akan menyebabkan pusing atau mencegah pengalaman menjadi lebih mendalam dan nyata. Dan latensi akan lebih menjadi masalah ketika mobil self-driving, yang sangat bergantung pada visi komputer dan algoritma pembelajaran mesin, menjadi arus utama.

"Latensi 30 milidetik tidak penting untuk memuat laman web Anda, tetapi akan sangat menentukan bagi mobil untuk menentukan pada 60 mph jika harus belok kiri atau kanan untuk menghindari menabrak seorang gadis kecil, " kata Smith.

Memenuhi Tantangan Tepi

Meskipun kebutuhan untuk membawa komputasi lebih dekat ke tepi, menempatkan perangkat keras khusus ke setiap perangkat mungkin bukan jawaban akhir, Smith mengakui. "Mengapa tidak hanya meletakkan semua komputer di dalam mobil? Saya pikir itu benar-benar ada hubungannya dengan evolusi seberapa cepat Anda dapat mengendalikan siklus hidup itu, " katanya.

"Ketika Anda menempatkan perangkat keras ke dunia, biasanya tetap di sana selama lima hingga 10 tahun, " kata Smith, sementara teknologi yang mendukung kasus penggunaan berbasis pengalaman ini berkembang setiap enam hingga 12 bulan.

Bahkan perusahaan besar dengan rantai pasokan yang rumit sering kesulitan memperbarui perangkat keras mereka. Pada 2015, Fiat Chrysler harus menarik 1, 4 juta kendaraan untuk memperbaiki kerentanan keamanan yang terekspos lima tahun sebelumnya. Dan pembuat chip raksasa Intel masih berjuang untuk berurusan dengan cacat desain yang memaparkan ratusan juta perangkat ke peretas.

El-Ouazzane dari Movidius mengakui tantangan ini. "Kami tahu bahwa setiap tahun kami harus mengubah serangkaian produk, karena setiap tahun kami akan membawa lebih banyak kecerdasan, dan kami akan meminta pelanggan kami untuk meningkatkan, " katanya.

Untuk menghindari penarikan terus-menerus dan membiarkan pelanggan menggunakan perangkat keras tepi mereka dalam jangka panjang, Movidius mengemas prosesornya dengan sumber daya dan kapasitas ekstra. "Kami membutuhkan kemampuan untuk beberapa tahun ke depan untuk melakukan peningkatan pada produk-produk itu, " kata El-Ouazzane.

Packet, perusahaan Smith, menggunakan pendekatan yang berbeda: Ini menciptakan pusat data mikro yang dapat digunakan di kota-kota, lebih dekat dengan pengguna. Perusahaan kemudian dapat menyediakan pengembang dengan sumber daya komputasi latensi yang sangat rendah - sedekat mungkin dengan pengguna tanpa menempatkan perangkat keras yang sebenarnya di ujung tanduk.

"Kami berkeyakinan bahwa akan dibutuhkan mekanisme pengiriman infrastruktur untuk meletakkan perangkat keras yang dapat diakses oleh pengembang di setiap kota di seluruh dunia, " kata Smith. Perusahaan sudah beroperasi di 15 lokasi dan berencana untuk akhirnya memperluas ke ratusan kota.

Namun ambisi Packet melangkah lebih jauh daripada menciptakan versi miniatur dari fasilitas luas yang dioperasikan oleh orang-orang seperti Google dan Amazon. Seperti yang dijelaskan Smith, menggunakan dan memperbarui perangkat keras khusus tidak mungkin dilakukan dengan cloud publik. Dalam model bisnis Packet, produsen dan pengembang menggunakan perangkat keras khusus di pusat data tepi perusahaan, tempat mereka dapat dengan cepat memperbarui dan menyegarkannya saat diperlukan, sambil juga memastikan pengguna mereka mendapatkan akses super cepat ke sumber daya komputasi.

Hatch, salah satu pelanggan Packet, adalah spin-off dari Rovio, perusahaan game mobile yang menciptakan Angry Birds. Perusahaan menjalankan Android pada server komputasi ujung untuk menyediakan layanan streaming multiplayer-game latensi rendah untuk pengguna dengan perangkat Android kelas bawah.

"Membutuhkan server ARM yang cukup terspesialisasi di semua pasar ini di seluruh dunia, " kata Smith. "Mereka memiliki konfigurasi khusus dari penawaran server kami, dan kami menaruhnya di delapan pasar global di seluruh Eropa, dan segera akan menjadi 20 atau 25 pasar. Rasanya seperti Amazon bagi mereka, tetapi mereka dapat menjalankan perangkat keras khusus di setiap pasar di Eropa."

Secara teoritis, Hatch dapat melakukan hal yang sama di cloud publik, tetapi biayanya akan membuatnya menjadi bisnis yang tidak efisien. "Perbedaannya adalah antara menempatkan 100 pengguna per CPU dibandingkan menempatkan 10.000 pengguna per CPU, " kata Smith.

Smith percaya model ini akan menarik bagi generasi pengembang yang akan mendorong inovasi perangkat lunak berikutnya. "Apa yang kami fokuskan adalah bagaimana menghubungkan generasi perangkat lunak, orang-orang yang tumbuh di cloud, dengan perangkat keras khusus, " kata Smith. "Kita berbicara tentang pengguna yang bahkan tidak bisa membuka MacBook mereka untuk melihat ke dalam, dan itulah orang yang akan berinovasi di tumpukan perangkat keras / lunak."

Akankah Awan Hilang?

Dengan perangkat tepi menjadi mampu melakukan tugas komputasi yang rumit, apakah masa depan cloud dalam bahaya?

"Bagi saya, komputasi tepi adalah perkembangan komputasi awan berikutnya yang wajar dan logis, " kata IBM Watson High.

Faktanya, pada tahun 2016, IBM meluncurkan seperangkat alat yang memungkinkan pengembang mendistribusikan tugas antara edge dan cloud dengan mulus, terutama di ekosistem IoT, di mana perangkat edge sudah mengumpulkan banyak data tentang lingkungan langsung mereka. Dan pada akhir 2016, Amazon Web Services, platform pengembangan cloud besar lainnya, mengumumkan Greengrass, sebuah layanan yang memungkinkan pengembang IoT untuk menjalankan bagian-bagian dari aplikasi cloud mereka di perangkat tepi mereka.

Tidak satu pun dari ini yang berarti awan hilang. "Hanya ada banyak hal yang lebih baik dilakukan di cloud, bahkan ketika banyak pekerjaan masih dilakukan di tepi, " kata High. Ini termasuk tugas-tugas seperti mengumpulkan data dari berbagai sumber dan melakukan analisis skala besar dengan kumpulan data besar.

"Jika kita perlu membuat model dalam algoritma AI yang kita gunakan di perangkat tepi ini, membuat dan melatih model ini masih merupakan masalah komputasi-intensif yang sangat besar dan seringkali membutuhkan kapasitas komputasi yang jauh melebihi apa yang tersedia pada perangkat tepi ini, " Tinggi kata.

El-Ouzzane setuju. "Kemampuan untuk melatih model AI secara lokal sangat terbatas, " katanya. "Dari sudut pandang pembelajaran yang mendalam, pelatihan ini hanya memiliki satu tempat untuk duduk, dan itu ada di cloud, di mana Anda mendapatkan sumber daya komputasi yang cukup dan penyimpanan yang cukup untuk dapat menangani set data besar."

El-Ouazzane juga menyediakan kasus penggunaan di mana perangkat tepi ditugaskan dengan tugas misi dan waktu-kritis, sementara cloud menangani kesimpulan yang lebih maju yang tidak bergantung pada latensi. "Kita hidup di dunia kontinuitas antara awan dan ujungnya."

"Ada hubungan yang sangat simbiotik dan sinergis antara komputasi tepi dan komputasi awan, " kata High.