Tanah longsor adalah perpindahan material pembentuk lereng berupa
batuan, bahan rombakan, tanah, atau material campuran tersebut, bergerak
ke bawah atau keluar lereng. Proses terjadinya tanah longsor dapat
diterangkan sebagai berikut. Air yang meresap ke dalam tanah akan
menambah bobot tanah. Jika air tersebut menembus sampai tanah kedap air
yang berperan sebagai bidang gelincir, maka tanah menjadi licin dan
tanah pelapukan di atasnya akan bergerak mengikuti lereng dan keluar
lereng.
Macam - macam longsoran.
Klasifikasi longsoran dapat
dibedakan dari tipe gerakan dan material tanah penyusunnya :
a.
Tipe gerakannya
Luncuran ( Slide)
Rayapan (Creep)
Longsoran ( Slump) Ambrukan (Topple)
Jatuhan
(Fall) Aliran
( Flow)
b.   Material yang bergerak
1)
Batuan dasar (BedRock)
2)
Lapisan Tanah (Soil) dalam ukuran kasar dan halus
Pemantauan Kawasan Rawan Longsor dan Langkah Mitigasi
Kegiatan
pemantauan kawasan rawan longsor dilaksanakan melalui survei - survei yang  dilakukan untuk mengidentifikasi pola - pola
gerakan tanah di kawasan di mana longsor diperkirakan terjadi. Ini dilakukan
dengan pengukuran geofisika dan geologi, dengan memasang alat-alat ukur gerakan
tanah. Kegiatan yang dilaksanakan antara lain seperti pengamatan kemiringan
lahan (diturunkan dari data topografi dan kontur), deteksi aliran air
permukaan, klasifikasi umum jenis tanah yang dapat dilakukan secara langsung
menggunakan tehnik penginderaan jauh (remote sensing). Sebagian lainnya
dilakukan dengan memadukan pekerjaan survei lapangan dan interpretasi citra
satelit untuk mengambil kawasan - kawasan contoh (sampling) yang digunakan
untuk pemetaan kawasan luas dengan tehnik pengolahan citra hasil penginderaan
jauh. Dari suvei di atas peta - peta
tematis, seperti peta geomorfologis dan peta geologis tentang jenis - jenis
bebatuan dan karakteristiknya, dapat dihasilkan produk peta - peta rawan
bencana yang menjadi dasar bagi penataan
ruang dan langkah - langkah mitigasi, seperti penerapan sistem  peringatan
dini dan pengkajian tingkat resiko longsor pada kebijakan pertanahan. Hal ini akan
menjamin berlangsungnya proses yang tepat pada pembangunan kawasan-kawasan baru
dengan mengkaji hal-hal yang terkait dengan kestabilan lereng. Penataan ruang
untuk pembangunan diarahkan pada kawasan dengan resiko ketidakstabilan longsor
rendah atau sangat rendah.
Penyebab terjadinya tanah
longsor.
Pada prinsipnya tanah longsor terjadi bila gaya pendorong pada lereng lebih besar dari pada gaya
penahan
yang dipengaruhi oleh kekuatan batuan dan kepadatan
tanah. Sedangkan gaya
pendorong dipengaruhi oleh besarnya sudut lereng, air beban serta kestabilan
tanah.
Proses pemicu longsoran dapat
berupa :
a.
Peningkatan kandungan air dalam lereng, sehingga
terjadi akumulasi air yang merenggangkan ikatan antar butir tanah dan akhirnya
mendorong butir-butir tanah untuk longsor. Peningkatan kandungan air ini sering
disebabkan oleh meresapnya air hujan, air kolam/selokan yang bocor atau air
sawah kedalam lereng.
b.
Getaran pada lereng akibat gempa bumi ataupun ledakan, penggalian, getaran alat/kendaraan.
Gempa bumi pada tanah pasir dengan kandungan air sering mengakibatkan
liquefaction (tanah kehilangan kekuatan geser dan daya dukung, yang diiringi
dengan penggenangan tanah oleh air dari bawah tanah).
c.
Peningkatan beban yang melampaui daya dukung tanah
atau kuat geser tanah. Beban yang berlebihan ini dapat berupa beban bangunan
ataupun pohon-pohon yang terlalu rimbun dan rapat yang ditanam pada lereng
lebih curam dari 40 derajat.
Mesin pencari web bekerja dengan cara menyimpan hampir semua informasi halaman web, yang diambil langsung dari www. Halaman-halaman ini diambil secara otomatis. Isi setiap halaman lalu dianalisis untuk menentukan cara mengindeksnya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data
tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.
Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.
Mesin pencari lain yang menggunakan proses real-time, seperti Orase, tidak menggunakan indeks dalam cara kerjanya. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal seperti informasi selalu mutakhir, (hampir) tak ada broken link, dan lebih sedikit sumberdaya sistem yang diperlukan (Google menggunakan hampir 100.000 komputer, Orase hanya satu.). Tetapi, ada juga kelemahannya yaitu pencarian lebih lama rampungnya.
Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.
Mesin pencari lain yang menggunakan proses real-time, seperti Orase, tidak menggunakan indeks dalam cara kerjanya. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal seperti informasi selalu mutakhir, (hampir) tak ada broken link, dan lebih sedikit sumberdaya sistem yang diperlukan (Google menggunakan hampir 100.000 komputer, Orase hanya satu.). Tetapi, ada juga kelemahannya yaitu pencarian lebih lama rampungnya.
Mesin pencari lain yang menggunakan proses real-time, seperti Orase, tidak menggunakan indeks dalam cara kerjanya. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal seperti informasi selalu mutakhir, (hampir) tak ada broken link, dan lebih sedikit sumberdaya sistem yang diperlukan (Google menggunakan hampir 100.000 komputer, Orase hanya satu.). Tetapi, ada juga kelemahannya yaitu pencarian lebih lama rampungnya.
Sebuah search engine memiliki beberapa komponen agar dapat menyediakan layanan utamanya sebagai sebuah mesin pencari informasi. Komponen tersebut antara lain :
Web crawler atau yang dikenal juga dengan istilah web spider bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web. Web crawler bekerja secara otomatis dengan cara memberikan sejumlah alamat website untuk dikunjungi serta menyimpan semua informasi yang terkandung didalamnya. Setiap kali web crawler mengunjungi sebuah website, maka dia akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian di kunjungi lagi satu persatu.
Proses web crawler dalam mengunjungi setiap dokumen web disebut dengan web crawling atau spidering. Beberapa websites, khususnya yang berhubungan dengan pencarian menggunakan proses spidering untuk memperbaharui data data mereka. Web crawler biasa digunakan untuk membuat salinan secara sebhagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat dip roses lebih lanjut oleh system pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.
Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya.
Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :
Proses web crawler dalam mengunjungi setiap dokumen web disebut dengan web crawling atau spidering. Beberapa websites, khususnya yang berhubungan dengan pencarian menggunakan proses spidering untuk memperbaharui data data mereka. Web crawler biasa digunakan untuk membuat salinan secara sebhagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat dip roses lebih lanjut oleh system pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.
Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya.
Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :
Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya.
Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :
Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :
perkembangan teknologi web, dimana setiap kali teknologi baru muncul, web crawler harus dapat menyesuaikan diri agar dapat mengunjungi halaman web yang menggunakan teknologi baru tersebut.
Proses sebuah web crawler untuk mendata link – link yang terdapat didalam sebuah halaman web menggunakan pendekatan regular expression. Crawler akan menelurusi setiap karakter yang ada untuk menemukan hyperlink tag html (<a>). Setiap hyperlink tag yang ditemukan diperiksa lebih lanjut apakah tag tersebut mengandung atribut nofollow rel, jika tidak ada maka diambil nilai yang terdapat didalam attribute href yang merupakan sebuah link baru.
Proses sebuah web crawler untuk mendata link – link yang terdapat didalam sebuah halaman web menggunakan pendekatan regular expression. Crawler akan menelurusi setiap karakter yang ada untuk menemukan hyperlink tag html (<a>). Setiap hyperlink tag yang ditemukan diperiksa lebih lanjut apakah tag tersebut mengandung atribut nofollow rel, jika tidak ada maka diambil nilai yang terdapat didalam attribute href yang merupakan sebuah link baru.
Indexing system bertugas untuk menganalisa halaman web yang telah tersimpan sebelumnya dengan cara mengindeks setiap kemungkinan term yang terdapat di dalamnnya. Data term yang ditemukan disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya.
Indexing system mengumpulkan, memilah dan menyimpan data untuk memberikan kemudahan dalam pengaksesan informasi secara tepat dan akurat. Proses pengolahan halaman web agar dapat digunakan untuk proses pencarian berikutnya dinakamakan web indexing. Dalam implementasinya index system dirancang dari penggabungan beberapa cabang ilmu antara lain ilmu bahasa, psikologi, matematika, informatika, fisika, dan ilmu komputer.
Tujuan dari penyimpanan data berupa indeks adalah untuk performansi dan kecepatan dalam menemukan informasi yang relevan berdasarkan inputan user. Tanpa adanya indeks, search engine harus melakukan scan terhadap setiap dokumen yang ada didalam database. Hal ini tentu saja akan membutuhkan proses sumber daya yang sangat besar dalam proses komputasi. Sebagai contoh, indeks dari 10.000 dokumen dapat diproses dalam waktu beberapa detik saja, sedangkan penulusuran secara berurutan setiap kata yang terdapat di dalam 10.000 dokumen akan membutuhkan waktu yang berjam lamanya. Tempat tambahan mungkin akan dibutuhkan di dalam computer untuk penyimpanan indeks, tapi hal ini akan terbayar dengan penghematan waktu pada saat pemrosesan pencarian dokumen yang dibutuhkan.
Indexing system mengumpulkan, memilah dan menyimpan data untuk memberikan kemudahan dalam pengaksesan informasi secara tepat dan akurat. Proses pengolahan halaman web agar dapat digunakan untuk proses pencarian berikutnya dinakamakan web indexing. Dalam implementasinya index system dirancang dari penggabungan beberapa cabang ilmu antara lain ilmu bahasa, psikologi, matematika, informatika, fisika, dan ilmu komputer.
Tujuan dari penyimpanan data berupa indeks adalah untuk performansi dan kecepatan dalam menemukan informasi yang relevan berdasarkan inputan user. Tanpa adanya indeks, search engine harus melakukan scan terhadap setiap dokumen yang ada didalam database. Hal ini tentu saja akan membutuhkan proses sumber daya yang sangat besar dalam proses komputasi. Sebagai contoh, indeks dari 10.000 dokumen dapat diproses dalam waktu beberapa detik saja, sedangkan penulusuran secara berurutan setiap kata yang terdapat di dalam 10.000 dokumen akan membutuhkan waktu yang berjam lamanya. Tempat tambahan mungkin akan dibutuhkan di dalam computer untuk penyimpanan indeks, tapi hal ini akan terbayar dengan penghematan waktu pada saat pemrosesan pencarian dokumen yang dibutuhkan.
Tujuan dari penyimpanan data berupa indeks adalah untuk performansi dan kecepatan dalam menemukan informasi yang relevan berdasarkan inputan user. Tanpa adanya indeks, search engine harus melakukan scan terhadap setiap dokumen yang ada didalam database. Hal ini tentu saja akan membutuhkan proses sumber daya yang sangat besar dalam proses komputasi. Sebagai contoh, indeks dari 10.000 dokumen dapat diproses dalam waktu beberapa detik saja, sedangkan penulusuran secara berurutan setiap kata yang terdapat di dalam 10.000 dokumen akan membutuhkan waktu yang berjam lamanya. Tempat tambahan mungkin akan dibutuhkan di dalam computer untuk penyimpanan indeks, tapi hal ini akan terbayar dengan penghematan waktu pada saat pemrosesan pencarian dokumen yang dibutuhkan.
Search system inilah yang berhubungan langsung dengan pengguna, meyediakan hasil pencarian informasi yang diinginkan. Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan kata pencarian biasanya dengan beberapa kata kunci, search system akan mencari data dari indeks database, data yang cocok kemudian akan ditampilkan, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya
Google
PENGERTIAN WEB BROWSER
Web Browser atau yang
lebih dikenal browser adalah suatu program atau aplikasi yang digunakan untuk
menjelajahi Internet atau untuk mencari sebuah informasi dari suatu halaman
Web/Blog. Awalnya Web Browser hanya berorientasi pada teks dan belum dapat menampilkan
gambar. Namun, Web Browser sekarang tidak hanya menampilkan text dan gambar
tetapi juga file multimedia seperti video dan suara. Browser juga dapat
mengirim dan menerima e-mail, mengelola bahasa HTML (Hyper Text Markup
Language) sebagai input, dan menjadikan halaman Web sebagai hasil output yang
informatif.
AREA KERJA WEB BROWSER
Misalkan seorang yang
bernama A ingin membuka sebuah blog, kemudian dia akan mengetikkan alamat url
dari blog yang dituju pada browser. Kemudian alamat tersebut akan dilewatkan
oleh suatu protocol HTTP melewati port 80 atau 443 pada server. Web browser
akan mengirimkan suatu aturan yang biasa disebut protocol, protocol yang biasa
digunakan adalah TCP/IP. Setelah dikirimkan ke web server, maka web server akan
merespon request dari web browser tersebut. Web server akan memeriksa web file, apakah ada atau tidak alamat yang di
request oleh browser tadi dan mengirimkan kembali, lalu browser akan
menerjemahkan coding HTML yang dikirimkan oleh server menjadi suatu halaman
web. Namun jika halaman tersebut tidak ada di dalam web server maka respon yang
dikirimkan berupa pesan dengan kode 404 yang berarti tidak ditemukan
CARA MENYIMPAN DAN MENCETAK
Pada google chrome terdapat tanda kunci tekan kemudian click kata simpan halaman sebagai untuk menyimpan halaman atau CTRL+S
untuk mencetak click kata cetak atau CTRL+P
SEARCH ENGINE
Dalam dunia website/weblog sekarang ini, khususnya bagi para
publisher dan blogger diperlukan pengetahuan tentang Search Engine
Optimization, website/weblog yang telah sobat buat tugas selanjutnya adalah
mendaftarkan website/weblog sobat ke mesin pencari Google atau yang lainnya.
Sebelum mendaftarkan website/weblog yang telah dibuat; sekarang yang menjadi
pertanyaan apa itu search engine optimization, cara kerja dan fungsi suatu
search engine.
I.
Pengertian Search Engine
Mesin pencari web atau yang lebih dikenal dengan istilah web search engine
merupakan program komputer yang dirancang untuk mencari informasi yang tersedia
didalam dunia maya. Berbeda halnya dengan direktori web (seperti dmoz.org) yang
dikerjakan oleh manusia untuk mengelompokkan suatu halaman informasi
berdasarkan kriteria yang ada, web search engine mengumpulkan informasi yang
tersedia secara otomatis.Mesin pencari web bekerja dengan cara menyimpan hampir semua informasi halaman web, yang diambil langsung dari www. Halaman-halaman ini diambil secara otomatis. Isi setiap halaman lalu dianalisis untuk menentukan cara mengindeksnya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data
tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.
Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.
Mesin pencari lain yang menggunakan proses real-time, seperti Orase, tidak menggunakan indeks dalam cara kerjanya. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal seperti informasi selalu mutakhir, (hampir) tak ada broken link, dan lebih sedikit sumberdaya sistem yang diperlukan (Google menggunakan hampir 100.000 komputer, Orase hanya satu.). Tetapi, ada juga kelemahannya yaitu pencarian lebih lama rampungnya.
Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya.
Mesin pencari lain yang menggunakan proses real-time, seperti Orase, tidak menggunakan indeks dalam cara kerjanya. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal seperti informasi selalu mutakhir, (hampir) tak ada broken link, dan lebih sedikit sumberdaya sistem yang diperlukan (Google menggunakan hampir 100.000 komputer, Orase hanya satu.). Tetapi, ada juga kelemahannya yaitu pencarian lebih lama rampungnya.
Mesin pencari lain yang menggunakan proses real-time, seperti Orase, tidak menggunakan indeks dalam cara kerjanya. Informasi yang diperlukan mesin tersebut hanya dikumpulkan jika ada pencarian baru. Jika dibandingkan dengan sistem berbasis indeks yang digunakan mesin-mesin seperti Google, sistem real-time ini unggul dalam beberapa hal seperti informasi selalu mutakhir, (hampir) tak ada broken link, dan lebih sedikit sumberdaya sistem yang diperlukan (Google menggunakan hampir 100.000 komputer, Orase hanya satu.). Tetapi, ada juga kelemahannya yaitu pencarian lebih lama rampungnya.
Sebuah search engine memiliki beberapa komponen agar dapat menyediakan layanan utamanya sebagai sebuah mesin pencari informasi. Komponen tersebut antara lain :
Web crawler atau yang dikenal juga dengan istilah web spider bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web. Web crawler bekerja secara otomatis dengan cara memberikan sejumlah alamat website untuk dikunjungi serta menyimpan semua informasi yang terkandung didalamnya. Setiap kali web crawler mengunjungi sebuah website, maka dia akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian di kunjungi lagi satu persatu.
Proses web crawler dalam mengunjungi setiap dokumen web disebut dengan web crawling atau spidering. Beberapa websites, khususnya yang berhubungan dengan pencarian menggunakan proses spidering untuk memperbaharui data data mereka. Web crawler biasa digunakan untuk membuat salinan secara sebhagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat dip roses lebih lanjut oleh system pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.
Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya.
Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :
Proses web crawler dalam mengunjungi setiap dokumen web disebut dengan web crawling atau spidering. Beberapa websites, khususnya yang berhubungan dengan pencarian menggunakan proses spidering untuk memperbaharui data data mereka. Web crawler biasa digunakan untuk membuat salinan secara sebhagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat dip roses lebih lanjut oleh system pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.
Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya.
Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :
Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya.
Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :
Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :
perkembangan teknologi web, dimana setiap kali teknologi baru muncul, web crawler harus dapat menyesuaikan diri agar dapat mengunjungi halaman web yang menggunakan teknologi baru tersebut.
Proses sebuah web crawler untuk mendata link – link yang terdapat didalam sebuah halaman web menggunakan pendekatan regular expression. Crawler akan menelurusi setiap karakter yang ada untuk menemukan hyperlink tag html (<a>). Setiap hyperlink tag yang ditemukan diperiksa lebih lanjut apakah tag tersebut mengandung atribut nofollow rel, jika tidak ada maka diambil nilai yang terdapat didalam attribute href yang merupakan sebuah link baru.
Proses sebuah web crawler untuk mendata link – link yang terdapat didalam sebuah halaman web menggunakan pendekatan regular expression. Crawler akan menelurusi setiap karakter yang ada untuk menemukan hyperlink tag html (<a>). Setiap hyperlink tag yang ditemukan diperiksa lebih lanjut apakah tag tersebut mengandung atribut nofollow rel, jika tidak ada maka diambil nilai yang terdapat didalam attribute href yang merupakan sebuah link baru.
Indexing system bertugas untuk menganalisa halaman web yang telah tersimpan sebelumnya dengan cara mengindeks setiap kemungkinan term yang terdapat di dalamnnya. Data term yang ditemukan disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya.
Indexing system mengumpulkan, memilah dan menyimpan data untuk memberikan kemudahan dalam pengaksesan informasi secara tepat dan akurat. Proses pengolahan halaman web agar dapat digunakan untuk proses pencarian berikutnya dinakamakan web indexing. Dalam implementasinya index system dirancang dari penggabungan beberapa cabang ilmu antara lain ilmu bahasa, psikologi, matematika, informatika, fisika, dan ilmu komputer.
Tujuan dari penyimpanan data berupa indeks adalah untuk performansi dan kecepatan dalam menemukan informasi yang relevan berdasarkan inputan user. Tanpa adanya indeks, search engine harus melakukan scan terhadap setiap dokumen yang ada didalam database. Hal ini tentu saja akan membutuhkan proses sumber daya yang sangat besar dalam proses komputasi. Sebagai contoh, indeks dari 10.000 dokumen dapat diproses dalam waktu beberapa detik saja, sedangkan penulusuran secara berurutan setiap kata yang terdapat di dalam 10.000 dokumen akan membutuhkan waktu yang berjam lamanya. Tempat tambahan mungkin akan dibutuhkan di dalam computer untuk penyimpanan indeks, tapi hal ini akan terbayar dengan penghematan waktu pada saat pemrosesan pencarian dokumen yang dibutuhkan.
Indexing system mengumpulkan, memilah dan menyimpan data untuk memberikan kemudahan dalam pengaksesan informasi secara tepat dan akurat. Proses pengolahan halaman web agar dapat digunakan untuk proses pencarian berikutnya dinakamakan web indexing. Dalam implementasinya index system dirancang dari penggabungan beberapa cabang ilmu antara lain ilmu bahasa, psikologi, matematika, informatika, fisika, dan ilmu komputer.
Tujuan dari penyimpanan data berupa indeks adalah untuk performansi dan kecepatan dalam menemukan informasi yang relevan berdasarkan inputan user. Tanpa adanya indeks, search engine harus melakukan scan terhadap setiap dokumen yang ada didalam database. Hal ini tentu saja akan membutuhkan proses sumber daya yang sangat besar dalam proses komputasi. Sebagai contoh, indeks dari 10.000 dokumen dapat diproses dalam waktu beberapa detik saja, sedangkan penulusuran secara berurutan setiap kata yang terdapat di dalam 10.000 dokumen akan membutuhkan waktu yang berjam lamanya. Tempat tambahan mungkin akan dibutuhkan di dalam computer untuk penyimpanan indeks, tapi hal ini akan terbayar dengan penghematan waktu pada saat pemrosesan pencarian dokumen yang dibutuhkan.
Tujuan dari penyimpanan data berupa indeks adalah untuk performansi dan kecepatan dalam menemukan informasi yang relevan berdasarkan inputan user. Tanpa adanya indeks, search engine harus melakukan scan terhadap setiap dokumen yang ada didalam database. Hal ini tentu saja akan membutuhkan proses sumber daya yang sangat besar dalam proses komputasi. Sebagai contoh, indeks dari 10.000 dokumen dapat diproses dalam waktu beberapa detik saja, sedangkan penulusuran secara berurutan setiap kata yang terdapat di dalam 10.000 dokumen akan membutuhkan waktu yang berjam lamanya. Tempat tambahan mungkin akan dibutuhkan di dalam computer untuk penyimpanan indeks, tapi hal ini akan terbayar dengan penghematan waktu pada saat pemrosesan pencarian dokumen yang dibutuhkan.
Search system inilah yang berhubungan langsung dengan pengguna, meyediakan hasil pencarian informasi yang diinginkan. Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan kata pencarian biasanya dengan beberapa kata kunci, search system akan mencari data dari indeks database, data yang cocok kemudian akan ditampilkan, biasanya disertai ringkasan singkat mengenai judul dokumen dan terkadang sebagian teksnya
II.
Cara Kerja Search Engine
III.
Komponen utama dalam Search Engine
a.
Web Crawler
§ Halaman
mana yang harus dikunjungi terlebih dahulu.
§ Aturan
dalam proses mengunjungi kembali sebuah halaman.
§ Performansi,
mencakup banyaknya halaman yang harus dikunjungi.
§ Aturan
dalam setiap kunjungan agar server yang dikunjungi tidak kelebihan beban.
§ Kegagalan,
mencakup tidak tersedianya halaman yang dikunjungi, server down, timeout,
maupun jebakan yang sengaja dibuat oleh webmaster.
§ Seberapa
jauh kedalaman sebuah website yang akan dikunjungi.
§ Hal
yang tak kalah pentingnya adalah kemampuan web crawler untuk mengikuti
b.
Indexing system
c.
Search system
TOP FIVE SEARCH ENGINE
Yahoo!
(www.yahoo.com)
Salah
satu portal terbesar di Internet, selain MSN., dan juga salah satu
mesin pencaru tertua. Halaman utamanya sendiri tidak terlalu ramah untuk
pencarian, tetapi Yahoo! menyediakan search.yahoo.com untuk itu. Yahoo!
menggunakan jasa Google untuk mencari informasi di web, ditambah dengan
informasi dari databasenya sendiri. Kelebihan Yahoo! adalah
direktorinya. Yahoo! juga menyediakan pencarian yellow pages dan peta,
yang masih terbatas pada Amerika Serikat. Yahoo juga menyediakan
pencarian gambar. berikut ini kelebihan dan kekurangannya yang lebih
jelas :
- Kelebihan:
1. carta surat menyurat modern untuk membuat orang menjadi lebih maju
2. salah satu web yang menyediakan layanan fasilitas gratis
3. salah satunyapun yang anda bilang, bila di refresh cepat
4. banyak fasilitas yang disediakan, seperti: Y!A Y!A Y! mail Y! 360 dan lain2
5. sudah ada di banyak negara
- Kekurangan:
1. Satu id yahoo hanya untuk yahoo, tak bisa untuk produk windows, seperti IM dan msnMSN
2. Teralu mudah untuk membuat id, sehingga kadang-kadang disalah gunakan
3. Fitur Y!M msh sangat kalah jauh dengan IM keluaran windows
4. Skin untuk Y!M msh sangatlah simple, tak seperti IM yang ada cukup banyak
(http://search.msn.com)
Mesin
pencari dari Microsoft Network ini menawarkan pencarian baik dengan
kata kunci maupun dari direktori. Pemakai Internet Explorer kemungkinan
besar sudah pernah menggunakan mesin pencari
ini. Situs Searchenginewatch mencatat MSN sebagai mesin pencari ketiga
populer setelah Google dan Yahoo! Tak ada pencarian image, atau news.
Menyediakan pencarian peta, yellow pages, white pages, pencarian
pekerjaan, rumah.
- Kelebihan
- mampu mencari video, musik, gambar, dan beragam format file spesial.
- Kekurangan
- pencarian. Dibutuhkan waktu yang lama sampai hasil ditampilkan di halaman MSN.
- Pengguna juga sulit membedakan antara iklan dan bukan iklan pada halaman pencariannya. Penampilan iklan hanya dibedakan dari hasil asli melalui sebuah titik di depannya.
(http://www.ask.com)
Situs
mesin pencari yang satu ini mengunggulkan kemampuannya untuk memahami
bahasa manusia. Pengguna bisa menggunakan kalimat lengkap, bukan kata
kunci. Situs ini berguna untuk mengetahui jawaban dari pertanyaan(misal:
when did world war II end?)
- Kelebihan
1. Keunggulan utamanya adalah ia akan mencari situs penyedia jawaban untuk pertanyaan anda.
(www.google.com)
Selain
pencarian web, Google juga menyediakan jasa pencarian gambar, pencarian
?berita serta pencarian pada arsip USENET (newsgroup), serta direktori,
seperti Yahoo! Kelemahannya terletak pada tidak tersedianya pencarian
file, video, dan audio. Keunggulan Google terutama adalah pada pencarian
teks, terutama dari algoritma PageRank, database-nya yang besar serta
banyaknya jenis file yang diindeksnya.
- Kelebihan
- Kecepatan dan kemudahan dalam mencari.
- lebih canggih dengan fitur yang dimilikinya.
- Tampilan yang sederhana.
- Google merupakan satu-satunya mesin pencari yang memilki cach. Dengan adanyacache ini, si pencari dapat menghemat waktu pencarian, karena hasil pencarian yang akan ditampilkan.
- Dapat mencari segala informasi seperti gambar, berita artikel, hiburan dll.
- Kekurangan
- Dengan kelebihan yang dimilikinya, ternyata mesin pencari ini jadi bidikan para spameruntuk menampilkan iklan-iklan yang tidak diperlukan. Mereka memanfaatkan setiap celah yang ada pada sistem algoritma Google untuk memaksa iklan mereka tampil pada halaman terdepan. Maka, pencarian pun terasa tergangggu,
Lycos
(http://www.lycos.com)
(http://www.lycos.com)
Salah
satu mesin pencari tertua. Saat ini Lycos lebih dikenal sebagai portal,
sehingga fungsi pencarinya tidak terlalu menonjol. Lycos, selain
mendukung pencarian web, juga menyediakan pencarian file MP3, dan video
pada http://multimedia.lycos.com.
- Kelebihan
1. Lycos mampu mencari data dengan cepat dan ini merupakan kelebihannya.
2. Dalam hal pencarian cepat.
3. Lycos
menyediakan fungsi “Fun Search” yang lebih diperuntukkan bagi kalangan
remaja. Ini sangat membantu bagi kalangan yang membutuhkan gosip dan
lagu terbaru dari para selebritis pujaan.
4. Lycos juga menampilkan 50 pencarian terbesar di halaman depannya.
- Kekurangan
- Untuk mencari berita-berita aktualnya, pengguna harus masuk ke bagian site mapkarena berita-berita tersebut tidak ditampilkan di halaman depan.
- Sering tidak spesifik karena datanya kebanyakan masih mengambil data dari mesin pencari Alltheweb yang tergolong paling lamban dalam pencarian data