Struktur data dasar untuk sistem pencarian teks adalah Indeks Terbalik . Ini pada dasarnya adalah daftar kata yang ditemukan dalam kumpulan dokumen dengan daftar dokumen tempat kata tersebut muncul. Ini juga dapat memiliki metadata tentang kemunculan setiap dokumen, seperti berapa kali kata tersebut muncul.
Dokumen yang berisi kata-kata dapat ditanyakan dengan mencocokkan pada istilah pencarian. Untuk menentukan relevansi, heuristik yang dikenal sebagai Peringkat Kosinus dihitung pada hit. Ini bekerja dengan membangun vektor n-dimensi dengan satu komponen untuk masing-masing n istilah pencarian. Anda juga dapat menimbang istilah pencarian jika diinginkan. Vektor ini memberikan titik dalam ruang n-dimensi yang sesuai dengan istilah penelusuran Anda.
Vektor serupa berdasarkan kemunculan berbobot di setiap dokumen dapat dibangun dari indeks terbalik dengan setiap sumbu dalam vektor yang sesuai dengan sumbu untuk setiap istilah pencarian. Jika Anda menghitung produk titik dari vektor-vektor ini, Anda mendapatkan kosinus dari sudut di antara mereka. 1.0 setara dengan cos (0), yang akan mengasumsikan vektor menempati garis yang sama dari titik asal. Semakin dekat vektornya, semakin kecil sudutnya dan semakin dekat kosinusnya dengan 1,0.
Jika Anda mengurutkan hasil pencarian berdasarkan kosinus (atau memasukkannya ke dalam antrian prioritas sebagai mg tidak) Anda mendapatkan yang paling relevan. Algoritme relevansi yang lebih cerdik cenderung mengutak-atik bobot istilah penelusuran, mencondongkan produk titik ke istilah dengan relevansi tinggi.
Jika Anda ingin menggali sedikit, Mengelola Gigabytes oleh Bell dan Moffet membahas arsitektur internal sistem pencarian teks.
