Jednostavan pretraživač tekstualnih datoteka u Go jeziku koristi inverzni indeks za brze i učinkovite pretrage ključnih riječi u tekstu.
package main
import (
"bufio"
"fmt"
"log"
"os"
"regexp"
"strings"
)
// buildIndex gradi inverzni indeks iz navedene tekstualne datoteke
// vraća mapu riječ -> lista brojeva redaka u kojima se pojavljuje
func buildIndex(filename string) (map[string][]int, error) {
file, err := os.Open(filename)
if err != nil {
return nil, fmt.Errorf("nije moguće otvoriti datoteku: %v", err)
}
defer file.Close()
index := make(map[string][]int)
// regexp za uklanjanje interpunkcije
r, err := regexp.Compile(`[.,;:!?"'()\[\]{}<>-]`)
if err != nil {
return nil, fmt.Errorf("pogreška pri kompajliranju regexp: %v", err)
}
scanner := bufio.NewScanner(file)
lineNumber := 0
for scanner.Scan() {
lineNumber++
line := scanner.Text()
// uklanjam interpunkciju
cleanLine := r.ReplaceAllString(line, "")
// pretvaram u mala slova
cleanLine = strings.ToLower(cleanLine)
// dijelim na riječi
words := strings.Fields(cleanLine)
// dodajem svaku riječ u indeks
for _, word := range words {
// izbjegavam duplikate za isti redak
lines, exists := index[word]
if !exists || (len(lines) == 0 || lines[len(lines)-1] != lineNumber) {
index[word] = append(index[word], lineNumber)
}
}
}
if err := scanner.Err(); err != nil {
return nil, fmt.Errorf("pogreška tijekom čitanja datoteke: %v", err)
}
return index, nil
}
// search traži sve retke koji sadrže sve riječi iz upita
func search(index map[string][]int, query string) []int {
// regexp za uklanjanje interpunkcije
r := regexp.MustCompile(`[.,;:!?"'()\[\]{}<>-]`)
cleanQuery := r.ReplaceAllString(query, "")
cleanQuery = strings.ToLower(cleanQuery)
words := strings.Fields(cleanQuery)
if len(words) == 0 {
return nil
}
// dohvaćam liste redaka za svaku riječ
lineSets := make([]map[int]struct{}, len(words))
for i, word := range words {
lines, exists := index[word]
if !exists {
// riječ nije pronađena, prazan rezultat
return nil
}
set := make(map[int]struct{})
for _, line := range lines {
set[line] = struct{}{}
}
lineSets[i] = set
}
// presijecem skupove redaka da dobijem retke zajedničke svim riječima
result := make([]int, 0)
for line := range lineSets[0] {
foundInAll := true
for i := 1; i < len(lineSets); i++ {
if _, ok := lineSets[i][line]; !ok {
foundInAll = false
break
}
}
if foundInAll {
result = append(result, line)
}
}
return result
}
func main() {
if len(os.Args) < 2 {
fmt.Println("Upotreba: go run main.go <tekstualna_datoteka>")
os.Exit(1)
}
filename := os.Args[1]
fmt.Printf("Izgradnja inverznog indeksa za datoteku: %s\n", filename)
index, err := buildIndex(filename)
if err != nil {
log.Fatalf("Greška pri izgradnji indeksa: %v", err)
}
fmt.Println("Indeks je uspješno izgrađen. Unesite upite za pretraživanje (upišite 'exit' za izlaz):")
scanner := bufio.NewScanner(os.Stdin)
for {
fmt.Print("> ")
if !scanner.Scan() {
break
}
query := scanner.Text()
if strings.ToLower(strings.TrimSpace(query)) == "exit" {
fmt.Println("Izlaz iz programa.")
break
}
results := search(index, query)
if results == nil || len(results) == 0 {
fmt.Println("Nema pronađenih rezultata.")
} else {
fmt.Printf("Riječi pronađene u redcima: %v\n", results)
}
}
if err := scanner.Err(); err != nil {
log.Fatalf("Greška pri čitanju unosa: %v", err)
}
}Ulazna tekstualna datoteka: .txt datoteka koja sadrži tekst za indeksiranje, s redcima odvojenim novim redom.
Inverzni indeks: struktura podataka u memoriji koja mapira svaku ključnu riječ na retke datoteke u kojima se pojavljuje.
Parsiranje i normalizacija: tokenizacija teksta u riječi, uklanjanje interpunkcije i pretvaranje u mala slova radi uniformnosti.
Sučelje naredbenog retka: unos korisnika za unos upita za pretraživanje i prikaz rezultata.
Softverske ovisnosti: korištenje standardnih modula 'bufio' za čitanje datoteka, 'strings' za manipulaciju nizovima, 'regexp' za uklanjanje interpunkcije.
Konfiguracija: putanja do tekstualne datoteke za indeksiranje proslijeđena kao argument naredbenog retka.
Robusno upravljanje pogreškama: provjera postojanja datoteke, pogreške pri čitanju, nevažeći korisnički unos.
Struktura podataka: Go mapa (map[string][]int) za inverzni indeks, gdje je ključ riječ, a vrijednost lista redaka.