Jednostavan Pretraživač Tekstualnih Datoteka s Inverznim Indeksom u Go

Jednostavan pretraživač tekstualnih datoteka u Go jeziku koristi inverzni indeks za brze i učinkovite pretrage ključnih riječi u tekstu.

Kratki uvod

Jednostavan Pretraživač Tekstualnih Datoteka s Inverznim Indeksom u Go (go)
OPIS:
Implementacija tekstualnog pretraživača koji indeksira tekstualnu datoteku koristeći inverzni indeks za omogućavanje brzih pretraga ključnih riječi. Sustav učitava tekstualnu datoteku, gradi in-memory inverzni indeks i omogućuje izvođenje upita za pretraživanje vraćajući retke u kojima se pojavljuju traženi pojmovi.

DODATNE NAPOMENE:
Ovaj primjer je spreman za kompajliranje i pokretanje u Go okruženju. Dizajniran je da bude jednostavan, ali robustan, prikladan za tekstove srednje veličine. Za vrlo velike tekstove ili složenije pretrage preporučuje se korištenje specijaliziranih baza podataka ili pretraživača.

OBJAŠNJENJA:
- Funkcija 'buildIndex' čita datoteku redak po redak, normalizira tekst i ažurira inverzni indeks povezujući svaku riječ s retkom na kojem se pojavljuje.
- Funkcija 'search' prima upit, normalizira ga i traži sve retke u kojima se pojavljuju sve riječi iz upita (logički AND).
- Korištenje 'regexp' omogućuje uklanjanje interpunkcije kako bi se spriječilo da ona utječe na pretragu.
- Glavna petlja omogućuje korisniku da unosi upite ponavljano dok ne upiše 'exit'.
- Inverzni indeks je mapa stringova na sliceove cijelih brojeva koji predstavljaju retke datoteke, optimizirajući pretragu.

Primjer Koda: go

package main

import (
	"bufio"
	"fmt"
	"log"
	"os"
	"regexp"
	"strings"
)

// buildIndex gradi inverzni indeks iz navedene tekstualne datoteke
// vraća mapu riječ -> lista brojeva redaka u kojima se pojavljuje
func buildIndex(filename string) (map[string][]int, error) {
	file, err := os.Open(filename)
	if err != nil {
		return nil, fmt.Errorf("nije moguće otvoriti datoteku: %v", err)
	}
	defer file.Close()

	index := make(map[string][]int)
	// regexp za uklanjanje interpunkcije
	r, err := regexp.Compile(`[.,;:!?"'()\[\]{}<>-]`)
	if err != nil {
		return nil, fmt.Errorf("pogreška pri kompajliranju regexp: %v", err)
	}

	scanner := bufio.NewScanner(file)
	lineNumber := 0
	for scanner.Scan() {
		lineNumber++
		line := scanner.Text()
		// uklanjam interpunkciju
		cleanLine := r.ReplaceAllString(line, "")
		// pretvaram u mala slova
		cleanLine = strings.ToLower(cleanLine)
		// dijelim na riječi
		words := strings.Fields(cleanLine)

		// dodajem svaku riječ u indeks
		for _, word := range words {
			// izbjegavam duplikate za isti redak
			lines, exists := index[word]
			if !exists || (len(lines) == 0 || lines[len(lines)-1] != lineNumber) {
				index[word] = append(index[word], lineNumber)
			}
		}
	}

	if err := scanner.Err(); err != nil {
		return nil, fmt.Errorf("pogreška tijekom čitanja datoteke: %v", err)
	}

	return index, nil
}

// search traži sve retke koji sadrže sve riječi iz upita
func search(index map[string][]int, query string) []int {
	// regexp za uklanjanje interpunkcije
	r := regexp.MustCompile(`[.,;:!?"'()\[\]{}<>-]`)
	cleanQuery := r.ReplaceAllString(query, "")
	cleanQuery = strings.ToLower(cleanQuery)
	words := strings.Fields(cleanQuery)

	if len(words) == 0 {
		return nil
	}

	// dohvaćam liste redaka za svaku riječ
	lineSets := make([]map[int]struct{}, len(words))
	for i, word := range words {
		lines, exists := index[word]
		if !exists {
			// riječ nije pronađena, prazan rezultat
			return nil
		}
		set := make(map[int]struct{})
		for _, line := range lines {
			set[line] = struct{}{}
		}
		lineSets[i] = set
	}

	// presijecem skupove redaka da dobijem retke zajedničke svim riječima
	result := make([]int, 0)
	for line := range lineSets[0] {
		foundInAll := true
		for i := 1; i < len(lineSets); i++ {
			if _, ok := lineSets[i][line]; !ok {
				foundInAll = false
				break
			}
		}
		if foundInAll {
			result = append(result, line)
		}
	}

	return result
}

func main() {
	if len(os.Args) < 2 {
		fmt.Println("Upotreba: go run main.go <tekstualna_datoteka>")
		os.Exit(1)
	}

	filename := os.Args[1]

	fmt.Printf("Izgradnja inverznog indeksa za datoteku: %s\n", filename)
	index, err := buildIndex(filename)
	if err != nil {
		log.Fatalf("Greška pri izgradnji indeksa: %v", err)
	}

	fmt.Println("Indeks je uspješno izgrađen. Unesite upite za pretraživanje (upišite 'exit' za izlaz):")

	scanner := bufio.NewScanner(os.Stdin)
	for {
		fmt.Print("> ")
		if !scanner.Scan() {
			break
		}
		query := scanner.Text()
		if strings.ToLower(strings.TrimSpace(query)) == "exit" {
			fmt.Println("Izlaz iz programa.")
			break
		}

		results := search(index, query)
		if results == nil || len(results) == 0 {
			fmt.Println("Nema pronađenih rezultata.")
		} else {
			fmt.Printf("Riječi pronađene u redcima: %v\n", results)
		}
	}

	if err := scanner.Err(); err != nil {
		log.Fatalf("Greška pri čitanju unosa: %v", err)
	}
}
×
×
×
Želiš li regenerirati odgovor?
×
Izvezi chat
Odaberite format izvoza
Generazione PDF in corso…
Allegati
×
Upravo ćete zatvoriti chat i prijeći na generator slika. Ako niste prijavljeni, izgubit ćete naš chat. Potvrđujete?
Pregledavaš podijeljeni chat u privremenom načinu. Neće biti spremljen.
×
Spremljeni promptovi
×
Privatna bilješka
×
Oznaka
×
Pretraži sve chatove
×
Tvoji uvidi
Analiza u tijeku…
×
AI Postavke
Ime asistenta 30
Duljina odgovora
AI model
Strukturirani odgovori
Uključi primjere
Koristi emoji
Vodi me, nemoj riješiti Natuknice i pitanja umjesto gotovog rješenja
Više postavki →
×
Podijeli ovaj chat
Tko otvori ovu poveznicu moći će pogledati chat ili ga dodati u svoj profil kao vlastiti chat.
Pažnja: dijelit će se i privici chata. Tko ga doda dobit će kopiju datoteka u vlastitu mapu.
Podijeljeni chat
Netko je s tobom podijelio chat. Želiš li ga samo pogledati ili dodati u svoje chatove?
Pažnja: dijelit će se i privici chata. Tko ga doda dobit će kopiju datoteka u vlastitu mapu.
×

Spremljene poruke

Učitavanje...

×

Povijest Chata

primjeri-programa · POVIJEST RAZGOVORA

Učitavanje...

AI Postavke

×
  • OsnovniBrzi i jednostavni odgovori za učenje
  • SrednjiVeća kvaliteta za učenje i programiranje
  • NapredniKompleksno razmišljanje i detaljna analiza
Objasni korake

Što je potrebno?

Ulazna tekstualna datoteka: .txt datoteka koja sadrži tekst za indeksiranje, s redcima odvojenim novim redom.

Inverzni indeks: struktura podataka u memoriji koja mapira svaku ključnu riječ na retke datoteke u kojima se pojavljuje.

Parsiranje i normalizacija: tokenizacija teksta u riječi, uklanjanje interpunkcije i pretvaranje u mala slova radi uniformnosti.

Sučelje naredbenog retka: unos korisnika za unos upita za pretraživanje i prikaz rezultata.

Softverske ovisnosti: korištenje standardnih modula 'bufio' za čitanje datoteka, 'strings' za manipulaciju nizovima, 'regexp' za uklanjanje interpunkcije.

Konfiguracija: putanja do tekstualne datoteke za indeksiranje proslijeđena kao argument naredbenog retka.

Robusno upravljanje pogreškama: provjera postojanja datoteke, pogreške pri čitanju, nevažeći korisnički unos.

Struktura podataka: Go mapa (map[string][]int) za inverzni indeks, gdje je ključ riječ, a vrijednost lista redaka.

Slične teme

Jednostavan Validator Emaila iz Terminala u Go
Jednostavan Go program za validaciju email adresa iz terminala koristeći osnovni regex za provjeru ispravne strukture i sintakse emaila.
CSV Datoteka Parser i Tablični Ispis u Go
Jednostavan Go program za čitanje i parsiranje CSV datoteka s ispisom podataka u tabličnom formatu na konzoli bez vanjskih ovisnosti.
Jednostavan HTTP Downloader Datoteka u Go
Jednostavan HTTP downloader datoteka u Go jeziku s primjerom koda za preuzimanje i spremanje datoteka lokalno koristeći standardne Go biblioteke.
Upravitelj Tekstualnih Bilješki Spremnih u JSON Datoteku u Go
CLI aplikacija u Go jeziku za upravljanje tekstualnim bilješkama spremljenim u lokalnu JSON datoteku s funkcijama CRUD i trajnom pohranom.
Jednostavan Terminalni Raspored s Spremanjem u CSV u Go
Jednostavan CLI program u Go jeziku za upravljanje terminima s mogućnošću spremanja i učitavanja iz CSV datoteke, s validacijom datuma i vremena.
Lokalni Mini Wiki u Go s Markdown Datotekama
Lokalni mini wiki u Go jeziku koristi Markdown datoteke za generiranje HTML stranica putem jednostavnog web servera bez baze podataka.
CLI za Grupno Preimenovanje Datoteka u Mapi s Go
CLI aplikacija u Go jeziku za grupno preimenovanje datoteka u mapi s prefiksom, sufiksom i početnim indeksom, uz provjeru pogrešaka i zapisnik.
Generator izvještaja direktorija (veličina i broj datoteka) u Go
Go program za rekurzivno skeniranje direktorija koji generira izvještaj o ukupnom broju datoteka i njihovoj veličini s upravljanjem pogreškama.