SD Times Open Source-Projekt der Woche: Quickwit

Startseite » SD Times Open Source-Projekt der Woche: Quickwit
SD Times Open Source-Projekt der Woche: Quickwit

Quickwit ist eine Open-Source-Objektspeicher-Suchmaschine mit einer Latenzzeit von weniger als einer Sekunde für große Datensätze.

Das Projekt der Autoren der Rust-Suchmaschinenbibliothek tantivy hat kürzlich in einer von FirstMark und firstminute gemeinsam mit vielen anderen Teilnehmern geleiteten Finanzierungsrunde 2,6 Millionen US-Dollar eingesammelt.

Quickwit 0.2 wurde im Januar mit neuen Funktionen veröffentlicht, darunter die Möglichkeit, Kafka nativ mit genau einer Semantik, Suchstream-API, PostgreSQL-Metastore, Tag-Pruning und einer ordnungsgemäßen Indizierungspipeline aufzunehmen.

Die Suchmaschine verwendet einen anderen Ansatz als Elasticsearch, das auf der Dokumentenreplikation beruht. In der Zwischenzeit indiziert Quickwit die Dokumente auf einem einzelnen Knoten und überlässt es einem Objektspeicher, die resultierenden Indexdateien zu replizieren.

„Wir müssen Dokumente irgendwo replizieren, um sie als aufgenommen zu betrachten“, schrieb Paul Masurel, Mitbegründer von Quickwit, in einem Beitrag. Blogeintrag. „Wir ermöglichen Benutzern, Quickwit direkt in ihre bevorzugte verteilte Warteschlange einzubinden. Derzeit unterstützt Quickwit nur Kafka.

Häufige Anwendungsfälle für Quickwit sind das Durchsuchen von Protokollen, das Hinzufügen von Volltextsuchfunktionen zu OLAP-Datenbanken wie ClickHouse und das Durchsuchen von in der Cloud gespeicherten Backups durch Hinzufügen von Indexdateien Quickwit auf demselben Speicher.