ElasticSearch – wyszukiwanie full-text

Dlaczego ElasticSearch to game-changer

Tradycyjne bazy danych SQL świetnie radzą sobie z dokładnymi zapytaniami, ale gdy użytkownik wpisuje „laptop dell szybki” w wyszukiwarkę sklepu, MySQL może się nie sprawdzić. ElasticSearch to rozwiązanie stworzone specjalnie do wyszukiwania full-text – analizuje tekst, rozpoznaje synonimy i zwraca najbardziej trafne wyniki w milisekundach.

Co się nauczysz

Wymagania wstępne

Czym jest ElasticSearch

ElasticSearch to rozproszona platforma wyszukiwania i analityki oparta na Apache Lucene. W przeciwieństwie do tradycyjnych baz danych, ElasticSearch został zaprojektowany od podstaw do wyszukiwania full-text.

Kluczowe różnice od tradycyjnych baz

Instalacja i pierwszy kontakt

Szybka instalacja

# Pobierz ElasticSearch 2.4 (aktualna wersja w 2016)
wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/zip/elasticsearch/2.4.0/elasticsearch-2.4.0.zip

# Rozpakuj i uruchom
unzip elasticsearch-2.4.0.zip
cd elasticsearch-2.4.0
./bin/elasticsearch

Pierwszy test – sprawdzenie klastra

curl -X GET "localhost:9200"

Powinieneś zobaczyć odpowiedź JSON z informacjami o klastrze:

{
  "name" : "Blackheart",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.4.0",
    "build_hash" : "ce9f0c7394dee074091dd1bc4e9469251181fc55",
    "build_timestamp" : "2016-08-29T09:14:17Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.2"
  },
  "tagline" : "You Know, for Search"
}

Podstawowe operacje – CRUD

Tworzenie indeksu

# Tworzenie indeksu "sklep"
curl -X PUT "localhost:9200/sklep"

Dodawanie dokumentów

# Dodanie produktu do indeksu
curl -X POST "localhost:9200/sklep/produkty/1" -H 'Content-Type: application/json' -d'
{
  "nazwa": "Laptop Dell Inspiron 15",
  "opis": "Szybki laptop dla studentów i profesjonalistów",
  "cena": 2499,
  "kategoria": "elektronika",
  "tagi": ["laptop", "dell", "praca", "nauka"]
}
'

Dodajmy więcej przykładowych produktów

# Smartfon
curl -X POST "localhost:9200/sklep/produkty/2" -H 'Content-Type: application/json' -d'
{
  "nazwa": "iPhone 7",
  "opis": "Najnowszy smartfon Apple z zaawansowanym aparatem",
  "cena": 3299,
  "kategoria": "elektronika",
  "tagi": ["smartphone", "apple", "telefon", "aparat"]
}
'

# Książka
curl -X POST "localhost:9200/sklep/produkty/3" -H 'Content-Type: application/json' -d'
{
  "nazwa": "Effective Java",
  "opis": "Przewodnik po najlepszych praktykach programowania w Javie",
  "cena": 89,
  "kategoria": "książki",
  "tagi": ["java", "programowanie", "książka", "bloch"]
}
'

Wyszukiwanie full-text w praktyce

Podstawowe zapytanie

# Wyszukiwanie produktów zawierających "laptop"
curl -X GET "localhost:9200/sklep/_search" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "nazwa": "laptop"
    }
  }
}
'

Zaawansowane zapytanie multi-field

# Wyszukiwanie w nazwie I opisie
curl -X GET "localhost:9200/sklep/_search" -H 'Content-Type: application/json' -d'
{
  "query": {
    "multi_match": {
      "query": "szybki laptop",
      "fields": ["nazwa^2", "opis"]
    }
  }
}
'

Filtrowanie wyników

# Laptop w przedziale cenowym 2000-3000 zł
curl -X GET "localhost:9200/sklep/_search" -H 'Content-Type: application/json' -d'
{
  "query": {
    "bool": {
      "must": {
        "match": {"nazwa": "laptop"}
      },
      "filter": {
        "range": {
          "cena": {
            "gte": 2000,
            "lte": 3000
          }
        }
      }
    }
  }
}
'

Analiza tekstu – serce wyszukiwania

ElasticSearch automatycznie analizuje tekst przed indeksowaniem. Rozdziela słowa, usuwa znaki interpunkcyjne, sprowadza do małych liter.

Testowanie analizatora

# Sprawdź jak ElasticSearch analizuje tekst
curl -X GET "localhost:9200/sklep/_analyze" -d '
{
  "text": "Szybki laptop Dell dla programistów!",
  "analyzer": "standard"
}
'

Mapping – definiowanie struktury

Mapping to schema która mówi ElasticSearch jak traktować poszczególne pola. Domyślnie ES automatycznie wykrywa typy, ale lepiej je zdefiniować jawnie.

Tworzenie mappingu

# Usuń stary indeks
curl -X DELETE "localhost:9200/sklep"

# Utwórz nowy z mappingiem
curl -X PUT "localhost:9200/sklep" -H 'Content-Type: application/json' -d'
{
  "mappings": {
    "produkty": {
      "properties": {
        "nazwa": {
          "type": "string",
          "analyzer": "standard"
        },
        "opis": {
          "type": "string",
          "analyzer": "standard"
        },
        "cena": {
          "type": "double"
        },
        "kategoria": {
          "type": "string",
          "index": "not_analyzed"
        },
        "tagi": {
          "type": "string",
          "index": "not_analyzed"
        }
      }
    }
  }
}
'

Integracja z aplikacją Java

Dodawanie zależności

    org.elasticsearch
    elasticsearch
    2.4.0


    org.elasticsearch.client
    transport
    2.4.0

Prosty klient Java

import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;

import java.net.InetAddress;

public class ElasticSearchClient {
    
    private TransportClient client;
    
    public void connect() throws Exception {
        client = TransportClient.builder().build()
                .addTransportAddress(new InetSocketTransportAddress(
                    InetAddress.getByName("localhost"), 9300));
    }
    
    public void searchProducts(String query) {
        SearchResponse response = client.prepareSearch("sklep")
                .setTypes("produkty")
                .setQuery(QueryBuilders.multiMatchQuery(query, "nazwa", "opis"))
                .get();
        
        System.out.println("Znaleziono: " + response.getHits().getTotalHits());
        
        for (SearchHit hit : response.getHits()) {
            System.out.println("Score: " + hit.getScore());
            System.out.println("Źródło: " + hit.getSourceAsString());
            System.out.println("---");
        }
    }
    
    public void close() {
        client.close();
    }
}

Użycie klienta

public class Main {
    public static void main(String[] args) throws Exception {
        ElasticSearchClient esClient = new ElasticSearchClient();
        esClient.connect();
        
        // Wyszukaj laptopy
        esClient.searchProducts("szybki laptop");
        
        esClient.close();
    }
}

Scoring – jak ElasticSearch ocenia trafność

ElasticSearch używa algorytmu TF-IDF (Term Frequency-Inverse Document Frequency) do oceny trafności wyników.

Wyjaśnienie score na przykładzie

# Wyjaśnienie dlaczego dany dokument ma taki score
curl -X GET "localhost:9200/sklep/_search?explain=true" -d '
{
  "query": {
    "match": {"nazwa": "laptop"}
  }
}
'

Częste problemy początkujących

Monitoring i debugowanie

Sprawdzanie statusu klastra

# Status klastra
curl -X GET "localhost:9200/_cluster/health"

# Statystyki indeksu
curl -X GET "localhost:9200/sklep/_stats"

# Lista wszystkich indeksów
curl -X GET "localhost:9200/_cat/indices?v"

Analiza performance

# Sprawdź jak długo trwało zapytanie
curl -X GET "localhost:9200/sklep/_search?pretty" -d '
{
  "query": {"match_all": {}},
  "profile": true
}
'

Optymalizacja wydajności

Bulk indexing dla większej wydajności

# Bulk API - dodawanie wielu dokumentów naraz
curl -X POST "localhost:9200/sklep/produkty/_bulk" -H 'Content-Type: application/json' -d'
{"index":{"_id":"4"}}
{"nazwa":"MacBook Pro","opis":"Laptop dla kreatywnych profesjonalistów","cena":6999,"kategoria":"elektronika"}
{"index":{"_id":"5"}}
{"nazwa":"Logitech MX Master","opis":"Ergonomiczna mysz dla profesjonalistów","cena":299,"kategoria":"akcesoria"}
'

Przydatne zasoby

• Oficjalna dokumentacja ElasticSearch 2.4
• Java API Guide
• Query DSL Reference
• Mapping Guide

Masz doświadczenia z ElasticSearch? Jakie największe wyzwania napotkałeś przy implementacji wyszukiwania full-text? Podziel się w komentarzach!