Zespół porównuje wyniki testów obciążenia, jak Droptica przed dodaniem Solr do Drupala.

Search API i Solr w Drupalu: szybkie listy produktów w rosnącym katalogu

Strona kategorii może ładować się szybko, dopóki odwiedzający nie połączy kilku filtrów, takich jak kategoria, przedział cenowy i atrybuty produktu. Wtedy wyniki pojawiają się z opóźnieniem, obliczanie liczników faset trwa coraz dłużej, a każde żądanie nieobsłużone przez cache dodatkowo obciąża bazę danych Drupala. Połączenie Search API z Solr pozwala przenieść filtrowanie i sortowanie do indeksu wyszukiwania, dzięki czemu listy produktów mogą działać sprawnie również w miarę rozrastania się katalogu.

Ma to znaczenie zarówno dla odwiedzających, jak i dla systemów AI pobierających dane ze stron w celu porównywania produktów lub wskazywania dostawców. W obu przypadkach potrzebne są aktualne i dokładne informacje. Solr jest jednak kolejną usługą wymagającą utrzymania. Dlatego decyzję o jego wdrożeniu warto oprzeć na pomiarach wydajności, a nie na samej liczbie encji w katalogu.

W tym artykule:

Kiedy obsługa list przez bazę danych przestaje wystarczać?

Pierwszy sygnał ostrzegawczy zwykle dotyczy konkretnej strony, a nie całego serwisu. Lista produktów w kategorii działa sprawnie z jednym filtrem, ale zwalnia, gdy odwiedzający łączą kilka filtrów. Obliczanie liczników faset (facets), czyli liczby wyników przypisanych do poszczególnych wartości filtrów, może trwać dłużej niż pobranie samych produktów.

Inne sygnały to skoki obciążenia procesora bazy danych przy większym ruchu w katalogu, wolne zapytania łączące wiele tabel oraz duże różnice między czasem odpowiedzi z cache i bez niego.

Kilka tysięcy encji to sygnał do przeprowadzenia pomiarów, a nie automatyczny powód do migracji. Prosta lista może działać szybko przy znacznie większej liczbie rekordów. Mniejszy katalog ze złożonymi regułami dostępu, wieloma wersjami językowymi i dużą liczbą atrybutów może natomiast osiągnąć granice wydajności znacznie wcześniej, szczególnie przy wielu równoczesnych żądaniach.

Pomiary warto zacząć od reprezentatywnych żądań:

  • Popularna kategoria bez filtrów.
  • Często używane połączenie atrybutów.
  • Szeroki zbiór wyników z licznikami faset i sortowaniem.
  • Żądania przy pustym cache oraz zapytania wykonywane przez użytkowników z różnymi rolami i uprawnieniami.
  • Równoczesne żądania obejmujące różne kombinacje filtrów.

Następnie należy zmierzyć zapytania do bazy danych wykonywane dla tych stron. Zmiana zapytań, ograniczenie liczby złączeń tabel albo skuteczniejsze buforowanie mogą usunąć wąskie gardło bez wdrażania kolejnej usługi.

Systemy AI są dodatkowym powodem, aby przeanalizować żądania nieobsługiwane przez cache. Mogą one otwierać nietypowe kombinacje filtrów i adresów URL, dla których nie istnieją jeszcze zapisane odpowiedzi. Zbyt długi czas odpowiedzi może przekroczyć limit oczekiwania systemu pobierającego dane albo doprowadzić do otrzymania niepełnej odpowiedzi. Każde narzędzie stosuje przy tym własne limity czasu, więc nie istnieje jeden czas odpowiedzi, który wystarczy wszystkim systemom AI.

Jak skonfigurować Search API i Solr?

Celem jest jasny podział odpowiedzialności: Drupal nadal zarządza treścią, a Solr obsługuje zapytania, których wykonywanie bezpośrednio na relacyjnych tabelach bazy danych staje się zbyt kosztowne.

Konfiguracja składa się z trzech elementów:

  • Search API określa, które dane z Drupala trafiają do indeksu i w jaki sposób Drupal wysyła do niego zapytania.
  • Search API Solr łączy Search API z serwerem Solr.
  • Usługa Solr przechowuje zaindeksowane dane i obsługuje wyszukiwanie, filtrowanie, sortowanie oraz obliczanie faset.

Drupal pozostaje nadrzędnym źródłem danych. Indeks zawiera wybrane dane przygotowane w sposób zoptymalizowany pod kątem wyszukiwania i filtrowania.

Połączenie z serwerem Solr

Najpierw należy sprawdzić zgodność wersji Drupala, modułów Search API i Search API Solr oraz serwera Solr. Warto użyć konfiguracji Solr dostarczanej przez moduł Search API Solr. Domyślna instalacja Solr nie musi zawierać typów pól ani ustawień analizy tekstu wymaganych przez Drupal.

Kolejne kroki obejmują uruchomienie usługi, zastosowanie właściwej konfiguracji w rdzeniu (core) albo kolekcji (collection) Solr oraz utworzenie w Drupalu serwera Search API z odpowiednimi danymi połączenia. Połączenie należy przetestować bezpośrednio ze środowiska, w którym działa aplikacja Drupal. Konfigurację modułów krok po kroku opisujemy w artykule Zaawansowana wyszukiwarka produktów w Drupalu z integracją Apache Solr – przewodnik.

Następnie można zdefiniować indeks. Przed wyborem pól warto określić źródła danych indeksu oraz typy treści (bundles), które mają zostać w nim uwzględnione. Jeśli indeks ma obsługiwać listę produktów, dodawanie do niego niezwiązanych artykułów i stron kampanii zwiększa liczbę nieistotnych danych oraz zakres prac związanych z indeksowaniem.

Wybór pól według sposobu działania listy

Każde pole w indeksie powinno mieć jasno określone zastosowanie: wyszukiwanie, filtrowanie, sortowanie albo prezentowanie wyniku.

Grupa pól Typowa zawartość Do czego służy?
Identyfikacja ID encji, typ treści, stały identyfikator produktu Pozwalają rozpoznać wynik i powiązać go z treścią źródłową
Widoczność Status publikacji i obsługiwane metadane dostępu Pozwalają stosować określone reguły widoczności
Język Język tłumaczenia Pozwala zwrócić właściwą wersję językową treści
Tekst do wyszukiwania Tytuł, podsumowanie, opis Pozwala wyszukiwać słowa i frazy
Kategorie Stałe identyfikatory terminów taksonomii Pozwalają spójnie filtrować według kategorii
Atrybuty do porównań Pojemność, wymiary, materiał, dostępność Pozwalają stosować precyzyjne filtry i porównania
Wartości sortowania Cena jako liczba, data, tytuł przygotowany do sortowania Pozwalają uzyskać przewidywalną kolejność wyników

Pola zawierające dane wrażliwe powinny trafiać do indeksu tylko wtedy, gdy aplikacja rzeczywiście ich potrzebuje, a projekt kontroli dostępu uwzględnia sposób ich wykorzystania.

Procesory oraz integracja indeksu z listą produktów

Procesory (processors) mogą przygotowywać tekst do indeksowania, uwzględniać status publikacji encji albo wspierać kontrolę dostępu. Ich dostępność i działanie zależą od zainstalowanych modułów, źródeł danych i konfiguracji, dlatego każdy procesor należy sprawdzić osobno.

Listę produktów można przygotować jako widok w module Views oparty na indeksie Search API. Za fasety odpowiadają dodatkowe moduły dobrane do używanych wersji oraz sposobu prezentowania filtrów. Następnie należy przetestować reprezentatywne zapytania jako użytkownik anonimowy, zalogowany i użytkownik z ograniczonymi uprawnieniami.

Sprawdzić trzeba nie tylko wyniki, ale też liczniki. Ukrycie niedostępnej encji dopiero na etapie renderowania może powodować wyświetlanie błędnych liczników albo ujawniać istnienie treści w fasetach. Oparcie listy na Search API nie przenosi automatycznie wszystkich niestandardowych reguł dostępu obowiązujących w Drupalu.

Jak przygotować atrybuty katalogu do filtrów fasetowych i porównań?

Wiarygodne fasety wymagają spójnych danych źródłowych. Solr może szybko przeszukiwać atrybuty, ale nie rozpozna, że „500 ml” i „0,5 l” oznaczają tę samą pojemność, jeśli model danych nie zapisze obu wartości w porównywalnej formie.

Pola przeznaczone do wyszukiwania pełnotekstowego należy oddzielić od pól wymagających dokładnego dopasowania. W opisie produktu sprawdza się analiza tekstu uwzględniająca język. Kod produktu, identyfikator kategorii i wartość materiału wymagają natomiast dokładnego dopasowania bez przekształceń stosowanych podczas analizy tekstu.

Typy pól warto dobrać świadomie:

  • Ceny i wartości mierzalne powinny być zapisane jako liczby.
  • Daty powinny być przechowywane jako daty, a nie jako tekst przygotowany do wyświetlenia.
  • Atrybuty typu tak/nie powinny być zapisywane jako wartości logiczne (boolean), a nie jako tekst.
  • Produkty, które należą do kilku kategorii albo spełniają kilka norm, powinny zachować wszystkie te wartości.
  • Gdy tekst wyświetlany na stronie nie nadaje się do sortowania, potrzebne jest osobne pole do sortowania.

Załóżmy, że część dostawców podaje pojemność w litrach, a część w mililitrach. Przed indeksowaniem wartości należy przeliczyć do wspólnej jednostki, zachowując na stronie produktu preferowany sposób ich prezentacji. Dzięki temu filtry zakresowe porównują równoważne parametry.

Przy cenach trzeba również uwzględnić walutę. Porównywanie kwot w różnych walutach bez przeliczenia albo filtra waluty prowadzi do błędnych wyników.

W fasetach opartych na taksonomii do filtrowania należy używać stałych identyfikatorów terminów, a użytkownikom prezentować ich przetłumaczone etykiety. Etykiety mogą się zmieniać, a kategoria, którą reprezentuje filtr, pozostaje ta sama.

Sposób liczenia wyników warto uzgodnić przed uruchomieniem. Czy wybór dwóch materiałów oznacza produkty z jednym z nich, czy z obydwoma? Czy faseta ma obliczać liczniki z uwzględnieniem wybranych w niej wartości, czy wyłącznie pozostałych aktywnych filtrów? Jak będą prezentowane produkty, którym brakuje atrybutów?

Od tych decyzji zależy, jak użytkownicy rozumieją dostępne opcje i zawartość katalogu. Atrybuty zapisane w indeksie powinny być zgodne z informacjami na stronach produktów, danymi strukturalnymi i feedami, aby systemy AI nie otrzymywały sprzecznych wartości z różnych źródeł. Sposób modelowania tych atrybutów, zanim trafią do indeksu, opisujemy w artykule Katalog produktów w Drupalu bez Commerce: najpierw dane.

Jak indeks powinien obsługiwać wersje językowe?

Sposób obsługi wersji językowych wpływa na to, czy użytkownicy znajdą właściwe produkty i przejdą do odpowiednich tłumaczeń stron.

Można użyć jednego wspólnego indeksu wielojęzycznego albo osobnych indeksów dla poszczególnych języków. Wspólny indeks ogranicza powielanie konfiguracji i ułatwia zapytania obejmujące kilka języków. Osobne indeksy mogą być przydatne, gdy poszczególne języki wymagają innej analizy tekstu, konfiguracji zapytań lub harmonogramu indeksowania. Zwiększają jednak zakres konfiguracji i utrzymania.

Wybór zależy od wymagań dotyczących zapytań, dostępnych analizatorów językowych i konfiguracji modułu Search API Solr. Osobne indeksy nie oznaczają automatycznie osobnych serwerów Solr. Żadne z tych podejść nie zwalnia jednak z konfiguracji analizy tekstu dopasowanej do języka.

Należy sprawdzić, w jaki sposób wybrane źródło danych indeksuje tłumaczenia encji, a następnie upewnić się, że zapytania wykorzystywane przez listę stosują odpowiedni filtr języka. W przeciwnym razie wyniki mogą zawierać kilka tłumaczeń tego samego produktu albo prowadzić do niewłaściwej wersji językowej.

W wyszukiwaniu pełnotekstowym warto stosować analizę tekstu dopasowaną do języka, w tym sprowadzanie słów do formy podstawowej (stemming) i pomijanie słów nieistotnych (stop words), gdy ma to uzasadnienie. Identyfikatory i atrybuty wymagające dokładnego dopasowania nie powinny podlegać takiemu przetwarzaniu.

Testy powinny obejmować cały proces:

  • Wyszukiwane frazy w każdym obsługiwanym języku.
  • Przetłumaczone etykiety faset.
  • Produkty bez tłumaczenia.
  • Sytuacje, w których zamiast brakującego tłumaczenia wyświetlana jest treść w języku domyślnym.
  • Linki do właściwej przetłumaczonej strony.

Zasady zastępowania brakującego tłumaczenia treścią w języku domyślnym (fallback) należy określić świadomie. Wyświetlenie treści w języku domyślnym może być przydatne, ale użytkownik powinien wyraźnie widzieć, że dana strona nie jest dostępna w wybranym języku. Osobne indeksy językowe wymagają też osobnej kontroli kompletności i planowania przebudowy.

Co dzieje się podczas ponownego indeksowania treści?

Zapisanie treści w Drupalu i udostępnienie jej w wynikach wyszukiwania to dwa odrębne etapy. W zależności od konfiguracji Search API może indeksować zmiany od razu podczas obsługi żądania albo pozostawić je do przetworzenia według harmonogramu. Ustawienia związane z udostępnianiem zmian w Solr również wpływają na to, kiedy aktualizacja pojawi się w wynikach wyszukiwania.

Warto określić dopuszczalne opóźnienie. Aktualizacja opisu produktu może trafić do indeksu później niż wycofanie produktu albo ograniczenie dostępu do dokumentu.

Harmonogram indeksowania powinien wynikać z tych wymagań. Monitorować należy zarówno liczbę elementów czekających na zaindeksowanie, jak i to, jak długo czekają najstarsze zmiany. Poprawne wykonanie zaplanowanego zadania nie gwarantuje jeszcze, że wszystkie oczekujące zmiany trafiły do indeksu.

Bieżące aktualizacje a pełna przebudowa indeksu

Bieżące indeksowanie aktualizuje zmienione elementy i usuwa skasowane. Pełna przebudowa ponownie przetwarza wszystkie dane, na przykład po dodaniu nowych pól, zmianie procesorów albo zmianie sposobu analizy tekstu w Solr.

Oznaczenie elementów do ponownego zaindeksowania to nie to samo co wyczyszczenie indeksu w środowisku produkcyjnym. Dopóki istniejące dane pozostają w indeksie, starsze wartości mogą być nadal wyszukiwane, aż zastąpią je nowe. Do zakończenia procesu wyniki mogą zawierać dane przetworzone zarówno według starych, jak i nowych zasad.

Wyczyszczenie indeksu w środowisku produkcyjnym usuwa te dane. Listy produktów mogą wtedy pozostać puste i wypełniać się stopniowo wraz z postępem indeksowania. Niektóre zmiany schematu sprawiają też, że pozostawienie starych danych nie jest możliwe.

Jeśli katalog musi pozostać dostępny przez cały czas przebudowy, warto przygotować nową wersję indeksu osobno:

  1. Przygotowanie drugiego indeksu albo kolekcji z nową konfiguracją.
  2. Wypełnienie go danymi, podczas gdy obecny indeks nadal obsługuje zapytania.
  3. Rejestrowanie zmian i usunięć wprowadzonych podczas przebudowy, aby można je było uwzględnić w nowym indeksie.
  4. Weryfikacja kompletności danych, zapytań, faset, wersji językowych i kontroli dostępu.
  5. Przełączenie zapytań na nowy indeks za pomocą wcześniej przetestowanej metody, dopasowanej do architektury wdrożenia.

W odpowiednio skonfigurowanym środowisku SolrCloud przełączenie zapytań na nowy indeks może ułatwić alias kolekcji. Inne wdrożenia wymagają innego podejścia, w tym zgodnych zmian konfiguracji Drupala i planu wycofania zmian.

Szczególną uwagę należy zwrócić na treści nieopublikowane, usunięte i te, do których dostęp został niedawno ograniczony. Nowy indeks zbudowany na nieaktualnym zbiorze danych może ponownie udostępnić rekordy, które zostały usunięte, wycofane z publikacji albo objęte ograniczeniami dostępu.

Przebudowę należy zakończyć weryfikacją kompletności i poprawności wyników, a nie jedynie sprawdzeniem, czy przetworzono wszystkie elementy.

Jak Solr może wpłynąć na czas odpowiedzi?

Solr może skrócić czas filtrowania i obliczania faset, ponieważ wykonuje te operacje na przygotowanym do tego indeksie. Drupal nie musi już powtarzać tych samych kosztownych złączeń tabel treści dla każdej listy opartej na wyszukiwarce.

Poprawa może być znacząca, jeśli największą część czasu obsługi strony zajmują zapytania odpowiedzialne za filtrowanie, sortowanie i fasety. Solr nie usunie jednak opóźnień, które mają inną przyczynę.

Mierzyć należy pełny czas odpowiedzi strony, w tym:

  • Zapytanie wysyłane z Drupala do Solr.
  • Wczytywanie encji odpowiadających zwróconym wynikom.
  • Kontrolę dostępu.
  • Renderowanie i ewentualne wywołania zewnętrznych usług.
  • Działanie cache i opóźnienia sieciowe.

Nawet szybkie zapytanie do Solr nie zapewni szybkiej strony, jeżeli Drupal wczytuje zbyt wiele powiązanych danych albo dla każdego wyniku wywołuje inną usługę.

Te same scenariusze warto zmierzyć przed zmianą i po jej wdrożeniu, również przy reprezentatywnej liczbie równoczesnych użytkowników. Należy śledzić medianę czasu odpowiedzi oraz wartości pokazujące zachowanie najwolniejszych żądań, na przykład 95. percentyl. Wartości średnie mogą ukrywać najwolniejsze żądania, które najbardziej zniechęcają odwiedzających.

Testy powinny obejmować fasety z wieloma różnymi wartościami, szerokie zbiory wyników, różne sposoby sortowania i pusty cache. Warto też przeprowadzić je w trakcie indeksowania, ponieważ indeksowanie i wyszukiwanie korzystają z tych samych zasobów.

Gdy z treści korzystają systemy automatyczne, sama szybkość nie wystarczy. Przydatne treści powinny być dostępne w kodzie HTML, który mogą odczytać roboty wyszukiwarek i systemy AI, albo przez celowo udostępnione API lub plik danych, ze stałymi linkami do stron źródłowych. Szybka lista prezentująca nieaktualne atrybuty albo wymagająca interakcji wykonywanej wyłącznie w przeglądarce nadal może być trudna do wykorzystania przez systemy automatycznie pobierające dane.

Solr może przyspieszyć pobieranie informacji. Nie gwarantuje jednak, że system AI odnajdzie serwis, wybierze go albo uwzględni w odpowiedzi.

Jakie koszty wiążą się z utrzymaniem Solr?

Utrzymanie Solr generuje stałe koszty operacyjne, mimo że samo oprogramowanie jest dostępne bez opłat licencyjnych. W budżecie trzeba uwzględnić hosting, pamięć, moc procesora, przestrzeń dyskową, monitoring, aktualizacje, przywracanie działania po awarii oraz nakład pracy zespołu.

Przy planowaniu zasobów serwera trzeba uwzględnić obciążenie związane zarówno z wyszukiwaniem, jak i indeksowaniem. Przebudowa w osobnym indeksie może tymczasowo wymagać większej przestrzeni dyskowej i mocy obliczeniowej. Duży import treści może natomiast spowodować gwałtowny wzrost obciążenia związanego z indeksowaniem.

Usługa zarządzana pozwala przekazać dostawcy część obowiązków związanych z utrzymaniem Solr. Dlatego wymagania dotyczące wyszukiwarki warto uwzględnić już podczas wyboru hostingu dla Drupala. Należy ustalić, kto odpowiada za kopie zapasowe, testy przywracania, aktualizacje bezpieczeństwa, zmiany zasobów i obsługę incydentów. Zespół Drupala nadal odpowiada za wybór pól, sposób działania zapytań i poprawność danych źródłowych.

W przypadku uruchomienia Solr we własnej infrastrukturze zespół przejmuje większą odpowiedzialność za utrzymanie, monitoring, aktualizacje i obsługę awarii. Nakład pracy zespołu trzeba uwzględnić w kalkulacji, zamiast porównywać wyłącznie koszty hostingu.

Dostęp do Solr powinien być ograniczony do uprawnionych usług za pomocą odpowiednich reguł sieciowych i mechanizmów uwierzytelniania. Punkty końcowe zapytań i administracji Solr nie powinny być bezpośrednio dostępne dla odwiedzających. Aktualizacje modułów Drupala, konfiguracji Search API Solr i serwera wyszukiwania należy planować razem.

Trzeba również zaplanować sposób działania serwisu podczas awarii Solr. Trzeba zdecydować, czy odwiedzający zobaczą listy z cache, uproszczoną stronę przeglądania katalogu, czy jasny komunikat z prośbą o ponowną próbę. Automatyczne przekierowanie całego ruchu wyszukiwania do bazy danych Drupala może ponownie utworzyć wąskie gardło właśnie w momencie awarii.

Procedurę przywracania należy przetestować. Nawet indeks, który można odbudować z danych w Drupalu, może odtwarzać się od zera zbyt długo w stosunku do wymagań dostępności serwisu.

Praktyczna zasada jest prosta: listy oparte na bazie danych warto pozostawić, dopóki spełniają zmierzone wymagania wydajnościowe. Solr warto wdrożyć wtedy, gdy szybsze filtrowanie, sprawne działanie faset i mniejsze obciążenie bazy danych uzasadniają koszt utrzymywania dodatkowej usługi.

Od czego zacząć?

Porozmawiajmy o wydajności najwolniejszych stron katalogu. Dobrym punktem wyjścia będą reprezentatywne kombinacje filtrów, aktualne czasy odpowiedzi, liczba produktów i wymagania dotyczące częstotliwości aktualizacji danych.

Pomożemy ocenić, czy kolejnym krokiem powinna być optymalizacja zapytań, poprawa konfiguracji cache czy wdrożenie indeksu opartego na Solr. Określimy również zakres prac związanych z indeksowaniem i późniejszym utrzymaniem rozwiązania.

.