Zmniejszanie niechcianego ruchu w witrynie dzięki nowej usłudze AWS WAF Bot Control

30 kwietnia 2021

Według badań zespołu AWS Shield Threat Research, aż 51% ruchu kierowanego do typowych aplikacji internetowych pochodzi ze skryptów działających na maszynach, zwanych także botami. Szeroka gama botów - niektóre chciane, inne niechciane - trafiają do Twoich punktów końcowych.

Chciane boty przeszukują Twoje witryny, aby je zaindeksować i umożliwić Twoim klientom znalezienie ich; inne monitorują dostępność lub wydajność Twojej witryny. Jednak większość ruchu botów jest generowana przez niechciane boty: skrypty szukające luk w zabezpieczeniach lub kopiujące zawartość w celu jej replikacji w innym miejscu bez Twojej zgody. Oprócz ryzyka związanego z bezpieczeństwem, obsługa tego ruchu powoduje niepotrzebne obciążenie Twojej infrastruktury oraz generuje koszty.

Ochrona witryny przed tym niepożądanym ruchem jest czasochłonna i podatna na błędy. Zarządzanie zestawem reguł jest złożone i wiąże się z ryzykiem zablokowania dobrego ruchu lub autoryzacji ruchu, który powinien zostać zablokowany.

 

Wprowadzenie do AWS WAF Bot Control

Niedawno AWS wprowadził AWS WAF Bot Control, aby identyfikować, zwiększać widoczność i podejmować działania przeciwko powszechnemu ruchowi botów. AWS WAF Bot Control jest zintegrowany z AWS Web Application Firewall i może być zarządzany centralnie za pomocą AWS Firewall Manager w przypadku dużych przedsiębiorstw.

Bot Control analizuje metadane żądań, takie jak TLS handshakes, atrybuty HTTP i adresy IP, aby zidentyfikować źródło i cel bota. Kategoryzuje typy botów, takie jak scraper, SEO, crawler lub monitor witryny.

Gdy Bot Control rozpozna bota, możesz zablokować ruch pochodzący od niechcianych botów. Możesz po prostu zaakceptować domyślną akcję blokowania niechcianego ruchu botów w ramach konfiguracji WAF lub możesz dostosować konfigurację. Na przykład możesz użyć funkcji niestandardowej odpowiedzi, aby zwrócić odpowiedź dostosowaną zgodnie z identyfikacją bota lub oflagować żądanie, wstawiając nowy nagłówek. Integracja z AWS WAF umożliwia wizualizację zakresu ruchu botów do aplikacji i sterowanie tym ruchem za pomocą reguł WAF.

Bot Control wykorzystuje dwie nowe funkcje, które dodano do AWS WAF Managed Rule Groups: etykietowanie i instrukcje dotyczące zakresu. Etykiety AWS WAF to metadane dodane do żądania w wyniku dopasowania instrukcji reguły. Etykiet tych można używać w przyszłych instrukcjach reguł. Możesz myśleć o etykietach WAF jak o zmiennej, w której możesz tymczasowo przechowywać wynik działania reguły i używać go w kolejnej regule. Ponadto etykiety AWS WAF emitują metryki CloudWatch i pojawiają się w logach AWS WAF. Etykiety AWS WAF mogą być przydatne między innymi do oceny wielu instrukcji za pomocą akcji Count, a następnie podjęcia działań na podstawie etykiet lub ponownego wykorzystania logiki w wielu regułach. AWS WAF Bot Control wykorzystuje etykiety do emitowania różnych sygnałów związanych z botami, umożliwiając dostosowanie zachowania, które odpowiada Twoim potrzebom.

Niektóre zasoby aplikacji są mniej narażone na ruch botów lub nie wymagają ochrony. AWS wprowadził  również koncepcję scope down statements. Instrukcje dotyczące zakresu umożliwiają zdefiniowanie warunków, w jakich będzie działać zarządzana grupa reguł. Jest to podobne do funkcji zmniejszania zakresu dostępnej obecnie dla reguł typu rate-based w AWS WAF. Możesz chcieć dołączyć ScopeDownStatement, aby zmniejszyć koszty płatnych zarządzanych grup reguł, aby ograniczyć ocenę do określonych części aplikacji, aby uniknąć fałszywych alarmów lub uniknąć wpływu opóźnień dla określonych ścieżek, wśród innych przypadków użycia.

Korzystając z kombinacji zarządzanej konfiguracji grupy reguł, etykiet i wyrażeń scope-down, można dostosować sposób przetwarzania żądań pochodzących od botów.

Korzyści z AWS WAF Bot Control

Korzystanie z AWS WAF Bot Control zapewnia trzy kluczowe korzyści:

  1. Bot Control zapewnia swobodny wgląd w działania związane z ruchem botów. Korzystając z AWS WAF, otrzymujesz gotowe pulpity nawigacyjne pokazujące, które aplikacje mają wysoki poziom aktywności botów na podstawie próbkowanych danych.
  2. Bot Control zmniejsza koszty operacyjne i infrastrukturalne, zmniejszając ruch generowany przez zgarniacze skanery i roboty. Kontrola botów blokuje niechciany ruch botów na brzegu sieci, zanim może zwiększyć koszty przetwarzania aplikacji lub negatywnie wpłynąć na wydajność aplikacji.
  3. Usługa Bot control jest łatwa do wdrożenia. Możesz łatwo dodać ochronę botów do Amazon CloudFront, Application Load Balancer, Amazon API Gateway lub AWS AppSync, dodając zarządzaną przez AWS grupę reguł do listy kontroli dostępu do sieci (web ACL).

Jak działa AWS WAF Bot Control

Dodanie AWS WAF Bot Control działa tak samo, jak dodanie zarządzanej reguły AWS WAF; możesz zacząć od kilku kliknięć. Zobaczmy przykład i połączmy się z konsolą AWS WAF.

AWS WAF Bot Control

W lewej części ekranu zauważysz nowe menu Bot Control, które zawiera przegląd ruchu związanego z botami widocznego na Twojej liście ACL, a także podsumowanie, która ACL sieci Web ma włączoną usługę Bot Control. Wszyscy klienci AWS otrzymują te wskaźniki aktywności botów w ramach bezpłatnej warstwy AWS WAF: podział na żądania botów i żądania nie-botów, liczba zablokowanych żądań botów i kategorie botów.

AWS WAF Bot Control

W tym przewodniku postanawiamy chronić jeden z endpointów. Wybieramy Web ACLs w menu po lewej stronie i klikamy Create web ACL:

Wprowadzamy szczegóły Web ACL i klikamy Next na dole strony:

AWS WAF Bot Control

W obszarze Add rules and rule groups, otwieramy  Add rules i wybieramy Add managed rule groups:

AWS WAF Bot Control

Na ekranie Add managed rule groups, rozwijamy AWS Managed rule groups i włączamy Bot Control, Add to web ACL. U dołu strony (nie pokazanej poniżej) klikamy Add rules.

AWS WAF Bot Control

Na koniec wybieramy domyślną akcję dla żądań niezgodnych z regułami i klikamy Next.

AWS WAF Bot Control

Na kolejnych ekranach zachowujemy wszystkie wartości domyślne, trzykrotnie klikamy przycisk Next i na koniec klikamy opcję Create web ACL.

Usługa Bot Control jest podobna do Web ACL, wybierając konkretny zestaw reguł, widzimy liczbę pasujących żądań i grupę próbek.

AWS WAF Bot Control

Kiedy wybieramy kartę Bot Control u góry, mamy teraz dostęp do danych bot-specific.

AWS WAF Bot Control

Ceny i dostępność

Usługa AWS WAF Bot Control jest już dostępna we wszystkich regionach AWS, w których dostępna jest usługa AWS WAF. Podobnie jak inne reguły AWS WAF, AWS WAF Bot Control może filtrować ruch trafiający do dystrybucji Amazon CloudFront, Application Load Balancer, Amazon API Gateway i AWS AppSync.

Bot Control to płatna reguła AWS Managed Rule, którą można dodać do web ACL. Opłata w wysokości 10 dolarów miesięcznie (rozliczane godzinowo) zostanie naliczona za każde dodanie Bot Control do Twojej listy ACL. Ponadto zostanie naliczona opłata w wysokości 1 dolara za milion żądań przetworzonych przez Bot Control. Opłaty za kontrolę botów są dodatkiem do opłat AWS WAF

Poziom bezpłatnego użytkowania Bot Control obejmuje 10 milionów darmowych żądań przetwarzanych przez Bot Control miesięcznie.

Dowiedz się więcej o AWS WAF Bot Control i dodaj ją do swojego AWS WAF już dziś.

 

źródło: AWS

Case Studies
Referencje

Z przyjemnością polecamy firmę Hostersi, z którą mieliśmy przyjemność współpracować przy okazji wdrożenia skalowalnej infrastruktury w Amazon Web Services, opartej o technologię Kubernetes i metodykę DevOps.  Hostersi okazali się niezwykle proaktywnym partnerem, który nie tylko wdrażał wskazane rozwiązania, ale proponował optymalne narzędzia i technologie, które sprawiły, że efekt wdrożenia jest dla nas w pełni satysfakcjonujący. Polecamy!

Grzegorz Lentzy
IT Director LINK Mobility
W skrócie o nas
Specjalizujemy się w dostarczaniu rozwiązań IT w obszarach projektowania infrastruktury serwerowej, wdrażania chmury obliczeniowej, opieki administracyjnej i bezpieczeństwa danych.