Witamy w AWS Storage Day 2020

22 grudnia 2020

W listopadzie odbył się kolejny AWS Storage Day 2020. Dla tych, którzy używają Amazon Simple Storage Service (S3), Amazon FSx for Lustre, Amazon FSx for Windows File Server, Amazon Elastic Block Store (EBS), Amazon Elastic File System (EFS), AWS Transfer Family (AWS Transfer for SFTP, FTPS, or FTP), AWS DataSync, AWS Storage Gateway, AWS Backup, lub urządzeń z rodziny AWS Snow Family, w tym artykule znajdzie się coś odpowiedniego i użytecznego. 

Amazon Simple Storage Service (S3)

Klasa pamięci masowej w S3 Intelligent-Tiering, obsługuje automatyczną archiwizację danych do nowych typów Archive Access oraz Deep Archive Access. Typ Archive Access obsługuje przyspieszone odzyskiwanie (1-5 minut), standardowe (3-5 godzin) oraz masowe (5-12 godzin), za dodatkową opłatą za opcję przyspieszoną. Typ Deep Archive Access obsługuje standardowe odzyskiwanie (w ciągu 12 godzin) oraz masowe (w ciągu 48 godzin).

Wystarczy wybrać tą klasę pamięci masowej, która jest odpowiednia dla obiektu, wybrać jeden lub oba typy Archive Access, a S3 zadba o resztę, przenosząc obiekty pomiędzy czterema tierami pamięci w oparciu o wzorce dostępu. S3 Intelligent-Tiering zapewnia milisekundowe opóźnienie oraz wysoką przepustowość dla danych, które są często odwiedzane oraz najniższy koszt przechowywania danych, które nie są używane przez długi okres czasu. Aby dowiedzieć się więcej, przeczytaj S3 Intelligent-Tiering Adds Archive Access Tiers. Aby zapoznać się z dodatkowymi informacjami na temat optymalizacji kosztów przy użyciu S3 Intelligent-Tiering Archive Access Tiers, można obejrzeć ten materiał wideo.

Obecnie można wybrać opcję Delete Marker Replication, gdy korzystasz z funkcji Replication Time Control. Wcześniej funkcje te wzajemnie się wykluczały, jednak teraz można ich używać razem, aby mieć pewność, że operacje usunięcia w kontenerze źródłowym zostaną odzwierciedlone w kontenerze docelowym, jednocześnie wykorzystując Replikaction SLA (S3). Aby dowiedzieć się więcej, warto przeczytać artykuł Amazon S3 Replication Adds Support for Replicating Delete Markers.

Aktualnie można monitorować postęp replikacji na zasadzie rule-by-rule. Możliwe jest sprawdzanie takich funkcjonalności jak Bytes Pending Replication, Operations Pending Replication oraz Replication Latency, a także używanie powiadomień S3 Event Notifications, aby otrzymać listę zdarzeń niepowodzenia replikacji. Aby zapoznać się z szczegółami, można przeczytać artykuł Amazon S3 Replication Adds Support for Metrics and Notifications.

Funkcja S3 Object Ownership jest dostępna we wszystkich regionach AWS oraz jest wspierana przez AWS CloudFormation. Korzystanie z tej funkcji umożliwia automatyczne przejęcie własności obiektów, która są przesyłane do kontenera za pomocą innego AWS. Więcej informacji na ten temat można znaleźć w artykułach: Amazon S3 Ownership Now Generally Available with CloudFormation Support oraz Amazon S3 Update – Three New Security & Access Control Features.

Amazon FSx for Lustre

Obecnie Administratorzy mogą ustawić, monitorować oraz definiować wykorzystanie dostępnej przestrzeni dzięki usłudze Amazon FSx for Lustre, za pomocą wbudowanych komand Lustre (lfs setquota and lfs quota). Pozwala to wielu użytkownikom oraz grupom na współdzielenie jednego wysokowydajnego systemu plików przy jednoczesnym utrzymaniu wykorzystania pamięci masowej w określonych limitach. Limity te mogą być typu: hard (ściśle ustalony) oraz soft (zakładający „prolongatę”, która również może zostać skonfigurowana). Aby dowiedzieć się więcej, warto przeczytać artykuł FSx for Lustre Storage Quotas.

Amazon FSx for Windows File Server

Amazon FSx dla Windows File Server umożliwia dostęp do zasobów wykorzystując przyjazne dla użytkownika aliasy DNS, co pozwala na przenoszenie aplikacji oraz danych do chmury bez konieczności wprowadzania zmian w kodzie lub konfiguracji. Możliwe jest ustawienie jednego lub więcej aliasów podczas tworzenia każdego udziału, a także dodawanie, zmienianie lub usuwanie ich później. Następnie można utworzyć rekord CNAME w serwerze DNS i połączyć z udziałem (rekomendowana jest autoryzacja Kerberos oraz szyfrowanie in-transit). Aby dowiedzieć się więcej, warto przeczytać artykuł Managing DNS Aliases/ Zarządzanie aliasami DNS.

Wdrożenia oparte na kontenerach i systemie Windows, uruchomione na Amazon ECS, uzyskały dostęp do zasobów Amazon FSx dla Windows File Server. Pozwala to na uruchomienie stanowych aplikacji, systemów zarządzania treścią oraz innych systemów, które wymagają dostępu do współdzielonych danych. Wystarczy podać identyfikator systemu plików i punkt montowania w definicji Taska, a ECS zajmie się resztą. Najnowsze wersje ECS-Optimized Amazon Windows AMIs zawierają niezbędne moduły. Aby dowiedzieć się więcej na ich temat, warto przeczytać Using Amazon FSx for Windows File Server as Persistent Storage on Windows Containers

Amazon Elastic Block Store (EBS)

Wolumeny EBS Cold HDD (sc1) zapewniają tanią pamięć magnetyczną do wykorzystania w dużych, sekwencyjnych obciążeniach typu cold-data: Klastry Hadoop, przetwarzanie logów oraz Big Data. W listopadzie 2020 roku, AWS obniżył cenę dla dla pamięci typu sc1 o 40% we wszystkich regionach, w który jest dostępny EBS. Aby dowiedzieć się więcej na temat cen, warto zaznajomić się z artykułem: Price Reduction for Amazon EBS SC1 Volumes.

Obecnie możliwe jest używanie Amazon Data Lifecycle Manager (DLM) do zarządzania cyklem życia obrazów Amazon Machine Images (AMIs) oraz snapshotów EBS, które są z nimi powiązane. Utworzone zasady AMI Lifecycle Policies umożliwiają wybieranie docelowych instancji do tworzenia AMI, ustawienie harmonogramów tworzenia i utrzymania, kopiowania nowo utworzonych AMI do innych lokalizacji (regionów), dzielenia się nimi z innymi kontami AWS, a także dodawania tagów do AMI i obrazów. W temacie usuwania: można wyrejestrować AMI lub usunąć również powiązane z nim obrazy. Aby dowiedzieć się więcej, warto przeczytać o AMI Lifecycle Management Available for Data Lifecycle Manager.

Amazon Elastic File System (EFS)

Amazon Elastic File System

Obecnie możliwe jest utworzenie systemu plików Amazon Elastic File System, podczas używania EC2 Launch Instance Wizard do uruchomienia instancji. Następnie dodaje się nowy system plików do instancji i zostanie on zamontowany automatycznie po jej uruchomieniu. Aby dowiedzieć się więcej, warto przeczytać artykuł Easy-to-Use Amazon EFS Integrations with AWS Compute Services.

AWS Transfer Family

Dla operujących w środowisku usług współdzielonych w VPC, umożliwiono korzystanie z AWS Transfer Family aby spełnić wymagania dotyczące zgodności z przepisami podczas segmentacji środowiska AWS za pomocą narzędzi takich jak AWS Landing Zone do ochrony, monitorowania kosztów oraz skalowalności. Dzięki tej nowej funkcji, podczas tworzenia serwera, jego endpoint może być hostowany w ramach VPC współdzielonego z kontem właściciela a grupy bezpieczeństwa mogą być przypisane na etapie tworzenia.
Żeby dowiedzieć się więcej, warto zaznajomić się z artykułem Using VPC Hosted Endpoints in Shared VPCs with AWS Transfer Family.

AWS DataSync

Obecnie istnieje możliwość używania AWS DataSync  do wykonywania w pełni zautomatyzowanych transferów danych pomiędzy zestawami danych przechowywanymi w Amazon S3, Amazon EFS lub Amazon FSx for Windows File Server, bez konieczności wdrażania agentów DataSync. Za pomocą kilku kliknięć można tworzyć oraz planować zadania związane z transferem danych, a następnie korzystać z automatycznego szyfrowania danych w locie, weryfikacji integralności danych (zarówno in-transit jak i at-rest), oraz bardzo dobrej widoczności w procesie transferu. Wszystko to dla zbiorów danych, które mogą obejmować miliony plików lub obiektów, i wiele regionów AWS. Aby dowiedzieć się więcej, warto przeczytać artykuł AWS DataSync Announces Fully Automated Transfers Between AWS Storage Services.

Ponadto, obecnie można sprawować większą kontrolę nad przepustowością sieci wykorzystywaną przez zadania DataSync, dostosowując limit zadań w górę lub w dół w trakcie wykonywania zadania. Może to być przydatne podczas przenoszenia danych z własnego źródła do AWS przez dłuższy okres czasu, poprzez połączenie sieciowe, które jest współdzielone z innymi zadaniami. Aby zapoznać się z lepiej z tym tematem, warto przeczytać artykuł You Can Now Adjust Network Bandwith Used by Running AWS DataSync Tasks oraz zobaczyć video.

AWS Snow Family

AWS umożliwił importowanie obrazów maszyn wirtualnych jako AMI do urządzeń Snowball Edge Storage Optimized oraz Snowball Edge Compute Optimized, gdy są na miejscu i pracują. Pozwala to na dokonywanie zmian w ciągu kilku minut bez konieczności zamawiania i oczekiwania na dostawę nowego urządzenia. Funkcja ta jest dostępna na urządzeniach, które były zamawiane od 9 listopada 2020 lub później. Aby dowiedzieć się więcej, warto przeczytać AWS Snowball Edge Supports Importing Virtual Machine Images to Deployed Snow Devices.

Istnieje możliwość zaimportowania wirtualnych maszyn z systemem Windows 2012 oraz Windows 2016, i używania ich do uruchamiania instancji na urządzeniach Snowball. Można używać funkcji onsite AMI lub funkcji VM Import/Export do zaimportowania obrazu do systemu AWS, a następnie załadować go do urządzenia Snowball podczas składania zamówienia. W obu przypadkach to użytkownik jest odpowiedzialny za posiadanie własnej licencji na system Windows. Aby dowiedzieć się więcej, warto przeczytać artykuł: AWS Snowball Edge Supports Windows Operating Systems.

 

AWS Storage Gateway

AWS dodał cztery nowe funkcje, które zwiększają skalowalność, bezpieczeństwo oraz łatwość obsługi Gateway’ów typu File, Tape i Volume.

Obecnie można utworzyć lokalne pamięci masowe typu Tape Gateway oraz Volume Gateway o pojemności 64 terabajtów, cztery razy większej niż dotychczas, dla bramek działających na maszynie wirtualnej. Pozwoli to na przechowywanie większej ilości danych bliżej aplikacji i użytkowników on-premise. Większe pamięci podręczne można tworzyć na nowo utworzonych bramkach, a po kolejnej zaplanowanej aktualizacji oprogramowania na istniejących już bramkach. Aby dowiedzieć się więcej, warto przeczytać AWS Storage Gateway Increases Cache 4x and Enhances Bandwidth Throttling.

AWS umożliwił utworzenie harmonogramu w celach utrzymania kontroli maksymalnego pasma sieciowego zużywanego przez bramki typu Tape oraz Volume. Przykładowo, można regulować wykorzystanie przepustowości pasma w godzinach szczytu i korzystać z całego dostępnego pasma w innych godzinach. Aby dowiedzieć się więcej, warto zaznajomić się z artykułem AWS Storage Gateway Increases Cache 4x and Enhances Bandwidth Throttling.

Przesyłane pliki do bramki File Gateway mogą teraz wywołać powiadomienia Amazon CloudWatch lub Amazon EventBridge, które wykorzystać można do inicjowania zautomatyzowanych procesów. Pozwala to na łatwe wykorzystanie AWS do przetwarzania danych z lokalnych plików przy użyciu np. funkcji AWS Lambda. Aby dowiedzieć się więcej, warto przeczytać Processing File Upload Notifications from AWS Storage Gateway on Amazon S3.

Bramka File Gateway obsługuje listowanie oparte o kontrolę dostępu. Można włączyć tę funkcję, aby upewnić się, że użytkownicy widzą tylko te udziały w plikach SMB, foldery oraz pliki, do których mają uprawnienia do otwarcia. Oprócz pomocy w ochronie poufnych informacji, funkcja ta zapewnia użytkownikom uproszczony widok folderów, pokazując im tylko to, do czego mają dostęp. Aby zaznajomić się z tym tematem, warto przeczytać Enhance Privacy Controls with Access-Based Enumeration for File Gateway.

AWS Backup

Aktualnie możliwe korzystanie jest z AWS Backup do tworzenia zaplanowanych, zgodnych z zasadami tworzenia, kopii zapasowych dla systemów plików Amazon FSx. Kopie zapasowe wykorzystują istniejącą funkcjonalność Amazon FSx i mogą być używane w systemach plików Amazon FSx for Windows File Server, a także dla trwałych systemów plików Amazon FSx for Lustre, które nie są połączone z S3 lub innym repozytorium danych. Aby dowiedzieć się więcej, warto przeczytać AWS Backup Provides Centralized Data Protection Across Your AWS Resources.

AWS Backup

 

 

Podsumowanie

Jak widać, w tym roku Storage Day koncentrował się na czterech filarach: kosztach, wydajności, zarządzaniu i integracji. Filary te zostały wybrane (i cechy, które je reprezentują) po rozmowach z tysiącami klientów i wysłuchaniu ich opinii na temat tych usług. Warto przyjrzeć się uważnie temu co wprowadził AWS i zbudować coś niesamowitego. 

Źródło: https://aws.amazon.com/

 

PYTANIA? SKONTAKTUJ SIĘ Z NAMI