AWS Step Functions rozszerza opcje źródeł danych i wyjścia dla Distributed Map

AWS Step Functions obsługuje teraz dodatkowe źródła danych i opcje wyjścia dla Distributed Map, umożliwiając bardziej elastyczne przetwarzanie równoległe na dużą skalę. Distributed Map może teraz przetwarzać dane z JSON Lines (JSONL) i szerszej gamy formatów plików rozdzielanych przechowywanych w Amazon S3. Ponadto Distributed Map oferuje nowe transformacje wyjściowe, które zapewniają większą kontrolę nad formatowaniem wyników.

AWS Step Functions to wizualna usługa przepływu pracy, która umożliwia koordynację ponad 14 000 działań API z ponad 220 usług AWS w celu tworzenia aplikacji rozproszonych i obciążeń związanych z przetwarzaniem danych. Dzięki tej aktualizacji można łatwiej iterować i przetwarzać różnorodne zestawy danych za pomocą Distributed Map w Step Functions. Oprócz istniejącej obsługi plików JSON i plików z wartościami rozdzielonymi przecinkami (CSV), mapa rozproszona obsługuje teraz JSONL oraz nowe formaty plików rozdzielonych, takie jak pliki rozdzielone średnikami i pliki rozdzielone tabulatorami. Rozszerza to możliwości przetwarzania na szerszy zakres formatów danych bez konieczności niestandardowego przetwarzania wstępnego. Nowe elastyczne transformacje danych wyjściowych zapewniają większą kontrolę nad formatowaniem wyników, ułatwiając agregację wyników i upraszczając integrację z systemami niższego szczebla.

Aby rozpocząć, możesz już dziś skorzystać z trybu mapy rozproszonej w konsoli AWS Step Functions lub przeczytać ten wpis na blogu. Aby dowiedzieć się więcej, odwiedź przewodnik dla programistów Step Functions.