Le Stream processing est un paradigme de programmation, équivalent à dataflow programming (en) et à la programmation réactive[1], qui permet à des applications d'exploiter une forme limitée de parallélisme. Ces applications peuvent utiliser des unités de calcul, tel que les FPUs sur un GPU ou FPGAs sans gestion explicite d'allocation, synchronisation ou communication entre eux.

Applications

modifier

Une des applications courantes du stream processing est le traitement analytique des données en temps réel. À l’aide des technologies de messaging comme Apache Kafka et des frameworks de stream processing (comme Apache Flink, Apache Spark ou Kafka Stream par exemple), il est possible de créer des pipelines de traitement de données complexes produisant des résultats en temps réel sur des technologies scalables et résilientes[2].[anglicisme à remplacer]

Références

modifier
  1. (en) « A SHORT INTRO TO STREAM PROCESSING »
  2. « Architecture data temps réel, par où commencer ? », sur Nexworld, 4 janvier 2019 (consulté le 13 mars 2019).

📚 Artikel Terkait di Wikipedia

Architecture Dataflow

Le dataflow (en français : flux de données) est une architecture où les données sont des entités actives qui traversent le programme de manière asynchrone

Apache Beam

Google Cloud Dataflow. Il a été appelé uber-API pour le big data. Apache Beam est une implémentation du modèle de Dataflow. Le modèle Dataflow est basé sur

Comparaison des langages de programmation multi-paradigmes

id=331 JSR 331: Constraint Programming API https://github.com/GoogleCloudPlatform/DataflowJavaSDK Google Cloud Platform Dataflow SDK https://jump.readthedocs

Apache Flink

Asynchronous Snapshots for Distributed Dataflows », 2015. (en) « Apache Flink 1.2.0 Documentation: Flink DataStream API Programming Guide », ci.apache.org (consulté

Groq

19 avril 2024) Prickett Morgan, « GROQ BUYS MAXELER FOR ITS HPC AND AI DATAFLOW EXPERTISE », The Next Platform, 2 mars 2022 (consulté le 19 avril 2024)

Oz (langage)

changer la valeur d'une variable dataflow une fois assignée (assignation unique) X = 1 X = 2 % Erreur Les variables dataflow rendent facile la création d'agents

ENIAC

hautement parallèle de conception proche d'une architecture à flux de données (dataflow). Il comprend quarante modules autonomes répartis ainsi : Unité d’initialisation :

LDF 100

était un ordinateur parallèle, d'architecture dataflow, conçu par Loral Instrumentation en 1986. Le dataflow est à large grain, où les unités de calcul reçoivent