Traitement par lots : Une introduction

Plus simplement, le traitement par lots est le processus par lequel un ordinateur complète des lots de travaux, souvent simultanément, sans arrêt, dans un ordre séquentiel. C’est également une commande qui garantit que les gros travaux sont calculés en petites parties pour plus d’efficacité pendant le processus de débogage.

Cette commande porte de nombreux noms, notamment Workload Automation (WLA) et Job Scheduling. Comme la plupart des choses en programmation, elle a changé au fil du temps. Heureusement, ces changements ont rendu le traitement des tâches par lots plus sophistiqué et plus efficace. Pour de nombreuses entreprises, c’est un composant nécessaire à leur réussite quotidienne.

Dans cet article, nous donnerons un aperçu du traitement par lots, nous examinerons les cas d’utilisation ainsi que les avantages et les inconvénients, puis nous offrirons des conseils pour déterminer si le traitement par lots vous convient.

L’évolution du traitement par lots

Aujourd’hui, une caractéristique déterminante du traitement par lots est son manque d’interaction avec l’utilisateur. Il y a peu, voire aucun, processus manuel pour le lancer. C’est en partie ce qui fait son succès et son efficacité, mais cela n’a pas toujours été le cas. Le traitement par lots a débuté avec l’utilisation de cartes perforées qui étaient tabulées pour indiquer aux ordinateurs ce qu’ils devaient faire. Souvent, des jeux, ou des lots, de cartes étaient traités en même temps. Cette pratique remonte à 1890, lorsque Herman Hollerith a créé des cartes perforées pour traiter les données du recensement. Travaillant pour le Bureau du recensement des États-Unis, il a développé un système par lequel une carte qu’il perforait manuellement était lue par un dispositif électromécanique. Hollerith a rapidement créé une petite entreprise que nous connaissons aujourd’hui sous le nom d’IBM.

La carte perforée a révolutionné le mode de fonctionnement des entreprises – mais c’était à l’époque. Au cours des deux dernières décennies, le traitement par lots a poursuivi son évolution. Les professionnels de la saisie de données ne sont plus nécessaires. La plupart des fonctions de traitement par lots sont activées sans interaction, et elles sont réalisées pour répondre à des besoins de temps spécifiques. Certains travaux sont complétés en temps réel avec des fonctions de surveillance et de rapports quotidiens, d’autres sont effectués immédiatement.

Dépendances et moniteurs dans le traitement par lots

Le traitement par lots d’aujourd’hui utilise des alertes de gestion basées sur les exceptions pour avertir les bonnes personnes en cas de problème. Cela donne aux gestionnaires la liberté de travailler sans vérifier régulièrement l’avancement des lots. L’idée est que les gestionnaires n’ont pas besoin de vérifier du tout, sauf s’ils reçoivent une alerte concernant une exception critique.

Les exceptions sont déterminées par un système de dépendances et de moniteurs qui sont essentiels au logiciel :

• Les dépendances sont les événements qui déclenchent le traitement par lots. Cela peut être qu’un client passe une commande en ligne, ou qu’un utilisateur demande de nouvelles fournitures, ce qui déclenche le système à générer une demande…. La dépendance a mis le traitement par lots en mouvement.
• Les moniteurs recherchent les anomalies dans le lot. Peut-être, un travail prend plus de temps que la normale pour se terminer. Le travail suivant ne peut pas commencer avant que celui qui le précède ne se termine. Si cela provoque un retard inhabituel, le moniteur l’attrape, en générant une exception et en l’envoyant à un gestionnaire.

Quand utiliser le traitement par lot

Vous pourriez vous attendre à des latences lorsque vous utilisez le traitement par lot. Pour de nombreuses situations, cependant, ce type de retard avant le début du transfert des données n’est pas un gros problème – les processus qui utilisent cette fonction ne sont pas critiques pour la mission à ce moment précis.

Le traitement par lots devrait être envisagé dans les situations où :

• Les transferts et les résultats en temps réel-transferts en temps réel et les résultats ne sont pas cruciaux
• De grands volumes de données doivent être traités
• Les données sont accessibles par lots par opposition aux flux
• Des algorithmes complexes doivent avoir accès à l’ensemble du lot

.

• Les tables des bases de données relationnelles doivent être jointes
• Le travail est répétitif

Avantages du traitement par lots

Il existe un certain nombre de raisons pour lesquelles les entreprises déploient des systèmes de traitement par lots. Les propriétaires d’entreprises devraient examiner l’impact total lorsqu’ils décident d’un nouveau logiciel pour leur organisation.

Vitesse, à moindre coût

Parce que le traitement par lots n’a pas besoin de commis à la saisie de données pour soutenir son fonctionnement, il permet de réduire les coûts opérationnels que les entreprises dépensent en main-d’œuvre. Il ne nécessite pas non plus de matériel supplémentaire pour fonctionner, en dehors d’un ordinateur.

En fait, l’utilisation du traitement par lots peut réduire la dépendance d’une entreprise à l’égard d’autres pièces de matériel coûteuses, ce qui en fait une solution relativement peu coûteuse qui aide les entreprises à économiser de l’argent et du temps. Sans possibilité d’erreur de la part de l’utilisateur, les traitements par lots sont réalisés de la manière la plus efficace possible. Il en résulte un traitement rapide et précis et des gestionnaires qui ont plus de temps à consacrer aux opérations quotidiennes.

Fonctions hors ligne

Les systèmes de traitement par lots fonctionnent hors ligne, de sorte que lorsque la journée de travail se termine, les systèmes de traitement par lots sont toujours en train de traiter en arrière-plan, au ralenti. Cela donne aux gestionnaires le contrôle ultime sur le moment de lancer les processus.

Le logiciel peut être configuré pour le traitement de nuit de certains lots, ce qui fournit une solution pratique pour les entreprises qui ne veulent pas qu’un travail comme les téléchargements automatiques perturbe les activités quotidiennes.

Gestion facile sans intervention

Les gestionnaires ont assez à faire sans se connecter toutes les heures pour vérifier leurs lots. Le système de notification basé sur les exceptions des logiciels modernes de traitement par lots permet aux gestionnaires de faire facilement leur travail sans se soucier de savoir si leur logiciel fonctionne correctement et si les lots sont complétés. En cas de problème, des notifications sont envoyées aux personnes compétentes pour le résoudre. Les gestionnaires peuvent adopter une approche non interventionniste, en ayant confiance que leur logiciel de traitement par lots fait son travail.

Simplicité

Par rapport au traitement en temps réel ou au traitement en flux, le recessing par lots est nettement moins complexe : il ne nécessite pas un support système constant pour l’entrée des données ou un matériel unique. Une fois installé et établi, un système de traitement par lots n’implique pas de maintenance lourde, ce qui en fait une solution à barrière d’entrée relativement faible.

Inconvénients du traitement par lots

Bien que le traitement par lots soit excellent pour de nombreux scénarios, les propriétaires devraient également tenir compte de ces composants, qui pourraient être des inconvénients pour certaines entreprises.

Déploiement et formation

Comme pour toute nouvelle technologie, il y a un certain degré de formation nécessaire pour gérer ces systèmes. Les gestionnaires qui ne sont pas familiers devront comprendre ce qui déclenche un lot, comment les planifier et ce que signifient les notifications d’exception, entre autres choses.

Débogage complexe

Lorsqu’une erreur se produit, les gestionnaires doivent également savoir comment la réparer. Le débogage des systèmes de traitement par lots peut être naturellement complexe. Vous aurez probablement besoin d’un employé interne spécialisé dans ces systèmes ; sinon, attendez-vous à un coût supplémentaire chaque fois que vous aurez besoin de l’aide d’un consultant externe.

Coût

Bien que la plupart des entreprises économisent de l’argent sur la main-d’œuvre et le matériel lorsqu’elles passent au traitement par lots, certaines entreprises n’ont pas de commis à la saisie de données ou de besoins en matériel coûteux pour commencer. Pour ces entreprises, le coût de certains systèmes de mise en lots peut sembler irréalisable.

Traitement par lots ou traitement en flux

Compte tenu des avantages des deux, de nombreuses organisations sont confrontées au dilemme de savoir lequel est le meilleur : le traitement par lots ou le traitement en flux ? Bien qu’une réponse tranchée pourrait être idéale, il n’y a pas d’option unique qui soit la solution parfaite pour chaque cas, plutôt la méthode optimale varie en fonction des besoins, de l’entreprise et de la situation spécifique.

Avec sa capacité à traiter de grands volumes de données en une seule fois, voire des millions d’enregistrements qui sont stockés et sauvegardés tout au long de la journée, le traitement par lots est une bonne option pour les choses qui peuvent attendre après les heures de bureau. Des exemples sont des choses comme :

• Toutes les factures d’articles de ligne
• Les processus de paie
• Toutes les transactions uniques qu’une entreprise financière pourrait soumettre au cours d’une semaine donnée

Le traitement en continu, d’autre part, est utile pour les processus ou les systèmes qui dépendent de l’accès aux données en temps réel. En étant capable d’analyser presque instantanément des données en continu, cette méthode est mieux adaptée aux scénarios dans lesquels les événements se produisent fréquemment et de manière rapprochée, et ne peuvent pas attendre le soir que les ordinateurs soient inactifs. Ce type de traitement est mieux utilisé pour des tâches telles que la cybersécurité et la détection des fraudes, car celles-ci doivent être trouvées immédiatement pour que les risques soient atténués.

De nombreuses organisations ont constaté qu’une combinaison de traitement par lots et de traitement en flux est la plus bénéfique pour les flux de travail, chaque méthode étant utilisée selon les besoins.

Ai-je besoin du traitement par lots ?

Si vous vous demandez encore si le traitement par lots est la bonne solution pour vous, réfléchissez à des exemples où vous pourriez utiliser cette fonction dans votre entreprise. Y a-t-il des lacunes que vous pourriez combler par l’automatisation ?

Pour en nommer quelques-unes, il pourrait s’agir de :

• Processus de paie et feuilles de temps des employés
• Relevés bancaires
• Facturation par article de ligne
• Stream, Analytics and Transaction Processing
• Research and Reporting
• Email Systems
• Supply Chain and Fulfillment
• Other Requests

En règle générale, si vous vous retrouvez régulièrement à effectuer manuellement de gros travaux informatiques, il y a de fortes chances que le bon logiciel de traitement par lots soit la clé pour libérer plus de temps et d’argent pour votre organisation.

Il y a également quelques questions à prendre en compte pour décider si votre entreprise a besoin du Batch Processing :

• Comment vous assurez-vous que les travaux manuels sont effectués correctement ? Avez-vous un système en place pour déterminer qu’ils ont été soumis et traités dans le bon ordre ?
• Avez-vous des travaux en attente de démarrage qui dépendent de l’achèvement d’un autre ? Avez-vous un système en place pour suivre chaque travail jusqu’à son achèvement ou qui sait quand le premier travail sera fait ?
• Vérifiez-vous manuellement les nouveaux fichiers ? Votre script boucle-t-il assez fréquemment pour être efficace lors de la vérification des fichiers ?
• Avez-vous une configuration actuelle avec des tentatives au niveau des tâches sur votre serveur ? Quel impact cela a-t-il ? Bénéficieriez-vous de moins de stress sur le serveur?
• Comment suivez-vous les dépendances entre les serveurs ? Comment savez-vous que le serveur dépendant sera disponible en cas de besoin ?

Automatiser la planification des tâches pour votre entreprise

De par leur conception, les systèmes modernes visent à libérer les gestionnaires des minuties quotidiennes, à prévenir les erreurs des utilisateurs et à promouvoir une réalisation rapide et efficace des tâches avec peu de surveillance. Le traitement par lots a l’effet supplémentaire d’économiser de l’argent pour presque toutes les entreprises qui le déploient.

Il n’est pas sans considérations, cependant, comme indiqué ci-dessus. Les entreprises qui n’ont pas le personnel informatique pour mettre en œuvre un plan de déploiement et de maintenance réussi peuvent encore bénéficier du traitement par lots, mais elles doivent se préparer dès le départ à investir du temps et de l’argent dans un partenariat avec des experts informatiques pour assurer un lancement réussi et une expérience utilisateur finale.

BMC pour l’automatisation de la charge de travail

Pour en savoir plus sur ce sujet, consultez notre blog BMC Workload Automation. Vous êtes prêt à découvrir ce que BMC peut faire pour votre entreprise ? Explorez l’automatisation de la charge de travail, y compris le traitement par lots, avec Control-M.

Adoptez une approche moderne du traitement par lots

L’orchestration du flux de travail des applications est une approche moderne du traitement par lots qui peut prévenir les défaillances de production pour une prestation de services à tout moment. Lire le livre électronique ‘

Ces affichages sont les miens et ne représentent pas nécessairement la position, les stratégies ou l’opinion de BMC.

Vous voyez une erreur ou avez une suggestion ? Veuillez nous le faire savoir en envoyant un courriel à [email protected].