Logstash
Logstash est un logiciel qui permet de filtrer les données et stocker. Il est un produit élastique, une société fondée en 2012 à Amsterdam. Élastique a été créé par les programmeurs qui ont fait Apache Lucene et ElasticSearch: Shay Banon, Steven Schuurman, Simon Willnaur et Uri Boness. Aujourd'hui, l'entreprise emploie des personnes dans 32 pays. à Mountain View, la société siège aux États-Unis est en Californie. Il y a d'autres bureaux américains à Phoenix, New York et San Francisco. autres bureaux élastiques sont à Amsterdam, Hong Kong, la Suisse, le Royaume-Uni, Berlin, Munich, Norvège, Japon, Corée, Singapour, la France et l'Australie. D'autres produits proposés par Elastic comprennent Kibana, Beats, X-Pack, Elastic Cloud, ES-Hadoop et d'autres offres plus petites. clients notables incluent Sprint, Université de l'Indiana, Travelport, Grab, Stormfish, SAP Concur, Radio-Canada, Discover, Fermilab, eBay, Lyft, IEEE, Blizzard Entertainment, Citibank, Otto Motors, Cox Communications et Credit Suisse.
- Les données sont acceptées à partir de pratiquement toute source ou de l'événement et la traite pour la sortie à une « planque » (ou plusieurs emplacements de stockage, en fonction des filtres)
- Les données peuvent être analysées par programmation et transformé en transit.
- Par exemple, Logstash peut être utilisé pour déchiffrer les coordonnées géographiques d'une entrée d'adresse IP
- Compatible avec les données élastique Stack pour l'analyse rapide aperçu
- outils de visibilité multiples (élastique X-Pack) pour garder une trace du serveur et l'exécution des programmes
- Open Source et totalement gratuit à télécharger et à utiliser
- Activement développé. La dernière mise à jour (version 6.2.3) a été libéré le 20 Mars 2018
- L'installation est seulement quatre étapes simples et une ligne de commande: bin / logstash -f logstash.conf
- Un guide complet est disponible en ligne pour aider les nouveaux administrateurs à démarrer (il y a aussi une vidéo utile ici)
- En fonction de Java, qui a ses propres problèmes avec des failles de sécurité (la dernière version de Logstash nécessitent la version Java 8 ou plus pour l'installation)
La gestion des données est un élément fondamental des entreprises axées sur la technologie, et aujourd'hui, les données peuvent provenir de nombreuses sources en même temps. Mais comment une entreprise peut organiser un énorme flux de données de toutes les directions? C'est là Logstash est très pratique. Ce programme côté serveur est spécialement conçu pour ingérer des données de toutes les « tailles, formes et sources. » Au cours du traitement, les données peuvent être envoyées à travers des filtres pour déterminer sa destination finale, qui peut être un ou une variété de « stashes » tels que les serveurs, les nuages ou d'autres zones de stockage. Les données peuvent être saisies de Beats élastiques, Amazon Web services CloudWatch API, Couch DB, les clusters ElasticSearch, sortie de commande shell, les événements à partir de fichiers, les paquets Ganglia via UDP, les messages GELF format (comme des événements) via Graylog2, Google Cloud PubSub, graphite, HTTP ou événements HTTPS, les événements à partir d'un serveur IRC, événements JMS Broker, métriques d'applications Java via JMX, les événements de flux AWS Kinesis, bûcheron, événements serveur de marionnettes, des événements d'échange RabbitMQ, événements rELP sur une socket TCP, les requêtes Salesforce SOQL, les événements d'interruption SNMP AWS simple Queue service, Twitter API streaming, des événements de socket UNIX, les événements de protocole XMPP / Jabber et plus. Il y a même un plugin pour générer des événements aléatoires à des fins de test. Logstash est parfait pour l'automatisation de la collecte des données et le traitement, l'enregistrement des charges de temps de productivité pour d'autres tâches. Le logiciel est hautement configurable, et plus de 200 plug-ins existent pour faire en sorte que Logstash peut gérer toutes les données qu'il reçoit.