AWS : So garantieren Sie die Verfügbarkeit von statischer privater IP beim Bootstrapping

manisha-sh

Ich starte den EMR-Cluster und weise dem Master-Knoten beim Bootstrapping eine private IP-Adresse zu. Dies wird also verknüpft, wenn der Cluster gestartet wird, und wird freigegeben, wenn der Cluster beendet wird. Wie garantiere ich, dass diese IP für meinen Cluster immer verfügbar ist und kein anderer Prozess sie abnimmt, auch wenn sie nicht verwendet wird.

Sobald ich diese IP erhalten habe, sende ich meine Spark-Gläser an den Port 8998 dieser IP, indem ich die Apache livy REST API verwende

Mein Anwendungsfall besteht also darin, die IP auf dem Master-Knoten bereitzustellen, damit LIVY-APIs Jobs an EMR senden können.

Johannes Rotenstein

Es ist nicht möglich, eine bestimmte private IP-Adresse für den Cluster anzufordern.

Stattdessen würde ich vorschlagen:

  • Erstellen Sie eine private gehostete Route 53-Zone mit einem Datensatz für den Cluster (z. B. cluster.private)
  • Aktualisieren Sie nach dem Starten des EMR-Clusters den Datensatz für die IP-Adresse des Master-Knotens
  • Lassen Sie Apache Livy den Cluster anhand des DNS-Namens statt der IP-Adresse referenzieren

Das Aktualisieren des Datensatzes kann programmgesteuert erfolgen. Ein Skript würde etwa Folgendes tun:

  • Forderung list_clusters()
  • Rufen Sie für jeden Cluster auf describe_cluster()
  • Suchen Sie nach einem Tag (zB DNS=cluster.private)
  • Wenn das DNSTag vorhanden ist:
    • Aktualisieren Sie den benannten Datensatz in Route 53, um einen A-Datensatz zu verwenden, um auf die IP-Adresse des Master-Knotens zu verweisen

Dieses Skript müsste nach dem Start des Clusters ausgelöst werden.

Verwandte Artikel

So überprüfen Sie die aktuelle Verfügbarkeit der AWS EC2-Instanz

BigBoss Was ist der beste Weg, um die Verfügbarkeit der EC2-Instanz zu überprüfen und möglicherweise Warnungen zu senden, wenn die Verfügbarkeit beispielsweise mehr als N Stunden beträgt? Wie kann es mit Standard-AWS-Tools wie CloudWatch oder Lambda organisier

So berechnen Sie die Verfügbarkeit von Anwendungen (SLA)

Roman Marusyk Ich habe ein Standard-ASP.NET MVC-Projekt und muss die Anwendungsverfügbarkeit berechnen, um unsere SLA-Ebene herauszufinden . Also muss ich so etwas für unsere Webanwendung bekommen. Informationen von meinem Hosting-Anbieter System Availability:

SLA für die Verfügbarkeit von AWS Cloudfront

Vladimir Semashkin Ich versuche, ein System in einer AWS-Cloud mit einem bestimmten SLA-Level (z. B. 99,99) zu entwerfen. Eines der Elemente meiner Architektur ist CloudFront. Derzeit kann ich nur schwer verstehen, ob es möglich ist, die Verfügbarkeit durch Ei

Leistungstest in AWS: So garantieren Sie Bandbreite

Joe Moor Ich muss einen Leistungstest für eine Anwendung ausführen, die auf Elastic Beanstalk basiert und sich in AWS fronted by und ELB befindet. Ich erwarte einen Verkehr von etwa 25 Gbit / s Gemäß den AWS-Anforderungen verwende ich ein anderes Konto (für Te

So überprüfen Sie die Verfügbarkeit von Instagram-Benutzernamen

ColdZer0 Wie überprüfe ich, ob der Benutzername in Instagram verfügbar ist oder nicht? Ich habe versucht, Get request zu verwenden und 404-Fehler abzufangen. Manchmal funktioniert es nicht. Gibt es einen anderen Weg? eine zuverlässige? Ich habe versucht, Objek

So überwachen Sie die Verfügbarkeit von socket.io-Websockets up

Joseph Miller Seit mehreren Monaten stehe ich vor einem Problem. Websocket geht nach dem Zufallsprinzip offline, und es gibt kein Fehlerprotokoll, um das Problem zu finden. Ich verwende socket.io für meine Anwendung und gibt es eine Möglichkeit, den socket.io