Vereinfachen Sie den Zugriff auf interne Informationen mithilfe von Retrieval Augmented Generation und LangChain Agents

Dieser Beitrag führt Sie durch die häufigsten Herausforderungen, mit denen Kunden beim Durchsuchen interner Dokumente konfrontiert sind, und gibt Ihnen konkrete Anleitungen, wie AWS-Dienste genutzt werden können, um einen generativen KI-Konversationsbot zu erstellen, der interne Informationen nützlicher macht.

Unstrukturierte Daten machen 80% aller Daten aus in Organisationen zu finden, bestehend aus täglich wachsenden Repositorys mit Handbüchern, PDFs, FAQs, E-Mails und anderen Dokumenten. Unternehmen sind heute auf ständig wachsende Bestände an internen Informationen angewiesen, und Probleme entstehen, wenn die Menge an unstrukturierten Daten nicht mehr beherrschbar ist. Oftmals lesen und überprüfen Benutzer viele verschiedene interne Quellen, um die Antworten zu finden, die sie benötigen.

Interne Frage-und-Antwort-Foren können Benutzern helfen, sehr spezifische Antworten zu erhalten, erfordern aber auch längere Wartezeiten. Bei unternehmensspezifischen internen FAQs führen lange Wartezeiten zu einer geringeren Mitarbeiterproduktivität. Frage- und Antwortforen sind schwer zu skalieren, da sie auf manuell geschriebenen Antworten basieren. Mit generativer KI findet derzeit ein Paradigmenwechsel in der Art und Weise statt, wie Nutzer Informationen suchen und finden. Der nächste logische Schritt besteht darin, mithilfe generativer KI große Dokumente in kleinere, häppchengroße Informationen zu verdichten, damit der Benutzer sie leichter nutzen kann. Anstatt lange Zeit mit dem Lesen von Texten oder dem Warten auf Antworten zu verbringen, können Benutzer Zusammenfassungen in Echtzeit auf der Grundlage mehrerer vorhandener Repositorys mit internen Informationen erstellen.

Lösungsüberblick

Die Lösung ermöglicht es Kunden, kuratierte Antworten auf Fragen zu internen Dokumenten abzurufen, indem ein Transformatormodell verwendet wird, um Antworten auf Fragen zu Daten zu generieren, auf die es nicht trainiert wurde. Diese Technik wird als Zero-Shot-Prompting bezeichnet. Durch die Einführung dieser Lösung können Kunden die folgenden Vorteile erzielen:

• Finden Sie genaue Antworten auf Fragen basierend auf vorhandenen Quellen interner Dokumente
• Reduzieren Sie die Zeit, die Benutzer mit der Suche nach Antworten verbringen, indem Sie Large Language Models (LLMs) verwenden, um mithilfe von Dokumenten mit den aktuellsten Informationen nahezu sofortige Antworten auf komplexe Anfragen bereitzustellen
• Durchsuchen Sie zuvor beantwortete Fragen über ein zentrales Dashboard
• Reduzieren Sie den Stress, der dadurch entsteht, dass Sie Zeit damit verbringen, manuell Informationen zu lesen, um nach Antworten zu suchen

Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG) reduziert einige der Mängel LLM-basierter Abfragen, indem es die Antworten aus Ihrer Wissensdatenbank findet und das LLM verwendet, um die Dokumente in prägnanten Antworten zusammenzufassen. Bitte lesen Sie diesen Beitrag, um zu erfahren, wie Sie den RAG-Ansatz mit Amazon Kendra implementieren. Die folgenden Risiken und Einschränkungen sind mit LLM-basierten Abfragen verbunden, die ein RAG-Ansatz mit Amazon Kendra adressiert:

• Halluzinationen und Rückverfolgbarkeit – LLMS werden auf große Datensätze trainiert und generieren Antworten auf Wahrscheinlichkeiten. Dies kann zu ungenauen Antworten führen, die als Halluzinationen bezeichnet werden.
• Mehrere Datensilos – Um in Ihrer Antwort auf Daten aus mehreren Quellen zu verweisen, muss ein Connector-Ökosystem zur Aggregation der Daten eingerichtet werden. Der Zugriff auf mehrere Repositorys ist manuell und zeitaufwändig.
• Sicherheit – Sicherheit und Datenschutz sind wichtige Aspekte bei der Bereitstellung von Conversational Bots, die auf RAG und LLMs basieren. Trotz der Verwendung von Amazon Comprehend zum Herausfiltern personenbezogener Daten, die möglicherweise durch Benutzerabfragen bereitgestellt werden, besteht je nach erfassten Daten die Möglichkeit, dass unbeabsichtigt personenbezogene oder vertrauliche Informationen ans Licht kommen. Das bedeutet, dass die Kontrolle des Zugriffs auf den Chatbot von entscheidender Bedeutung ist, um einen unbeabsichtigten Zugriff auf vertrauliche Informationen zu verhindern.
• Datenrelevanz – LLMS werden auf Daten bis zu einem bestimmten Datum trainiert, was bedeutet, dass Informationen oft nicht aktuell sind. Die Kosten für das Training von Modellen auf der Grundlage aktueller Daten sind hoch. Um genaue und aktuelle Antworten sicherzustellen, tragen Organisationen die Verantwortung, den Inhalt der indizierten Dokumente regelmäßig zu aktualisieren und zu bereichern.
• Kosten – Die mit der Bereitstellung dieser Lösung verbundenen Kosten sollten für Unternehmen berücksichtigt werden. Unternehmen müssen bei der Implementierung dieser Lösung ihr Budget und ihre Leistungsanforderungen sorgfältig prüfen. Der Betrieb von LLMs kann erhebliche Rechenressourcen erfordern, was die Betriebskosten erhöhen kann. Diese Kosten können für Anwendungen, die in großem Maßstab betrieben werden müssen, zu einer Einschränkung werden. Einer der Vorteile der AWS Cloud ist jedoch die Flexibilität, nur für das zu zahlen, was Sie nutzen. AWS bietet ein einfaches, konsistentes Pay-as-you-go-Preismodell, sodass Ihnen nur die Ressourcen berechnet werden, die Sie verbrauchen.

Nutzung von Amazon SageMaker JumpStart

Für transformatorbasierte Sprachmodelle können Unternehmen von der Verwendung von Amazon SageMaker JumpStart profitieren, das eine Sammlung vorgefertigter Modelle für maschinelles Lernen bietet. Amazon SageMaker JumpStart bietet eine breite Palette grundlegender Modelle für die Textgenerierung und Frage-Antwort-Funktion (Q&A), die einfach bereitgestellt und genutzt werden können. Diese Lösung integriert ein FLAN T5-XL Amazon SageMaker JumpStart-Modell, bei der Auswahl eines Basismodells sind jedoch verschiedene Aspekte zu beachten.

Integration von Sicherheit in unseren Workflow

Gemäß den Best Practices der Sicherheitssäule des Well-Architected Framework wird Amazon Cognito zur Authentifizierung verwendet. Amazon Cognito-Benutzerpools können in Identitätsanbieter von Drittanbietern integriert werden, die mehrere Frameworks zur Zugriffskontrolle unterstützen, darunter Open Authorization (OAuth), OpenID Connect (OIDC) oder Security Assertion Markup Language (SAML). Durch die Identifizierung von Benutzern und ihren Aktionen kann die Lösung die Rückverfolgbarkeit gewährleisten. Die Lösung nutzt außerdem die Funktion zur Erkennung persönlich identifizierbarer Informationen (PII) von Amazon Comprehend, um PII automatisch zu identifizieren und zu schwärzen. Zu den geschwärzten personenbezogenen Daten gehören Adressen, Sozialversicherungsnummern, E-Mail-Adressen und andere vertrauliche Informationen. Dieses Design stellt sicher, dass alle vom Benutzer über die Eingabeabfrage bereitgestellten personenbezogenen Daten geschwärzt werden. Die PII werden nicht gespeichert, von Amazon Kendra verwendet oder an das LLM weitergeleitet.

Komplettlösung zur Lösung

Die folgenden Schritte beschreiben den Arbeitsablauf des Fragen-Beantwortungs-Über-Dokumenten-Flusses:

1. Benutzer senden eine Anfrage über eine Weboberfläche.
2. Zur Authentifizierung wird Amazon Cognito verwendet, das einen sicheren Zugriff auf die Webanwendung gewährleistet.
3. Das Webanwendungs-Frontend wird auf AWS Amplify gehostet.
4. Amazon API Gateway hostet eine REST-API mit verschiedenen Endpunkten, um Benutzeranfragen zu verarbeiten, die mit Amazon Cognito authentifiziert werden.
5. PII-Redaktion mit Amazon Comprehend:
   • Verarbeitung von Benutzerabfragen: Wenn ein Benutzer eine Abfrage oder Eingabe sendet, wird diese zunächst über Amazon Comprehend weitergeleitet. Der Dienst analysiert den Text und identifiziert alle in der Abfrage vorhandenen PII-Entitäten.
   • PII-Extraktion: Amazon Comprehend extrahiert die erkannten PII-Entitäten aus der Benutzerabfrage.
6. Relevante Informationsbeschaffung mit Amazon Kendra:
   • Mit Amazon Kendra wird ein Index von Dokumenten verwaltet, der die Informationen enthält, die zur Generierung von Antworten auf Benutzeranfragen verwendet werden.
   • Der LangChain-QA-Abruf Das Modul wird verwendet, um eine Konversationskette aufzubauen, die relevante Informationen zu den Anfragen des Benutzers enthält.
7. Integration mit Amazon SageMaker JumpStart:
   • Die AWS Lambda-Funktion verwendet die LangChain-Bibliothek und stellt mit einer kontextgefüllten Abfrage eine Verbindung zum Amazon SageMaker JumpStart-Endpunkt her. Der Amazon SageMaker JumpStart-Endpunkt dient als Schnittstelle des LLM, das für die Inferenz verwendet wird.
8. Antworten speichern und an den Benutzer zurücksenden:
   • Die Antwort vom LLM wird in Amazon DynamoDB zusammen mit der Anfrage des Benutzers, dem Zeitstempel, einer eindeutigen Kennung und anderen willkürlichen Kennungen für das Element, wie z. B. der Fragekategorie, gespeichert. Durch das Speichern der Frage und Antwort als separate Elemente kann die AWS Lambda-Funktion den Konversationsverlauf eines Benutzers basierend auf dem Zeitpunkt, zu dem Fragen gestellt wurden, einfach neu erstellen.
   • Schließlich wird die Antwort über eine HTTPS-Anfrage über die REST-API-Integrationsantwort von Amazon API Gateway an den Benutzer zurückgesendet.

Die folgenden Schritte beschreiben die AWS Lambda-Funktionen und ihren Ablauf durch den Prozess:

1. Überprüfen und löschen Sie alle PII/sensiblen Informationen
2. LangChain QA-Abrufkette
   • Suchen und rufen Sie relevante Informationen ab
3. Context Stuffing und Prompt Engineering
4. Schlussfolgerung mit LLM
5. Antwort zurücksenden und speichern

Anwendungsfälle

Es gibt viele geschäftliche Anwendungsfälle, in denen Kunden diesen Workflow nutzen können. Im folgenden Abschnitt wird erläutert, wie der Workflow in verschiedenen Branchen und Branchen eingesetzt werden kann.

Mitarbeiterunterstützung

Eine gut konzipierte Unternehmensschulung kann die Mitarbeiterzufriedenheit steigern und den Zeitaufwand für die Einarbeitung neuer Mitarbeiter verkürzen. Da Unternehmen wachsen und die Komplexität zunimmt, fällt es den Mitarbeitern schwer, die vielen Quellen interner Dokumente zu verstehen. Zu den internen Dokumenten in diesem Zusammenhang gehören Unternehmensrichtlinien, Richtlinien und Standardarbeitsanweisungen. In diesem Szenario hat ein Mitarbeiter eine Frage dazu, wie er vorgehen und ein internes Issue-Ticketing-Ticket bearbeiten soll. Der Mitarbeiter kann auf den Konversationsbot mit generativer künstlicher Intelligenz (KI) zugreifen und ihn nutzen, um die nächsten Schritte für ein bestimmtes Ticket anzufragen und auszuführen.

Spezifischer Anwendungsfall: Automatisieren Sie die Problemlösung für Mitarbeiter basierend auf Unternehmensrichtlinien.

Die folgenden Schritte beschreiben die AWS Lambda-Funktionen und ihren Ablauf durch den Prozess:

1. LangChain-Agent zur Identifizierung der Absicht
2. Senden Sie eine Benachrichtigung basierend auf der Anfrage des Mitarbeiters
3. Ticketstatus ändern

In diesem Architekturdiagramm können Unternehmensschulungsvideos über Amazon Transcribe aufgenommen werden, um ein Protokoll dieser Videoskripte zu erfassen. Darüber hinaus können Unternehmensschulungsinhalte, die in verschiedenen Quellen (z. B. Confluence, Microsoft SharePoint, Google Drive, Jira usw.) gespeichert sind, zur Erstellung von Indizes über Amazon Kendra-Konnektoren verwendet werden. Lesen Sie diesen Artikel, um mehr über die Sammlung nativer Konnektoren zu erfahren, die Sie in Amazon Kendra als Quellpunkt verwenden können. Der Amazon Kendra-Crawler ist dann in der Lage, sowohl die Videoskripte für die Unternehmensschulung als auch die in diesen anderen Quellen gespeicherte Dokumentation zu verwenden, um den Konversationsbot bei der Beantwortung spezifischer Fragen zu den Schulungsrichtlinien des Unternehmens zu unterstützen. Der LangChain-Agent überprüft Berechtigungen, ändert den Ticketstatus und benachrichtigt die richtigen Personen mithilfe des Amazon Simple Notification Service (Amazon SNS).

Kundensupport-Teams

Die schnelle Lösung von Kundenanfragen verbessert das Kundenerlebnis und fördert die Markentreue. Ein treuer Kundenstamm hilft, den Umsatz zu steigern, was sich positiv auf das Endergebnis auswirkt und die Kundenbindung erhöht. Kundensupportteams investieren viel Energie in die Durchsicht zahlreicher interner Dokumente und Software für das Kundenbeziehungsmanagement, um Kundenanfragen zu Produkten und Dienstleistungen zu beantworten. Zu den internen Dokumenten in diesem Zusammenhang können allgemeine Skripte für Kundensupportanrufe, Playbooks, Eskalationsrichtlinien und Geschäftsinformationen gehören. Der generative KI-Konversationsbot hilft bei der Kostenoptimierung, da er Anfragen im Auftrag des Kundensupportteams bearbeitet.

Spezifischer Anwendungsfall: Bearbeitung einer Ölwechselanfrage basierend auf der Servicehistorie und dem erworbenen Kundendienstplan.

In diesem Architekturdiagramm wird der Kunde entweder zum generativen KI-Konversationsbot oder zum Amazon Connect Contact Center weitergeleitet. Diese Entscheidung kann auf dem Umfang des benötigten Supports oder der Verfügbarkeit von Kundendienstmitarbeitern basieren. Der LangChain-Agent identifiziert die Absicht des Kunden und überprüft die Identität. Der LangChain-Agent prüft außerdem den Serviceverlauf und den erworbenen Supportplan.

Die folgenden Schritte beschreiben die AWS Lambda-Funktionen und ihren Ablauf durch den Prozess:

1. Der LangChain-Agent identifiziert die Absicht
2. Kundeninformationen abrufen
3. Überprüfen Sie den Kundendienstverlauf und die Garantieinformationen
4. Vereinbaren Sie einen Termin, stellen Sie weitere Informationen bereit oder leiten Sie den Kontakt zum Contact Center weiter
5. E-Mail-Bestätigung senden

Amazon Connect wird zum Sammeln der Sprach- und Chat-Protokolle verwendet, und Amazon Comprehend wird verwendet, um personenbezogene Daten (PII) aus diesen Protokollen zu entfernen. Der Amazon Kendra-Crawler kann dann die redigierten Sprach- und Chat-Protokolle, Kundenanrufskripte und Kundendienst-Supportplan-Richtlinien verwenden, um den Index zu erstellen. Sobald eine Entscheidung getroffen wurde, entscheidet der generative KI-Konversationsbot, ob er einen Termin vereinbart, weitere Informationen bereitstellt oder den Kunden zur weiteren Unterstützung an das Contact Center weiterleitet. Zur Kostenoptimierung kann der LangChain-Agent auch Antworten mit weniger Token und einem kostengünstigeren großen Sprachmodell für Kundenanfragen mit niedrigerer Priorität generieren.

Finanzdienstleistungen

Finanzdienstleistungsunternehmen sind auf die rechtzeitige Nutzung von Informationen angewiesen, um wettbewerbsfähig zu bleiben und Finanzvorschriften einzuhalten. Mithilfe eines generativen KI-Konversationsbots können Finanzanalysten und Berater auf gesprächige Weise mit Textinformationen interagieren und so den Zeit- und Arbeitsaufwand für fundiertere Entscheidungen reduzieren. Außerhalb der Investitions- und Marktforschung kann ein generativer KI-Konversationsbot auch die menschlichen Fähigkeiten erweitern, indem er Aufgaben übernimmt, die traditionell mehr menschlichen Aufwand und Zeit erfordern würden. Beispielsweise kann ein auf Privatkredite spezialisiertes Finanzinstitut die Bearbeitungsgeschwindigkeit von Krediten erhöhen und gleichzeitig für eine bessere Transparenz für die Kunden sorgen.

Spezifischer Anwendungsfall: Nutzen Sie die Finanzhistorie des Kunden und frühere Kreditanträge, um eine Kreditentscheidung zu treffen und zu erläutern.

Die folgenden Schritte beschreiben die AWS Lambda-Funktionen und ihren Ablauf durch den Prozess:

1. LangChain-Agent zur Identifizierung der Absicht
2. Überprüfen Sie die Finanz- und Bonitätshistorie des Kunden
3. Überprüfen Sie das interne Kundenbeziehungsmanagementsystem
4. Überprüfen Sie die Standardkreditrichtlinien und schlagen Sie dem Mitarbeiter eine Entscheidung vor, die das Darlehen qualifiziert
5. Benachrichtigung an den Kunden senden

Diese Architektur umfasst in einer Datenbank gespeicherte Kundenfinanzdaten und in einem Customer-Relationship-Management-Tool (CRM) gespeicherte Daten. Diese Datenpunkte werden verwendet, um eine Entscheidung basierend auf den internen Kreditrichtlinien des Unternehmens zu treffen. Der Kunde hat die Möglichkeit, klärende Fragen zu stellen, um zu verstehen, für welche Kredite er in Frage kommt und welche Kreditbedingungen er akzeptieren kann. Wenn der generative KI-Konversationsbot einen Kreditantrag nicht genehmigen kann, kann der Benutzer dennoch Fragen zur Verbesserung der Kreditwürdigkeit oder zu alternativen Finanzierungsmöglichkeiten stellen.

Regierung

Konversations-Bots mit generativer KI können Regierungsinstitutionen von großem Nutzen sein, indem sie die Kommunikation, Effizienz und Entscheidungsprozesse beschleunigen. Generative KI-Konversationsbots können auch sofortigen Zugriff auf interne Wissensdatenbanken ermöglichen, um Regierungsmitarbeitern dabei zu helfen, schnell Informationen, Richtlinien und Verfahren (z. B. Zulassungskriterien, Antragsprozesse sowie Bürgerdienste und -unterstützung) abzurufen. Eine Lösung ist ein interaktives System, das es Steuerzahlern und Steuerfachleuten ermöglicht, steuerrelevante Details und Vorteile einfach zu finden. Es kann verwendet werden, um Benutzerfragen zu verstehen, Steuerdokumente zusammenzufassen und durch interaktive Gespräche klare Antworten zu geben.

Benutzer können Fragen stellen wie:

• Wie funktioniert die Erbschaftssteuer und welche Steuerschwellen gibt es?
• Können Sie das Konzept der Einkommensteuer erklären?
• Welche steuerlichen Auswirkungen gibt es beim Verkauf einer Zweitimmobilie?

Darüber hinaus können Benutzer bequem Steuerformulare an ein System senden, das dabei helfen kann, die Richtigkeit der bereitgestellten Informationen zu überprüfen.

Diese Architektur veranschaulicht, wie Benutzer ausgefüllte Steuerformulare in die Lösung hochladen und diese zur interaktiven Überprüfung und Anleitung zum korrekten Ausfüllen der erforderlichen Informationen nutzen können.

Gesundheitspflege

Unternehmen im Gesundheitswesen haben die Möglichkeit, die Nutzung großer Mengen interner Patienteninformationen zu automatisieren und gleichzeitig häufige Fragen zu Anwendungsfällen wie Behandlungsoptionen, Versicherungsansprüchen, klinischen Studien und pharmazeutischer Forschung zu beantworten. Der Einsatz eines generativen KI-Konversationsbots ermöglicht die schnelle und genaue Generierung von Antworten zu Gesundheitsinformationen aus der bereitgestellten Wissensdatenbank. Einige medizinische Fachkräfte verbringen beispielsweise viel Zeit damit, Formulare auszufüllen, um Versicherungsansprüche einzureichen.

In ähnlichen Situationen müssen Administratoren und Forscher klinischer Studien Informationen über Behandlungsoptionen finden. Ein generativer KI-Konversationsbot kann die vorgefertigten Konnektoren in Amazon Kendra nutzen, um die relevantesten Informationen aus den Millionen von Dokumenten abzurufen, die im Rahmen laufender Forschungen von Pharmaunternehmen und Universitäten veröffentlicht wurden.

Spezifischer Anwendungsfall: Reduzieren Sie Fehler und den Zeitaufwand beim Ausfüllen und Versenden von Versicherungsformularen.

In diesem Architekturdiagramm kann ein medizinisches Fachpersonal mithilfe des generativen KI-Konversationsbots herausfinden, welche Formulare für die Versicherung ausgefüllt werden müssen. Der LangChain-Agent ist dann in der Lage, die richtigen Formulare abzurufen und die erforderlichen Informationen für einen Patienten hinzuzufügen sowie Antworten für beschreibende Teile der Formulare auf der Grundlage von Versicherungspolicen und früheren Formularen zu geben. Das medizinische Fachpersonal kann die vom LLM gegebenen Antworten bearbeiten, bevor es das Formular genehmigt und an das Versicherungsportal übermittelt.

Die folgenden Schritte beschreiben die AWS Lambda-Funktionen und ihren Ablauf durch den Prozess:

1. LangChain-Agent zur Identifizierung der Absicht
2. Rufen Sie die benötigten Patienteninformationen ab
3. Füllen Sie das Versicherungsformular anhand der Patienteninformationen und der Formularrichtlinie aus
4. Senden Sie das Formular nach der Benutzerfreigabe an das Versicherungsportal

AWS HealthLake wird zum sicheren Speichern der Gesundheitsdaten, einschließlich früherer Versicherungsformulare und Patienteninformationen, verwendet, und Amazon Comprehend wird verwendet, um personenbezogene Daten (PII) aus den vorherigen Versicherungsformularen zu entfernen. Der Amazon Kendra-Crawler kann dann die Versicherungsformulare und -richtlinien verwenden, um den Index zu erstellen. Sobald die Formulare von der generativen KI ausgefüllt wurden, können die vom Arzt überprüften Formulare an das Versicherungsportal gesendet werden.

Geschätzte Kosten

Die Kosten für die Bereitstellung der Basislösung als Proof-of-Concept sind in der folgenden Tabelle aufgeführt. Da die Basislösung als Proof-of-Concept gilt, wurde die Amazon Kendra Developer Edition als kostengünstige Option verwendet, da die Arbeitslast nicht in der Produktion liegen würde. Unsere Annahme für die Amazon Kendra Developer Edition lag bei 730 aktiven Stunden pro Monat.

Für Amazon SageMaker gingen wir davon aus, dass der Kunde die ml.g4dn.2xlarge-Instanz für Echtzeit-Inferenz mit einem einzigen Inferenz-Endpunkt pro Instanz verwenden würde. Weitere Informationen zu den Preisen von Amazon SageMaker und den verfügbaren Inferenz-Instance-Typen finden Sie hier.

* Amazon Cognito verfügt über ein kostenloses Kontingent von 50.000 monatlich aktiven Benutzern, die Cognito-Benutzerpools verwenden, oder 50 monatlich aktiven Benutzern, die SAML 2.0-Identitätsanbieter verwenden

Aufräumen

Um Kosten zu sparen, löschen Sie alle Ressourcen, die Sie im Rahmen des Tutorials bereitgestellt haben. Sie können alle SageMaker-Endpunkte löschen, die Sie möglicherweise über die SageMaker-Konsole erstellt haben. Denken Sie daran, dass durch das Löschen eines Amazon Kendra-Index nicht die Originaldokumente aus Ihrem Speicher entfernt werden.

Abschluss

In diesem Beitrag haben wir Ihnen gezeigt, wie Sie den Zugriff auf interne Informationen vereinfachen, indem Sie in Echtzeit Zusammenfassungen aus mehreren Repositories erstellen. Nach den jüngsten Entwicklungen kommerziell verfügbarer LLMs sind die Möglichkeiten der generativen KI deutlicher geworden. In diesem Beitrag haben wir Möglichkeiten aufgezeigt, AWS-Services zu nutzen, um einen serverlosen Chatbot zu erstellen, der generative KI zur Beantwortung von Fragen nutzt. Dieser Ansatz umfasst eine Authentifizierungsschicht und die PII-Erkennung von Amazon Comprehend, um alle vertraulichen Informationen herauszufiltern, die in der Abfrage des Benutzers bereitgestellt werden. Ganz gleich, ob es sich um Mitarbeiter im Gesundheitswesen handelt, die die Feinheiten der Einreichung von Versicherungsansprüchen verstehen, oder um die Personalabteilung, die bestimmte unternehmensweite Vorschriften versteht, es gibt zahlreiche Branchen und Branchen, die von diesem Ansatz profitieren können. Ein Amazon SageMaker JumpStart-Grundmodell ist die Engine hinter dem Chatbot, während ein Context-Stuffing-Ansatz unter Verwendung der RAG-Technik verwendet wird, um sicherzustellen, dass die Antworten genauer auf interne Dokumente verweisen.

Weitere Informationen zum Arbeiten mit generativer KI auf AWS finden Sie unter Ankündigung neuer Tools für das Erstellen mit generativer KI auf AWS. Ausführlichere Anleitungen zur Verwendung der RAG-Technik mit AWS-Services finden Sie unter Schnelles Erstellen hochpräziser generativer KI-Anwendungen auf Unternehmensdaten mithilfe von Amazon Kendra, LangChain und großen Sprachmodellen. Da der Ansatz in diesem Blog LLM-agnostisch ist, kann jedes LLM für die Schlussfolgerung verwendet werden. In unserem nächsten Beitrag werden wir Möglichkeiten zur Implementierung dieser Lösung mit Amazon Bedrock und Amazon Titan LLM skizzieren.

Über die Autoren

Abhishek Maligehalli Shivalingaiah ist Senior AI Services Solution Architect bei AWS. Seine Leidenschaft gilt der Entwicklung von Anwendungen mit generativer KI, Amazon Kendra und NLP. Er verfügt über rund 10 Jahre Erfahrung im Aufbau von Daten- und KI-Lösungen, um Mehrwert für Kunden und Unternehmen zu schaffen. Zum Spaß hat er sogar einen (persönlichen) Chatbot erstellt, um Fragen zu seiner Karriere und seinem beruflichen Werdegang zu beantworten. Außerhalb der Arbeit macht er gerne Porträts von Familie und Freunden und liebt es, Kunstwerke zu schaffen.

Medha Aiyah ist Associate Solutions Architect bei AWS mit Sitz in Austin, Texas. Sie schloss kürzlich im Dezember 2022 ihren Master of Science in Informatik mit Spezialisierung auf Intelligente Systeme mit Schwerpunkt auf KI/ML an der University of Texas in Dallas ab. Sie ist daran interessiert, mehr über KI/ML und die Nutzung von AWS-Services zu erfahren, um Lösungen zu entdecken, von denen Kunden profitieren können.

Hugo Tse ist Associate Solutions Architect bei AWS mit Sitz in Seattle, Washington. Er hat einen Master-Abschluss in Informationstechnologie von der Arizona State University und einen Bachelor-Abschluss in Wirtschaftswissenschaften von der University of Chicago. Er ist Mitglied der Information Systems Audit and Control Association (ISACA) und des International Information System Security Certification Consortium (ISC)2. Es macht ihm Spaß, Kunden dabei zu helfen, von der Technologie zu profitieren.

Ayman Ishimwe ist Associate Solutions Architect bei AWS mit Sitz in Seattle, Washington. Er hat einen Master-Abschluss in Software Engineering und IT von der Oakland University. Er verfügt über Erfahrung in der Softwareentwicklung, insbesondere im Aufbau von Microservices für verteilte Webanwendungen. Es ist ihm eine Leidenschaft, Kunden beim Aufbau robuster und skalierbarer Lösungen auf AWS-Cloud-Services nach Best Practices zu unterstützen.

Shervin Suresh ist Associate Solutions Architect bei AWS mit Sitz in Austin, Texas. Er hat einen Master in Software Engineering mit Schwerpunkt Cloud Computing und Virtualisierung sowie einen Bachelor in Computer Engineering von der San Jose State University. Seine Leidenschaft gilt der Nutzung von Technologie, um das Leben von Menschen mit unterschiedlichem Hintergrund zu verbessern.