Ketahui cara membina dan menggunakan ejen LLM yang menggunakan alat menggunakan Model Yayasan AWS SageMaker JumpStart

Ejen model bahasa besar (LLM) ialah program yang memanjangkan keupayaan LLM kendiri dengan 1) akses kepada alatan luaran (API, fungsi, webhooks, pemalam dan sebagainya), dan 2) keupayaan untuk merancang dan melaksanakan tugas dalam diri sendiri. -fesyen terarah. Selalunya, LLM perlu berinteraksi dengan perisian, pangkalan data atau API lain untuk menyelesaikan tugas yang rumit. Contohnya, chatbot pentadbiran yang menjadualkan mesyuarat memerlukan akses kepada kalendar dan e-mel pekerja. Dengan akses kepada alatan, ejen LLM boleh menjadi lebih berkuasa—dengan kos kerumitan tambahan.

Dalam siaran ini, kami memperkenalkan ejen LLM dan menunjukkan cara membina dan menggunakan ejen LLM e-dagang menggunakan Amazon SageMaker JumpStart dan AWS Lambda. Ejen akan menggunakan alat untuk menyediakan keupayaan baharu, seperti menjawab soalan tentang pulangan (“Adakah pulangan saya rtn001 diproses?”) dan menyediakan kemas kini tentang pesanan (“Bolehkah anda beritahu saya jika pesanan 123456 telah dihantar?"). Keupayaan baharu ini memerlukan LLM untuk mengambil data daripada berbilang sumber data (pesanan, pulangan) dan melaksanakan penjanaan tambahan (RAG).

Untuk memberi kuasa kepada ejen LLM, kami menggunakan a Flan-UL2 model digunakan sebagai titik akhir SageMaker dan menggunakan alat mendapatkan data yang dibina dengan AWS Lambda. Ejen itu kemudiannya boleh disepadukan dengan Amazon Lex dan digunakan sebagai chatbot di dalam tapak web atau AWS Connect. Kami mengakhiri siaran dengan item yang perlu dipertimbangkan sebelum menggunakan ejen LLM ke pengeluaran. Untuk pengalaman terurus sepenuhnya untuk membina ejen LLM, AWS juga menyediakan ejen untuk ciri Amazon Bedrock (dalam pratonton).

Gambaran keseluruhan ringkas seni bina ejen LLM

Ejen LLM ialah program yang menggunakan LLM untuk menentukan masa dan cara menggunakan alatan yang diperlukan untuk menyelesaikan tugas yang rumit. Dengan alatan dan kebolehan perancangan tugas, ejen LLM boleh berinteraksi dengan sistem luar dan mengatasi batasan tradisional LLM, seperti pemotongan pengetahuan, halusinasi dan pengiraan yang tidak tepat. Alat boleh mengambil pelbagai bentuk, seperti panggilan API, fungsi Python atau pemalam berasaskan webhook. Sebagai contoh, LLM boleh menggunakan "pemalam dapatkan semula" untuk mengambil konteks yang berkaitan dan melaksanakan RAG.

Jadi apakah maksud LLM untuk memilih alatan dan merancang tugas? Terdapat banyak pendekatan (seperti Bertindak, MRKL, Pembentuk alat, BerpelukGPT, dan Ejen Transformers) untuk menggunakan LLM dengan alatan, dan kemajuan berlaku dengan pantas. Tetapi satu cara mudah ialah dengan menggesa LLM dengan senarai alat dan minta ia menentukan 1) jika alat diperlukan untuk memenuhi pertanyaan pengguna, dan jika ya, 2) pilih alat yang sesuai. Gesaan sebegitu lazimnya kelihatan seperti contoh berikut dan mungkin termasuk contoh beberapa syot untuk meningkatkan kebolehpercayaan LLM dalam memilih alat yang betul.

''' Tugas anda ialah memilih alat untuk menjawab soalan pengguna. Anda mempunyai akses kepada alatan berikut. carian: cari jawapan dalam susunan Soalan Lazim: pesanan item noop: tiada alat diperlukan {beberapa contoh gambar} Soalan: {input} Alat: '''

Pendekatan yang lebih kompleks melibatkan penggunaan LLM khusus yang boleh menyahkod terus "panggilan API" atau "penggunaan alat," seperti GorillaLLM. LLM yang diperhalusi sedemikian dilatih pada set data spesifikasi API untuk mengecam dan meramalkan panggilan API berdasarkan arahan. Selalunya, LLM ini memerlukan beberapa metadata tentang alat yang tersedia (penerangan, yaml atau skema JSON untuk parameter inputnya) untuk mengeluarkan seruan alat. Pendekatan ini diambil oleh ejen untuk Amazon Bedrock dan Panggilan fungsi OpenAI. Ambil perhatian bahawa LLM secara amnya perlu cukup besar dan kompleks untuk menunjukkan keupayaan pemilihan alat.

Dengan mengandaikan perancangan tugas dan mekanisme pemilihan alat dipilih, program ejen LLM biasa berfungsi dalam urutan berikut:

1. Permintaan pengguna – Program ini mengambil input pengguna seperti “Di mana pesanan saya 123456?” daripada beberapa aplikasi pelanggan.
2. Rancang tindakan seterusnya dan pilih alat untuk digunakan – Seterusnya, program menggunakan gesaan agar LLM menjana tindakan seterusnya, contohnya, “Cari jadual pesanan menggunakan OrdersAPI.” LLM digesa untuk mencadangkan nama alat seperti OrdersAPI daripada senarai pratakrif alatan tersedia dan penerangannya. Sebagai alternatif, LLM boleh diarahkan untuk terus menjana panggilan API dengan parameter input seperti OrdersAPI(12345).
   1. Ambil perhatian bahawa tindakan seterusnya mungkin melibatkan penggunaan alat atau API. Jika tidak, LLM akan bertindak balas kepada input pengguna tanpa memasukkan konteks tambahan daripada alatan atau hanya mengembalikan respons dalam tin seperti, "Saya tidak dapat menjawab soalan ini."
3. Menghuraikan permintaan alat – Seterusnya, kita perlu menghuraikan dan mengesahkan ramalan alat/tindakan yang dicadangkan oleh LLM. Pengesahan diperlukan untuk memastikan nama alat, API dan parameter permintaan tidak berhalusinasi dan alat itu digunakan dengan betul mengikut spesifikasi. Penghuraian ini mungkin memerlukan panggilan LLM yang berasingan.
4. Alat panggil – Setelah nama alat dan parameter yang sah dipastikan, kami menggunakan alat tersebut. Ini boleh menjadi permintaan HTTP, panggilan fungsi dan sebagainya.
5. Menghuraikan output – Respons daripada alat mungkin memerlukan pemprosesan tambahan. Sebagai contoh, panggilan API mungkin menghasilkan respons JSON yang panjang, di mana hanya subset medan yang menarik minat LLM. Mengekstrak maklumat dalam format yang bersih dan standard boleh membantu LLM mentafsir keputusan dengan lebih dipercayai.
6. Mentafsir output – Memandangkan output daripada alat, LLM digesa sekali lagi untuk memahaminya dan memutuskan sama ada ia boleh menjana jawapan akhir kembali kepada pengguna atau sama ada tindakan tambahan diperlukan.
7. Tamatkan atau teruskan ke langkah 2 – Sama ada mengembalikan jawapan akhir atau jawapan lalai sekiranya berlaku ralat atau tamat masa.

Rangka kerja ejen yang berbeza melaksanakan aliran program sebelumnya secara berbeza. Sebagai contoh, Bertindak menggabungkan pemilihan alat dan penjanaan jawapan akhir menjadi satu gesaan, berbanding menggunakan gesaan berasingan untuk pemilihan alat dan penjanaan jawapan. Selain itu, logik ini boleh dijalankan dalam satu pas atau dijalankan dalam pernyataan sementara ("gelung ejen"), yang ditamatkan apabila jawapan akhir dijana, pengecualian dilemparkan atau tamat masa berlaku. Apa yang kekal adalah bahawa ejen menggunakan LLM sebagai bahagian tengah untuk mengatur perancangan dan permohonan alat sehingga tugas ditamatkan. Seterusnya, kami menunjukkan cara untuk melaksanakan gelung ejen mudah menggunakan perkhidmatan AWS.

Gambaran keseluruhan penyelesaian

Untuk catatan blog ini, kami melaksanakan ejen LLM sokongan e-dagang yang menyediakan dua fungsi yang dikuasakan oleh alatan:

• Kembalikan alat mendapatkan status – Jawab soalan tentang status pulangan seperti, “Apa yang berlaku dengan pulangan saya rtn001?”
• Alat mendapatkan semula status pesanan – Jejaki status pesanan seperti, “Apakah status pesanan saya 123456?”

Ejen menggunakan LLM dengan berkesan sebagai penghala pertanyaan. Diberi pertanyaan ("Apakah status pesanan 123456?”), pilih alat dapatkan semula yang sesuai untuk membuat pertanyaan merentas berbilang sumber data (iaitu, pemulangan dan pesanan). Kami mencapai penghalaan pertanyaan dengan meminta LLM memilih antara berbilang alatan mendapatkan semula, yang bertanggungjawab untuk berinteraksi dengan sumber data dan mengambil konteks. Ini memanjangkan corak RAG mudah, yang menganggap satu sumber data.

Kedua-dua alat mendapatkan semula adalah fungsi Lambda yang mengambil id (orderId atau returnId) sebagai input, mengambil objek JSON daripada sumber data dan menukar JSON menjadi rentetan perwakilan mesra manusia yang sesuai digunakan oleh LLM. Sumber data dalam senario dunia sebenar boleh menjadi pangkalan data NoSQL yang sangat berskala seperti DynamoDB, tetapi penyelesaian ini menggunakan Python mudah Dict dengan data sampel untuk tujuan demo.

Kefungsian tambahan boleh ditambah pada ejen dengan menambahkan Alat Pendapatan dan mengubah suai gesaan sewajarnya. Ejen ini boleh diuji perkhidmatan kendiri yang disepadukan dengan mana-mana UI melalui HTTP, yang boleh dilakukan dengan mudah dengan Amazon Lex.

Berikut ialah beberapa butiran tambahan tentang komponen utama:

1. Titik akhir inferens LLM – Teras program ejen ialah LLM. Kami akan menggunakan hab model asas SageMaker JumpStart untuk menggunakan dengan mudah Flan-UL2 model. SageMaker JumpStart memudahkan untuk menggunakan titik akhir inferens LLM kepada kejadian SageMaker khusus.
2. Ejen orkestra - Orkestra ejen mengatur interaksi antara LLM, alatan dan apl pelanggan. Untuk penyelesaian kami, kami menggunakan fungsi AWS Lambda untuk memacu aliran ini dan menggunakan yang berikut sebagai fungsi pembantu.
   • Perancang tugas (alat) - Perancang tugas menggunakan LLM untuk mencadangkan salah satu daripada 1) mengembalikan pertanyaan, 2) pertanyaan pesanan, atau 3) tiada alat. Kami menggunakan kejuruteraan segera sahaja dan Flan-UL2 model apa adanya tanpa penalaan halus.
   • Penghurai alat - Penghurai alat memastikan cadangan alat daripada perancang tugas adalah sah. Terutama, kami memastikan bahawa satu orderId atau returnId boleh dihuraikan. Jika tidak, kami membalas dengan mesej lalai.
   • penghantar alat - Penghantar alat memanggil alatan (fungsi Lambda) menggunakan parameter yang sah.
   • Penghurai keluaran – Penghurai output membersihkan dan mengekstrak item yang berkaitan daripada JSON ke dalam rentetan yang boleh dibaca manusia. Tugas ini dilakukan oleh setiap alat pengambilan dan juga dalam orkestra.
   • Jurubahasa output - Tanggungjawab jurubahasa output adalah untuk 1) mentafsir output daripada invokasi alat dan 2) menentukan sama ada permintaan pengguna boleh dipenuhi atau langkah tambahan diperlukan. Jika yang terakhir, respons akhir dijana secara berasingan dan dikembalikan kepada pengguna.

Sekarang, mari kita menyelami sedikit lebih dalam komponen utama: ejen orkestra, perancang tugas dan penghantar alat.

Ejen orkestra

Di bawah ialah versi singkatan gelung ejen dalam fungsi Lambda orkestra ejen. Gelung menggunakan fungsi pembantu seperti perancang_tugas atau tool_parser, untuk memodulatkan tugas. Gelung di sini direka bentuk untuk dijalankan paling banyak dua kali untuk mengelakkan LLM daripada tersekat dalam gelung yang tidak perlu panjang.

#.. imports ..
MAX_LOOP_COUNT = 2 # stop the agent loop after up to 2 iterations
# ... helper function definitions ...
def agent_handler(event):
    user_input = event["query"]
    print(f"user input: {user_input}") 
    
    final_generation = ""
    is_task_complete = False
    loop_count = 0 

    # start of agent loop
    while not is_task_complete and loop_count < MAX_LOOP_COUNT:
        tool_prediction = task_planner(user_input)
        print(f"tool_prediction: {tool_prediction}")  
        
        tool_name, tool_input, tool_output, error_msg = None, None, "", ""

        try:
            tool_name, tool_input = tool_parser(tool_prediction, user_input)
            print(f"tool name: {tool_name}") 
            print(f"tool input: {tool_input}") 
        except Exception as e:
            error_msg = str(e)
            print(f"tool parse error: {error_msg}")  
    
        if tool_name is not None: # if a valid tool is selected and parsed 
            raw_tool_output = tool_dispatch(tool_name, tool_input)
            tool_status, tool_output = output_parser(raw_tool_output)
            print(f"tool status: {tool_status}")  

            if tool_status == 200:
                is_task_complete, final_generation = output_interpreter(user_input, tool_output) 
            else:
                final_generation = tool_output
        else: # if no valid tool was selected and parsed, either return the default msg or error msg
            final_generation = DEFAULT_RESPONSES.NO_TOOL_FEEDBACK if error_msg == "" else error_msg
    
        loop_count += 1

    return {
        'statusCode': 200,
        'body': final_generation
    }

Perancang tugas (ramalan alat)

Ejen orkestra menggunakan perancang tugas untuk meramalkan alat perolehan semula berdasarkan input pengguna. Untuk ejen LLM kami, kami hanya akan menggunakan kejuruteraan segera dan beberapa gesaan untuk mengajar LLM tugas ini dalam konteks. Ejen yang lebih canggih boleh menggunakan LLM yang diperhalusi untuk ramalan alat, yang berada di luar skop siaran ini. Gesaan adalah seperti berikut:

tool_selection_prompt_template = """ Tugas anda ialah memilih alatan yang sesuai untuk memenuhi input pengguna. Jika tiada alat diperlukan, maka pilih "no_tool" Alat yang tersedia ialah: returns_inquiry: Pangkalan data maklumat tentang status pemulangan tertentu, sama ada belum selesai, diproses, dll. order_inquiry: Maklumat tentang status pesanan tertentu, seperti status penghantaran, produk, jumlah, dll. no_tool: Tiada alat diperlukan untuk menjawab input pengguna. Anda boleh mencadangkan berbilang alatan, dipisahkan dengan koma. Contoh: pengguna: " Apakah waktu perniagaan anda?" alat: no_tool pengguna: "Adakah pesanan 12345 dihantar?" alat: order_inquiry pengguna: "Adakah pemulangan ret812 telah diproses?" alat: returns_inquiry pengguna: "Berapa hari saya ada sehingga memulangkan pesanan?" alat: pengguna returns_inquiry: "Berapakah jumlah pesanan untuk pesanan 38745?" alat: order_inquiry pengguna: "Bolehkah saya mengembalikan pesanan saya 38756 berdasarkan dasar kedai?" alat: order_inquiry pengguna: "Hai" alat: no_tool pengguna: "Adakah anda seorang AI ?" alat: no_tool pengguna: "Bagaimana cuaca?" alat: no_tool pengguna: "Apakah status bayaran balik pesanan 12347?" alat: order_inquiry pengguna: "Apakah status bayaran balik ret172?" alat: returns_inquiry input pengguna : {} alat: """

Penghantar alat

Mekanisme penghantaran alat berfungsi melalui jika tidak logik untuk memanggil fungsi Lambda yang sesuai bergantung pada nama alat. Yang berikut ialah alat_penghantaran pelaksanaan fungsi pembantu. Ia digunakan di dalam ejen gelung dan mengembalikan respons mentah daripada fungsi Lambda alat, yang kemudiannya dibersihkan oleh an output_parser fungsi.

def tool_dispatch(tool_name, tool_input):
    #...
     
    tool_response = None 

    if tool_name == "returns_inquiry":
        tool_response = lambda_client.invoke(
            FunctionName=RETURNS_DB_TOOL_LAMBDA,
            InvocationType="RequestResponse",
            Payload=json.dumps({
              "returnId": tool_input  
            })
        )
    elif tool_name == "order_inquiry":
        tool_response = lambda_client.invoke(
            FunctionName=ORDERS_DB_TOOL_LAMBDA,
            InvocationType="RequestResponse",
            Payload=json.dumps({
                "orderId": tool_input
            })
        )
    else:
        raise ValueError("Invalid tool invocation")
        
    return tool_response

Sebarkan penyelesaian

Prasyarat penting - Untuk memulakan penggunaan, anda perlu memenuhi prasyarat berikut:

• Akses kepada Konsol Pengurusan AWS melalui pengguna yang boleh melancarkan tindanan AWS CloudFormation
• Kebiasaan dengan menavigasi AWS Lambda dan Amazon Lex konsol
• Flan-UL2 memerlukan satu ml.g5.12xbesar untuk penempatan, yang mungkin memerlukan peningkatan had sumber melalui tiket sokongan. Dalam contoh kami, kami menggunakan kami-timur-1 sebagai Wilayah, jadi sila pastikan untuk meningkatkan kuota perkhidmatan (jika perlu) dalam kami-timur-1.

Sebarkan menggunakan CloudFormation - Anda boleh menggunakan penyelesaian kepada kami-timur-1 dengan klik butang di bawah:

Menggunakan penyelesaian akan mengambil masa kira-kira 20 minit dan akan mewujudkan a LLMAgentStack timbunan, yang:

• menggunakan titik akhir SageMaker menggunakan Flan-UL2 model dari SageMaker JumpStart;
• menggunakan tiga fungsi Lambda: LLMAgentOrchestrator, LLMAgentReturnsTool, LLMAgentOrdersTool; dan
• mengerahkan an AWS Lex bot yang boleh digunakan untuk menguji ejen: Sagemaker-Jumpstart-Flan-LLM-Agent-Fallback-Bot.

Uji penyelesaiannya

Tindanan menggunakan bot Amazon Lex dengan nama itu Sagemaker-Jumpstart-Flan-LLM-Agent-Fallback-Bot. Bot boleh digunakan untuk menguji ejen dari hujung ke hujung. Berikut ialah panduan komprehensif tambahan untuk menguji bot AWS Amazon Lex dengan penyepaduan Lambda dan cara penyepaduan berfungsi pada tahap tinggi. Tetapi secara ringkasnya, bot Amazon Lex ialah sumber yang menyediakan UI pantas untuk bersembang dengan ejen LLM yang dijalankan di dalam fungsi Lambda yang kami bina (LLMAgentOrchestrator).

Contoh kes ujian yang perlu dipertimbangkan adalah seperti berikut:

• Pertanyaan pesanan yang sah (contohnya, "Item yang manakah dipesan untuk 123456?”)
  • Pesanan "123456" ialah pesanan yang sah, jadi kita harus mengharapkan jawapan yang munasabah (cth. "Sabun Tangan Herba")
• Siasatan pemulangan yang sah untuk pulangan (contohnya, “Bilakah saya kembali rtn003 telah di proses?")
  • Kita harus mengharapkan jawapan yang munasabah tentang status pulangan.
• Tidak berkaitan dengan pemulangan atau pesanan (contohnya, "Bagaimanakah keadaan cuaca di Scotland sekarang?")
  • Soalan yang tidak berkaitan dengan pemulangan atau pesanan, oleh itu jawapan lalai harus dikembalikan ("Maaf, saya tidak dapat menjawab soalan itu.")
• Pertanyaan pesanan tidak sah (contohnya, "Item yang manakah dipesan untuk 383833?”)
  • Id 383832 tidak wujud dalam set data pesanan dan oleh itu kita seharusnya gagal dengan baik (contohnya, "Pesanan tidak ditemui. Sila semak ID Pesanan anda.")
• Siasatan pemulangan tidak sah (contohnya, “Bilakah saya kembali rtn123 telah di proses?")
  • Begitu juga, id rtn123 tidak wujud dalam set data pulangan, dan oleh itu harus gagal dengan baik.
• Siasatan pulangan yang tidak relevan (contohnya, “Apakah kesan pulangan rtn001 tentang keamanan dunia?”)
  • Soalan ini, walaupun nampaknya berkaitan dengan perintah yang sah, adalah tidak relevan. LLM digunakan untuk menapis soalan dengan konteks yang tidak berkaitan.

Untuk menjalankan ujian ini sendiri, berikut ialah arahannya.

1. Pada konsol Amazon Lex (AWS Console > Amazon Lex), navigasi ke bot bertajuk Sagemaker-Jumpstart-Flan-LLM-Agent-Fallback-Bot. Bot ini telah pun dikonfigurasikan untuk memanggil LLMAgentOrchestrator Lambda berfungsi pada bila-bila masa FallbackIntent dicetuskan.
2. Dalam anak tetingkap navigasi, pilih niat.
   
3. pilih bina di sudut kanan atas
   
4. 4. Tunggu proses binaan selesai. Apabila ia selesai, anda mendapat mesej kejayaan, seperti yang ditunjukkan dalam tangkapan skrin berikut.
   
5. Uji bot dengan memasukkan kes ujian.
   

Bersihkan

Untuk mengelakkan caj tambahan, padamkan sumber yang dibuat oleh penyelesaian kami dengan mengikut langkah berikut:

• Pada AWS CloudFormation konsol, pilih timbunan yang dinamakan LLMAgentStack (atau nama tersuai yang anda pilih).
• pilih Padam
• Semak bahawa tindanan dipadamkan daripada konsol CloudFormation.

Penting: semak semula bahawa tindanan berjaya dipadamkan dengan memastikan bahawa Flan-UL2 titik akhir inferens dialih keluar.

• Untuk menyemak, pergi ke Konsol AWS > Sagemaker > Titik tamat > Inferens muka surat.
• Halaman harus menyenaraikan semua titik akhir yang aktif.
• Pastikan sm-jumpstart-flan-bot-titik tamat tidak wujud seperti tangkapan skrin di bawah.

Pertimbangan untuk pengeluaran

Menggunakan ejen LLM ke pengeluaran memerlukan langkah tambahan untuk memastikan kebolehpercayaan, prestasi dan kebolehselenggaraan. Berikut ialah beberapa pertimbangan sebelum menggunakan ejen dalam pengeluaran:

• Memilih model LLM untuk menggerakkan gelung ejen: Untuk penyelesaian yang dibincangkan dalam siaran ini, kami menggunakan a Flan-UL2 model tanpa penalaan halus untuk melaksanakan perancangan tugasan atau pemilihan alat. Dalam amalan, menggunakan LLM yang diperhalusi kepada alat output terus atau permintaan API boleh meningkatkan kebolehpercayaan dan prestasi, serta memudahkan pembangunan. Kami boleh memperhalusi LLM pada tugas pemilihan alat atau menggunakan model yang secara langsung menyahkod token alat seperti Toolformer.
  • Menggunakan model yang diperhalusi juga boleh memudahkan menambah, mengalih keluar dan mengemas kini alatan yang tersedia kepada ejen. Dengan pendekatan berasaskan segera sahaja, alat pengemaskinian memerlukan pengubahsuaian setiap gesaan dalam pengatur ejen, seperti untuk perancangan tugas, penghuraian alat dan penghantaran alat. Ini boleh menyusahkan dan prestasi mungkin merosot jika terlalu banyak alatan disediakan dalam konteks LLM.
• Kebolehpercayaan dan prestasi: Ejen LLM boleh menjadi tidak boleh dipercayai, terutamanya untuk tugas rumit yang tidak dapat diselesaikan dalam beberapa gelung. Menambah pengesahan output, cuba semula, menstrukturkan output daripada LLM ke dalam JSON atau yaml dan menguatkuasakan tamat masa untuk menyediakan penetasan melarikan diri untuk LLM yang tersekat dalam gelung boleh meningkatkan kebolehpercayaan.

Kesimpulan

Dalam siaran ini, kami meneroka cara membina ejen LLM yang boleh menggunakan berbilang alatan dari bawah, menggunakan kejuruteraan segera peringkat rendah, fungsi AWS Lambda dan SageMaker JumpStart sebagai blok binaan. Kami membincangkan seni bina ejen LLM dan gelung ejen secara terperinci. Konsep dan seni bina penyelesaian yang diperkenalkan dalam catatan blog ini mungkin sesuai untuk ejen yang menggunakan sebilangan kecil set alat yang telah ditetapkan. Kami juga membincangkan beberapa strategi untuk menggunakan ejen dalam pengeluaran. Ejen untuk Bedrock, yang dalam pratonton, juga menyediakan pengalaman terurus untuk ejen binaan dengan sokongan asli untuk permohonan alat agenik.

Mengenai Pengarang

John Hwang ialah Arkitek AI Generatif di AWS dengan tumpuan khusus pada aplikasi Model Bahasa Besar (LLM), pangkalan data vektor dan strategi produk AI generatif. Dia bersemangat untuk membantu syarikat dengan pembangunan produk AI/ML, dan masa depan ejen LLM dan pembantu juruterbang. Sebelum menyertai AWS, beliau adalah Pengurus Produk di Alexa, di mana beliau membantu membawa AI perbualan ke peranti mudah alih, serta pedagang derivatif di Morgan Stanley. Beliau memegang BS dalam sains komputer dari Universiti Stanford.