NVIDIA เปิดตัวระบบคุม AI Agent ไม่ให้ออกนอกขอบเขตคำสั่ง

• แชร์
• ทวีต
• ส่งไลน์

เมื่อ AI Agent เริ่มเก่งขึ้นจากเดิมที่ทำได้เพียงตอบคำถาม กลายเป็น AI ที่สามารถเขียนโค้ด เปิดเว็บไซต์ เรียกใช้เครื่องมือ เข้าถึงข้อมูล และทำงานต่อเนื่องด้วยตัวเอง ปัญหาสำคัญที่ตามมาคือ จะทำอย่างไรหาก AI ทำสิ่งที่อยู่นอกเหนือจากที่ผู้ใช้อนุญาต? ล่าสุด NVIDIA เปิดตัว NVIDIA Open Agent Safety Platform แพลตฟอร์มความปลอดภัยสำหรับ AI Agent ที่ออกแบบมาเพื่อกำหนดขอบเขต ควบคุมสิทธิ์ และเฝ้าระวังพฤติกรรมของ AI ตั้งแต่ขั้นตอนทดสอบไปจนถึงการใช้งานจริงในองค์กร

จุดสำคัญคือ หาก AI Agent พยายามทำบางอย่างเกินสิทธิ์ที่ได้รับ ระบบสามารถตรวจพบและแยก AI Agent ตัวนั้นออกจากระบบได้ภายในเวลาเพียงไม่กี่มิลลิวินาที

ทำไม NVIDIA ต้องสร้างระบบควบคุม AI Agent?

AI Agent แตกต่างจาก Chatbot ทั่วไป เพราะไม่ได้เพียงสร้างข้อความตอบกลับ แต่สามารถได้รับสิทธิ์ให้ไปทำงานต่อได้ เช่น

• เปิดและแก้ไขไฟล์
• เขียนหรือรันโค้ด
• เรียกใช้ API
• เข้าถึงฐานข้อมูล
• ติดต่อบริการภายนอก
• ใช้เครื่องมือขององค์กร
• ทำงานต่อเนื่องเป็นเวลานานโดยไม่ต้องรอคำสั่งทีละขั้น

ความสามารถเหล่านี้ทำให้ AI Agent มีประโยชน์มาก แต่ยิ่ง AI สามารถเข้าถึงระบบต่าง ๆ ได้มาก ความเสียหายที่อาจเกิดจากความผิดพลาดก็เพิ่มขึ้นตามไปด้วย

NVIDIA ระบุว่า จากการศึกษาการทำงานของ Agent พบพฤติกรรมที่เรียกว่า Agent Drift หรือการที่ Agent เริ่มทำสิ่งที่เบี่ยงเบนไปจากงานหรือข้อจำกัดที่กำหนดไว้

สาเหตุอาจเกิดจากคำสั่งที่ไม่ชัดเจน เครื่องมือบางอย่างใช้งานไม่ได้ Bug ในระบบ หรือ AI พยายามหาวิธีอื่นเพื่อทำให้งานสำเร็จหลังจากวิธีแรกถูกปฏิเสธ

ดังนั้น NVIDIA มองว่าไม่ควรฝากความปลอดภัยไว้กับตัวโมเดล AI เพียงอย่างเดียว แต่ควรมีระบบภายนอกคอยกำหนดว่า AI สามารถทำอะไรได้จริง

NVIDIA Open Agent Safety Platform คืออะไร?

NVIDIA Open Agent Safety Platform เป็นทั้งแพลตฟอร์มซอฟต์แวร์แบบเปิดและ Reference System Design สำหรับสร้างระบบ AI Agent ที่มีชั้นควบคุมความปลอดภัยตั้งแต่ซอฟต์แวร์ไปจนถึงฮาร์ดแวร์

องค์ประกอบสำคัญมี 2 ส่วน ได้แก่

1. NVIDIA OpenShell กำหนดว่า AI Agent ทำอะไรได้บ้าง

NVIDIA OpenShell เป็นซอฟต์แวร์ Open Source สำหรับสร้างพื้นที่ทำงานแบบ Sandbox ให้ AI Agent

แนวคิดหลักคือ AI Agent จะไม่ได้รับสิทธิ์เข้าถึงทุกอย่างโดยอัตโนมัติ แต่ระบบจะเริ่มจากหลัก Deny by Default หรือไม่อนุญาตทุกอย่างก่อน จากนั้นจึงเปิดเฉพาะสิทธิ์ที่จำเป็นสำหรับงานนั้น

ตัวอย่างเช่น

ถ้า AI ถูกสั่งให้วิเคราะห์เอกสารในโฟลเดอร์หนึ่ง ระบบอาจอนุญาตให้อ่านเฉพาะไฟล์ในโฟลเดอร์นั้น แต่ไม่สามารถเข้าไปอ่านไฟล์ส่วนอื่นของเครื่องได้

หรือหาก Agent ต้องเรียก API เพียงบริการเดียว OpenShell ก็สามารถจำกัดไม่ให้ Agent เชื่อมต่อเว็บไซต์หรือ API อื่นที่ไม่ได้รับอนุญาต

การควบคุมเหล่านี้ทำงานอยู่ ภายนอก Process ของ AI Agent หมายความว่า ต่อให้ AI พยายามเปลี่ยนวิธีทำงานหรือได้รับ Prompt ที่พยายามหลอกให้ข้ามข้อจำกัด ก็ไม่สามารถเปลี่ยนนโยบายความปลอดภัยเหล่านี้ได้ด้วยตัวเอง

OpenShell ยังเก็บประวัติได้ว่าระบบอนุญาตหรือปฏิเสธการกระทำใดของ Agent ทำให้องค์กรสามารถตรวจสอบย้อนหลังได้

2. NVIDIA Sentry ยามเฝ้า AI จากอีกชั้นหนึ่ง

อีกส่วนสำคัญคือ NVIDIA Sentry

หาก OpenShell เปรียบเหมือนกำแพงที่ล้อม AI Agent เอาไว้ Sentry ก็เปรียบเหมือนเจ้าหน้าที่รักษาความปลอดภัยที่คอยเฝ้าดูจากภายนอกอีกชั้นหนึ่ง

Sentry ทำงานบน NVIDIA BlueField-4 DPU แยกออกจากระบบที่ Agent กำลังทำงานอยู่

ระบบจะคอยตรวจสอบกิจกรรมของ AI แบบต่อเนื่อง เช่น

• Agent กำลังเรียกใช้ข้อมูลอะไร
• กำลังติดต่อ API หรือบริการใด
• มีสิทธิ์เข้าถึงข้อมูลนั้นหรือไม่
• พฤติกรรมเริ่มผิดปกติจากนโยบายที่กำหนดหรือไม่

หากพบว่า Agent พยายามออกนอกขอบเขต Sentry สามารถ Quarantine หรือแยก Agent ออกจากระบบได้ในระดับมิลลิวินาที

ข้อได้เปรียบคือระบบตรวจสอบนี้ทำงานแยกจากเครื่อง Host และตัว AI Agent ดังนั้นแม้ระบบหลักจะถูกเจาะหรือเกิดความผิดพลาด ชั้นความปลอดภัยนี้ยังสามารถทำงานต่อได้

ทำไมต้องมีทั้งซอฟต์แวร์และฮาร์ดแวร์ช่วยควบคุม AI?

ที่ผ่านมา การควบคุม AI ส่วนใหญ่จะเกิดขึ้นในระดับโมเดล เช่น System Prompt, Guardrails หรือการฝึกโมเดลไม่ให้ทำสิ่งอันตราย

แต่ NVIDIA มองว่าการควบคุมเพียงระดับโมเดลอาจไม่เพียงพอสำหรับ AI Agent ที่สามารถลงมือทำงานจริง

จึงแยกเป็น 2 ระดับ

Model Safeguard
ควบคุมว่า AI “ควรพยายามทำอะไร”

ขณะที่

Runtime Control
ควบคุมว่า AI “ได้รับอนุญาตให้ทำอะไรจริง”

ตัวอย่างง่าย ๆ คือ แม้ AI จะตัดสินใจว่าต้องเปิดฐานข้อมูลลูกค้าเพื่อทำงานให้สำเร็จ แต่หาก Agent ไม่ได้รับสิทธิ์เข้าถึงฐานข้อมูลนั้น OpenShell จะบล็อกคำขอทันที

และหากเกิดพฤติกรรมผิดปกติขึ้น Sentry ยังมีอีกชั้นที่คอยตรวจจับอยู่ภายนอก

ใช้กับ Claude, Codex และ GitHub Copilot ได้

อีกจุดที่น่าสนใจคือ NVIDIA ไม่ได้จำกัดแพลตฟอร์มนี้ไว้กับโมเดลหรือ Agent ของ NVIDIA เท่านั้น

OpenShell รองรับ AI Agent และเครื่องมือหลายประเภท เช่น

• Claude Code
• Codex
• OpenCode
• GitHub Copilot CLI
• OpenClaw

รวมถึง Agent ที่องค์กรพัฒนาขึ้นเอง

นอกจากนี้ยังรองรับทั้งโมเดลแบบ Open Source และ Closed Model

OpenShell ยังสามารถทำงานบนระบบ Local, On-premises, Cloud และ Kubernetes ได้ โดยไม่จำเป็นต้องมี BlueField-4 เสมอไป

แต่หากใช้ร่วมกับ BlueField-4 จะสามารถเพิ่ม NVIDIA Sentry เป็นชั้นรักษาความปลอดภัยระดับฮาร์ดแวร์ได้อีกชั้นหนึ่ง

ไม่ได้จำกัดเฉพาะฮาร์ดแวร์ NVIDIA

แม้ Open Agent Safety Platform จะได้รับการออกแบบมาให้ทำงานร่วมกับ NVIDIA Vera CPU และ BlueField-4 DPU แต่ OpenShell เป็น Open Source และ NVIDIA ระบุว่าสามารถขยายให้รองรับแพลตฟอร์มของบริษัทอื่นได้ด้วย รวมถึง Arm และ Intel

NVIDIA ระบุด้วยว่า Vera CPU ถูกออกแบบมาสำหรับงาน Agentic AI โดยเฉพาะ เช่น การวางแผน การเรียกใช้เครื่องมือ และการรันโค้ดภายใน Sandbox

บริษัทระบุว่า Vera สามารถทำงานด้าน Sandbox ได้เร็วกว่าโครงสร้าง CPU แบบเดิมได้สูงสุดประมาณ 80% ในบาง Workload

บริษัทเทคหลายแห่งเข้าร่วมแล้ว

NVIDIA ระบุว่ามีบริษัทและองค์กรในระบบนิเวศ AI หลายแห่งเข้าร่วมสนับสนุนหรือทำงานร่วมกับ Open Agent Safety Platform เช่น

Anthropic, Microsoft, Cisco, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Palo Alto Networks, Salesforce, SAP, ServiceNow และ SpaceXAI เป็นต้น

หนึ่งในตัวอย่างคือ Anthropic ซึ่งกำลังร่วมกับ NVIDIA เพื่อเพิ่มชั้นควบคุมสำหรับ Claude Managed Agents โดยแยกกระบวนการควบคุม Agent ออกจาก Sandbox ที่ Agent ใช้ทำงาน

AI Agent กำลังกลายเป็นพนักงานดิจิทัล

การเปิดตัว Open Agent Safety Platform สะท้อนให้เห็นการเปลี่ยนแปลงครั้งสำคัญของวงการ AI

ที่ผ่านมา ความปลอดภัยของ Generative AI มักเน้นเรื่องคำตอบ เช่น ไม่ให้ AI สร้างเนื้อหาที่เป็นอันตรายหรือเปิดเผยข้อมูลส่วนตัว

แต่เมื่อ AI เริ่มเปลี่ยนจากระบบที่ “ตอบคำถาม” มาเป็นระบบที่ “ลงมือทำงาน” ความปลอดภัยก็ต้องขยายจากการควบคุมคำตอบ ไปสู่การควบคุม สิทธิ์และการกระทำของ AI

โดยเฉพาะในอนาคตที่องค์กรอาจมี AI Agent หลายสิบหรือหลายร้อยตัวทำงานพร้อมกัน การกำหนดว่า Agent แต่ละตัวสามารถเข้าถึงข้อมูล โปรแกรม และระบบใดได้บ้าง อาจมีความสำคัญไม่ต่างจากการกำหนดสิทธิ์ให้พนักงานขององค์กร

NVIDIA จึงวางแนวคิดให้ AI Agent ทุกตัวทำงานภายใต้หลัก Zero Trust คือไม่เชื่อถือ Agent โดยอัตโนมัติ แต่ให้สิทธิ์เท่าที่จำเป็นสำหรับการทำงาน พร้อมตรวจสอบพฤติกรรมตลอดเวลา

อย่างไรก็ตาม ระบบนี้ไม่ได้หมายความว่าจะสามารถแก้ปัญหาความปลอดภัยของ AI ได้ทุกประเภท เพราะยังมีปัญหาอื่น เช่น AI ให้ข้อมูลผิด ตัดสินใจผิด หรือมีพฤติกรรมที่ตรวจจับได้ยาก

แต่ Open Agent Safety Platform แสดงให้เห็นทิศทางใหม่ที่อุตสาหกรรม AI กำลังเดินไป นั่นคือในยุคของ AI Agent การทำให้ AI ฉลาดขึ้นอย่างเดียวอาจไม่เพียงพอ แต่ต้องมีระบบที่สามารถกำหนดและบังคับได้ด้วยว่า AI มีสิทธิ์ทำอะไร และต้องหยุดตรงไหน

อ้างอิง NVIDIA cover iT24Hrs

อ่านบทความและข่าวอื่นๆเพิ่มเติมได้ที่ it24hrs.com

NVIDIA เปิดตัวระบบคุม AI Agent ไม่ให้ออกนอกขอบเขตคำสั่ง

อย่าลืมกดติดตามอัพเดตข่าวสาร ทิปเทคนิคดีๆกันนะคะ Please follow us

Youtube it24hrs
Twitter it24hrs
Tiktok it24hrs
facebook it24hrs