การทำงานอัตโนมัติบนเดสก์ท็อป Windows ที่เชื่อมโยง API ของ Selenium กับตัวแทน AI
winjavadriver, จาก Glaciousm, เป็นกรอบการทำงานอัตโนมัติบนเดสก์ท็อป Windows ที่เชื่อมโยง API การทดสอบแบบดั้งเดิมและเวิร์กโฟลว์ของตัวแทน มันให้การควบคุมโปรแกรมของแอปพลิเคชันเดสก์ท็อปโดยใช้พื้นผิวแบบ Selenium ร่วมกับอินเทอร์เฟซที่หันหน้าไปทางตัวแทน ทำให้สามารถโต้ตอบแบบสคริปต์และการสังเกตอัตโนมัติ การออกแบบเน้นการตรวจสอบบนหน้าจอ การบันทึกแบบพาสซีฟ และคำอธิบาย UI ที่กระชับเพื่อลดข้อความที่ส่งไปยังโมเดลภาษา เครื่องมือนี้มุ่งเป้าไปที่วิศวกรอัตโนมัติ QA นักพัฒนาที่ดูแลระบบ Windows เก่า และนักวิจัยที่สร้างตัวแทนเดสก์ท็อปอัตโนมัติ
เชื่อมโยงการทำงานอัตโนมัติแบบ Selenium และการทดสอบบนเดสก์ท็อป
ไดรเวอร์จะดำเนินการพื้นผิว WebDriver แบบเนทีฟสำหรับแอปพลิเคชัน Windows โดยเปิดเผย ไคลเอนต์ Java ที่เข้ากันได้กับ Selenium เพื่อให้ทีมสามารถย้ายการทดสอบเว็บไปยังเส้นทางโค้ดเดสก์ท็อป มันรองรับประเภทแอปพลิเคชัน UWP, Win32 และ VB6 และรวมถึง Inspector ที่สร้างขึ้นในพร้อมแถบเครื่องมือการบันทึกลอยที่จับการคลิก การพิมพ์ และทางลัดคีย์บอร์ดเพื่อสร้างขั้นตอนการทำงานอัตโนมัติแบบพาสซีฟ ความสามารถเหล่านี้ช่วยให้วิศวกรทดสอบสามารถใช้เครื่องมือที่มีอยู่ซึ่งใช้ Java ในการกำหนดเป้าหมาย GUI บนเดสก์ท็อป
สร้างคำอธิบาย UI ที่มีประสิทธิภาพในการใช้โทเค็นสำหรับตัวแทนที่ขับเคลื่อนด้วย LLM
โครงการนี้ดำเนินการเซิร์ฟเวอร์ MCP ที่จัดหาข้อมูลองค์ประกอบที่กระชับให้กับตัวแทน AI โดยใช้ Smart Tools ที่สร้างขึ้นเพื่อจุดประสงค์เช่น win_observe และ win_explore ซึ่งสรุปสถานะ UI เป็นข้อความที่มีประสิทธิภาพในการใช้โทเค็น การจัดตำแหน่งกริดภาพเสนอการระบุตำแหน่งภาพตามพิกัดหน้าจอสัมพัทธ์เมื่อ ID ขององค์ประกอบไม่เสถียร จุดสิ้นสุด MCP ถูกนำไปใช้เป็นส่วนประกอบ Node.js ดังนั้นตัวแทนจึงได้รับบริบท UI ที่กระชับแทนที่จะเป็นการทิ้งองค์ประกอบที่ดิบและยาวเหยียด
เหมาะสำหรับการทำงานที่เน้น Windows แต่ต้องการรันไทม์เฉพาะ
ไดรเวอร์นี้เป็นเฉพาะ Windows และต้องการสภาพแวดล้อม Java สำหรับ API ด้านไคลเอนต์บวกกับ Node.js สำหรับส่วนประกอบเซิร์ฟเวอร์ MCP ดังนั้นจึงจำเป็นต้องมีการทำงานรวมก่อนที่การทดสอบหรือตัวแทนจะทำงาน มันทำงานในโหมดคู่ ทั้งในฐานะไดรเวอร์แบบดั้งเดิมที่ใช้ Selenium และในฐานะเซิร์ฟเวอร์ MCP ที่พร้อมสำหรับ AI และรวมถึงการจัดการอัตโนมัติสำหรับการควบคุม Win32 และ VB6 ที่เก่าซึ่งมักจะมองไม่เห็นสำหรับกรอบการทำงานอัตโนมัติ UI มาตรฐาน
เหมาะสำหรับทีมที่ยอมรับงานติดตั้งและให้คุณค่ากับการบำรุงรักษาอย่างต่อเนื่อง
Glaciousm เผยแพร่โครงการเป็นสะพานอัตโนมัติแบบโอเพนซอร์ส และโครงการนี้ได้รับการอธิบายว่าเป็นที่ยอมรับในกลุ่มเฉพาะของมันและมีการบำรุงรักษาอย่างต่อเนื่อง การตอบรับนั้นสนับสนุนการเลือกไดรเวอร์สำหรับโครงการที่ต้องการการรวมตัวของตัวแทนกับเดสก์ท็อปอย่างใกล้ชิดและเตรียมพร้อมที่จะตรวจสอบผลลัพธ์ของตัวแทนเป็นส่วนหนึ่งของ QA คาดว่าจะมีความพยายามในการรวมระบบล่วงหน้าเพื่อตั้งค่า Java และ Node.js ก่อนการใช้งานตามปกติ.
