Utilizing Large Language Models to Analyze PSR.exe Recorded Input for Computer Use

作者： YUAN Tianyu ¹
作者单位：

1. Bank of China
通讯作者： YUAN Tianyu Email:u3588064@connect.hku.hk
提交时间：2025-01-14 00:11:04

摘要: 大型语言模型 (LLM) 的快速发展为复杂工作流程的自动化开辟了新领域。本文探讨了一种利用大型语言模型 (LLM) 解析和解释 PSR.exe（一种用于捕获用户鼠标和键盘操作的工具）记录的数据来模拟计算机使用的创新方法。我们提出了一种提取、分析和复制 MHT 文件中记录的用户交互的方法。通过解码屏幕截图和提取动作序列，我们旨在开发一个自动化流程，使应用程序能够有效地模拟用户操作。该工作流结合了 BeautifulSoup（用于 XML 解析）、base64（用于图像解码）和 LLM（用于语义分析）。结果表明，我们的方法轻量级、多功能，能够确保精度和适应性，同时减少对外部跟踪工具的依赖。

LLM PSR.exe computer use workflow

来自： 袁天宇
分类： 计算机科学 >> 计算机应用技术
投稿状态： 未投稿
引用： ChinaXiv:202501.00152 (或此版本 ChinaXiv:202501.00152V1)
DOI:10.12074/202501.00152
CSTR:32003.36.ChinaXiv.202501.00152
科创链TXID： 4631f35c-8985-4198-b9da-500628c9042f
推荐引用方式： YUAN Tianyu.Utilizing Large Language Models to Analyze PSR.exe Recorded Input for Computer Use.null.[DOI:10.12074/202501.00152] (点此复制)

版本历史

[V2]	2025-03-21 22:12:50	ChinaXiv:202501.00152v2 查看此版本	下载全文
[V1]	2025-01-14 00:11:04	ChinaXiv:202501.00152V1	下载全文

相关论文推荐

1. DO-RAG: A Domain-Specific QA Framework Using Knowledge Graph-Enhanced Retrieval-Augmented Generation	2025-05-20
2. Recent Advances in Robotic Navigation via Large Language Models	2025-03-06
3. An improved 3D SIFT applied to estimate volume displacement field	2025-01-06
4. Level-Navi Agent: A Framework and benchmark for Chinese Web Search Agents	2024-12-25
5. Empowering Large Language Models to Edge Intelligence: A Survey of Edge Efficient LLMs and Techniques	2024-11-25
6. Animating the Past: Reconstruct Trilobite via Video Generation	2024-11-12
7. A Distributed Software Framework for Vision-Based Drone Swarm Applications	2024-09-25
8. DiFSD: Ego-Centric Fully Sparse Paradigm with Uncertainty Denoising and Iterative Refinement for Efficient End-to-End Self-Driving	2024-09-14
9. Segment Anything for Videos: A Systematic Survey	2024-08-05
10. Guiding Large Language Models to Generate Computer-Parsable Content	2024-04-23


公开评论匿名评论仅发给作者