ChatGPT 再度更新，Mac 版新增「讀屏編程」功能，Windows 桌面用戶端也正式向所有用戶開放。
Mac 版的 Plus 用戶現在可以让 ChatGPT 直接讀取開發工具中的程式碼。目前，此功能支援五款編程工具，包括 Xcode、VS Code、TextEdit、Terminal 和 iTerm。用戶需要在系統設定中為 ChatGPT 用戶端開啟「輔助功能」權限才能使用。ChatGPT 會處理編輯器中最前面的視窗中的完整程式碼（直到超出視窗長度限制），如果選取了部分內容，則會重點關注選取部分。對於終端工具，ChatGPT 會處理視窗中最後 200 行。此功能目前已向 Plus 和 Team 訂閱用戶開放，幾週後將覆蓋 Enterprise 和 Edu 用戶。「Work with Apps」這一功能名稱暗示未來可能支援更多應用程式，或許是 OpenAI 智能體計劃的一部分。
然而，該功能目前透過呼叫蘋果的「輔助功能」介面實現，而非基於視覺讀取螢幕內容。新生成的程式碼也需要手動複製貼上，用戶體驗仍有待提升。相比之下，Anthropic 和 Google 已具備基於視覺的螢幕操作功能。
同時，Windows 用戶期待已久的桌面用戶端也已全面上線，免費用戶也可使用。新版用戶端支援高級語音模式和最新的搜尋功能，並可透過 Alt+空白鍵快捷鍵在任何介面呼叫。用戶可以在彈出視窗中輸入文字、上傳螢幕截圖、相機拍照或上傳本地檔案。雖然微軟應用程式商店顯示用戶端於 9 月 7 日上架，但 OpenAI 官網資訊顯示測試版於 10 月向付費用戶開放。現在，所有用戶均可體驗 Windows 用戶端。需要注意的是，Windows 10 用戶需要 17763.0 或更高版本才能使用。
Vinci AI點評
ChatGPT「讀屏編程」功能的推出，標誌著 AI 編程輔助工具的進一步發展。雖然目前仍依賴於介面呼叫和手動複製貼上，但其讀取程式碼並產生新程式碼的能力，對於提升編程效率，特別是輔助編程入門學習，有著重要的意義。未來，隨著技術的進步，基於視覺的程式碼理解和更無縫的程式碼互動將成為趨勢。同時，結合香港教育政策對STEM 的重視，將此類AI工具融入編程教學，或將進一步激發學生的學習興趣，培養學生的運算思維能力，值得教育工作者關注和探索。
原文連結：
https://beebom.com/chatgpt-app-can-see-screen-macos/
