當企業向我們查詢 AI 助手,話題通常由模型和渠道開始:用哪個模型、WhatsApp 還是 Teams、粵語還是英語。這些都重要,但很少是決定助手六個月後是否仍被信任的關鍵。真正的關鍵,是它所依據的知識庫。一個檢索增強生成(RAG)助手的準確度、時效和一致性,極限就是背後那批文件的水平。

以下是我們在動工前,必定與客戶逐一釐清的五個問題。

一、每份文件由誰負責——內容出錯時,他會知道嗎?

助手可以引用的每一份文件都需要一個負責人:當內容受到質疑時,會被問到的那個人或團隊。共用磁碟機累積了大量無人認領的檔案,而這些檔案正正最容易產生自信滿滿卻已過時的答案。我們會請客戶列出試點所用的來源,並在每一份旁邊寫上負責人的名字。沒有人認領的文件,不會放進去。

二、內容是最新的嗎?助手如何得知?

價目表、人事政策、產品規格和程序都會改變。助手必須能分辨現行版本與已被取代的版本。實際做法是議定一條規則——例如只採用某個 SharePoint 文件庫內、中繼資料設有「生效日期」的文件——然後把助手連接到該位置,而不是一次過匯出的檔案。一個上線當天準確、之後悄悄走樣的助手,比沒有助手更糟,因為大家會停止核對。

三、誰可以看到甚麼?

內部助手能接觸的資料,往往比任何一位員工都多。如果某份文件是受限的——薪酬級別、董事會文件、客戶個案——助手就必須遵守用戶本身已有的權限。在 Microsoft 365 和 Azure 上這是做得到的:助手核實用戶身份,並以管理 SharePoint 的同一套存取清單來過濾檢索結果。但這必須一開始便設計在內,亦會影響哪些來源可放進試點。

四、內容的格式,機器讀得懂嗎?

沒有文字層的掃描 PDF、以圖片呈現的表格、中英文交錯排版的雙語文件、靠顏色標示來表達意思的試算表——這些都是香港辦公室的日常,每一種都要另行處理。Azure AI Document Intelligence 能應付很大部分,包括掃描文件和表格,但有些資料重寫比處理更划算。我們會在探索階段把真實文件的樣本走一遍流程,免得第三個星期才遇上意外。

五、它必須答對的 50 條問題是甚麼?

動工前,我們會請客戶團隊寫下他們實際收到的問題——用收到時的語言,包括中英夾雜的那些——以及他們認為正確的答案和出處。試點以 50 條為宜。這份清單就是驗收測試:我們每星期以它量度助手表現,而主管最終簽署的也是這個,而不是一場表現良好的示範。

對項目計劃的意義

以上問題都不需要冗長的計劃。在四至六星期的試點中,我們通常把第一個星期完全用於此:選定來源、指定負責人、議定時效規則、核對權限、撰寫測試問題。之後的建置會更快,成果亦是業務團隊會持續使用的東西。如果您正計劃建立助手,想就知識庫聽聽第二意見,我們樂意與您一起看看。