2023.09.19
原創內容
作者：汪周禮
前言：
AI工具不會取代人，而會使用AI工具的人正在悄悄地取代那些不會使用AI工具的人。
GAI-aid 知識經濟服務，其實正在悄悄改變市場生態結構！
從最近哈佛商學院針對BCG 700多名顧問的研究結果(*1)，初步證實GAI-AID的效果，相信後面的影響，將會逐漸擴大。
從事知識經濟相關行業，特別是和智慧財產領域相關的我，應該最能體會這樣的效果，在嘗試結合多種方法論工具後，發現可以大幅提升收集資訊的速度以及資訊整理的效率，提供更有價值的結構化內容，例如提供大量技術挖掘和技術創新的資訊內容，當然在提供給客戶前，還是需要領域專家針對輸出內容品質把關。
對於如何使用ChatGPT產生高品質的輸出內容，從去年(2022 Dec.) ChatGPT問世後開始，就不斷地嘗試，直到今年七月(2023 Jul.)左右，終於開始出現令人滿意的結果。
以下這篇文章內容，摘要介紹了如何使用CHATGPT產出更好的且具有品質的輸出內容的心路歷程，提供有興趣的朋友們參考。
本文開始：
如果要將ChatGPT 應用在知識經濟生產力相關的工作中，在這樣的情況下，輸出內容會有2個目前值得觀察的條件，這兩個條件會影響輸出內容的價值，姑且稱之為內容品質要件，這兩個內容品質要件分別是：
1. GPT 輸出內容的正確性
2. GPT 輸出內容的細節程度
將上面這兩種條件以品質的概念來比對，第一條可用準確性(Accuracy)來對應，第二條可以用精確性(Precision)來對應。
如果套用行為經濟學之父(Daniel Kahneman)在雜訊一書一開始提到的概念白話解釋，就是希望透過GAI的應用，得到沒有偏誤(biased)以及沒有雜訊(noisy)的詳細輸出內容。
為了滿足這個條件，過去曾經大量嘗試採用提示詞工程的應用技巧並結合多種提問模型之後，才發現了在特定描述組合的情況下，可以得到精確性高（低雜訊）具有豐富細節的輸出內容。
但對於準確性（無偏差）的這個部分，受限於大型語言模型本身會出現的幻覺( Hallucination )特性影響，經過多次嘗試發現，這往往是LLM本身難以克服的問題，特別是在專業領域中，因此過程中需要人類專家不斷地介入引導與調整，這樣反而降低使用效率，失去了使用GAI的原本意義。
因此，為了解決幻覺輸出內容的問題，嘗試在提示詞工程這一塊下更多的功夫，希望能找到解決的方案。
最後，在結合提示詞工程和方法論工具的組合拳反覆大量使用下，根據ChatGPT 打造了一組複雜的提示使用鏈，產生具有品質的輸出內容。
在這套組合拳使用下，打造了一組複雜的提示鏈模組，整個提示鏈由超過20組系統化提問方式所組成！
有不少客戶和同業與合作夥伴想要合作藉此學習，於是有了想透過要開課分享這個部分，但由於太過複雜，整理了50多頁教材後決定先暫緩，這套方法目前僅供服務客戶的專案使用。
暫緩的原因有幾個：
1. 需要熟悉提問模式：這個是最基本的功夫，單一提問模式的類型非常多種，需要熟悉不同的輸出內容架構，選擇適合的提問模式類型。
2. 需要熟悉提示詞工程：這一塊屬於提問模式的進階，透過熟悉提示工程的研究結果，應用到對應的內容模組上，提高細節程度。目前常見的提示詞工程有14種之多，個人目前採用後，發現有幾個可能對提升內容品質比較有幫助，思維鏈(Chain-of-Thought)、生成知識提示(Generated Knowledge Prompting)、思想樹(Tree-of-Thoughts)、檢索增強生成(Retrieval Augmented Generation, RAG)等等多種提示工程技巧組合運用。
3. 需要熟悉方法論工具：所謂的熟悉，如字面所提，要能清楚自己所使用的方法論工具的應用範圍和應用限制，如此才能有效結合前面提示工程技巧，降低LLM出現(幻覺)而影響輸出內容品質。
4. 需要了解目標內容結構：這也是最重要的一點，能夠清楚地知道需要GAI產生的內容結構，並且根據目標內容結構拆解成模組，這個概念類似專案管理中的(Work Breakdown structure, WBS)，將目標內容結構化，將結構化的目標內容拆解成提示工程模組，並且在滿足內容品質的前提下，順利根據結構化的模組，產生對應的內容輸出。
5. 需要專業領域知識： 這一塊是人為把關的部分，也是最重要的部分。畢竟，在專業領域，有些經驗技能的獨特知識與抽象概念，GAI目前還難以達成，最後輸出內容，目前仍舊需要透過專家把關後，才能提交給客戶。
從上述這些原因來看，應該就可以了解到這套組合拳，在實際上使用並不容易，因此目前決定還是以專案服務方式為主，以更有效率地加速創新。
GAI工具的出現，正在開始改變了知識經濟的產業結構，甚至，這樣的變化也會促進更多智慧財產經濟的商業模式產生。
心得後記：
#GAI
#Promptingengineering
#ip_eco_system
#qualitycontrol
#structurualcontent
*1:Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4573321
2023©汪周禮@智合創新
ChatGPT 遇上TRIZ_ 專利分析與技術挖掘_ 感謝支持已全部額滿(11月課程)
服務專案項目：
創新式技術挖掘
創新式專利技術迴避
創新式專利布局
歡迎洽詢service@iiiinnovation.com (3i+innnovation)
