探索使用ChatGPT產生高品質內容
2023.09.19
原創內容
作者：汪周禮
前言：
AI工具不會取代人，而會使用AI工具的人正在悄悄地取代那些不會使用AI工具的人。
GAI-aid 知識經濟服務，其實正在悄悄改變市場生態結構！
從最近哈佛商學院針對BCG 700多名顧問的研究結果(*1)，初步證實GAI-AID的效果，相信後面的影響，將會逐漸擴大。
從事知識經濟相關行業，特別是和智慧財產領域相關的我，應該最能體會這樣的效果，在嘗試結合多種方法論工具後，發現可以大幅提升收集資訊的速度以及資訊整理的效率，提供更有價值的結構化內容，例如提供大量技術挖掘和技術創新的資訊內容，當然在提供給客戶前，還是需要領域專家針對輸出內容品質把關。
對於如何使用ChatGPT產生高品質的輸出內容，從去年(2022 Dec.) ChatGPT問世後開始，就不斷地嘗試，直到今年七月(2023 Jul.)左右，終於開始出現令人滿意的結果。
以下這篇文章內容，摘要介紹了如何使用CHATGPT產出更好的且具有品質的輸出內容的心路歷程，提供有興趣的朋友們參考。
本文開始：
如果要將ChatGPT 應用在知識經濟生產力相關的工作中，在這樣的情況下，輸出內容會有2個目前值得觀察的條件，這兩個條件會影響輸出內容的價值，姑且稱之為內容品質要件，這兩個內容品質要件分別是：
1. GPT 輸出內容的正確性
2. GPT 輸出內容的細節程度
將上面這兩種條件以品質的概念來比對，第一條可用準確性(Accuracy)來對應，第二條可以用精確性(Precision)來對應。
如果套用行為經濟學之父(Daniel Kahneman)在雜訊一書一開始提到的概念白話解釋，就是希望透過GAI的應用，得到沒有偏誤(biased)以及沒有雜訊(noisy)的詳細輸出內容。
為了滿足這個條件，過去曾經大量嘗試採用提示詞工程的應用技巧並結合多種提問模型之後，才發現了在特定描述組合的情況下，可以得到精確性高（低雜訊）具有豐富細節的輸出內容。
但對於準確性（無偏差）的這個部分，受限於大型語言模型本身會出現的幻覺( Hallucination )特性影響，經過多次嘗試發現，這往往是LLM本身難以克服的問題，特別是在專業領域中，因此過程中需要人類專家不斷地介入引導與調整，這樣反而降低使用效率，失去了使用GAI的原本意義。
因此，為了解決幻覺輸出內容的問題，嘗試在提示詞工程這一塊下更多的功夫，希望能找到解決的方案。
最後，在結合提示詞工程和方法論工具的組合拳反覆大量使用下，根據ChatGPT 打造了一組複雜的提示使用鏈，產生具有品質的輸出內容。
在這套組合拳使用下，打造了一組複雜的提示鏈模組，整個提示鏈由超過20組系統化提問方式所組成！
有不少客戶和同業與合作夥伴想要合作藉此學習，於是有了想透過要開課分享這個部分，但由於太過複雜，整理了50多頁教材後決定先暫緩，這套方法目前僅供服務客戶的專案使用。
暫緩的原因有幾個：
1. 需要熟悉提問模式：這個是最基本的功夫，單一提問模式的類型非常多種，需要熟悉不同的輸出內容架構，選擇適合的提問模式類型。
2. 需要熟悉提示詞工程：這一塊屬於提問模式的進階，透過熟悉提示工程的研究結果，應用到對應的內容模組上，提高細節程度。目前常見的提示詞工程有14種之多，個人目前採用後，發現有幾個可能對提升內容品質比較有幫助，思維鏈(Chain-of-Thought)、生成知識提示(Generated Knowledge Prompting)、思想樹(Tree-of-Thoughts)、檢索增強生成(Retrieval Augmented Generation, RAG)等等多種提示工程技巧組合運用。
3. 需要熟悉方法論工具：所謂的熟悉，如字面所提，要能清楚自己所使用的方法論工具的應用範圍和應用限制，如此才能有效結合前面提示工程技巧，降低LLM出現(幻覺)而影響輸出內容品質。
4. 需要了解目標內容結構：這也是最重要的一點，能夠清楚地知道需要GAI產生的內容結構，並且根據目標內容結構拆解成模組，這個概念類似專案管理中的(Work Breakdown structure, WBS)，將目標內容結構化，將結構化的目標內容拆解成提示工程模組，並且在滿足內容品質的前提下，順利根據結構化的模組，產生對應的內容輸出。
5. 需要專業領域知識： 這一塊是人為把關的部分，也是最重要的部分。畢竟，在專業領域，有些經驗技能的獨特知識與抽象概念，GAI目前還難以達成，最後輸出內容，目前仍舊需要透過專家把關後，才能提交給客戶。
從上述這些原因來看，應該就可以了解到這套組合拳，在實際上使用並不容易，因此目前決定還是以專案服務方式為主，以更有效率地加速創新。
GAI工具的出現，正在開始改變了知識經濟的產業結構，甚至，這樣的變化也會促進更多智慧財產經濟的商業模式產生。
心得後記：
GAI-aid 知識經濟服務，正在悄悄改變市場生態結構！
從事知識經濟相關行業，特別是和智慧財產領域相關的我，應該最能體會這樣的效果，在嘗試結合多種方法論工具後，發現可以大幅提升收集資訊的速度以及資訊整理的效率，提供更有價值的結構化內容，例如提供大量技術挖掘和技術創新的資訊內容，當然在提供給客戶前，還是需要領域專家針對輸出內容品質把關。
企業不像學界，由於生存條件不同，企業在面對新產品開發或新技術開發前，往往會謹慎評估，將資源運用在能為企業創造價值的地方，因此企業對新技術開發或新產品開發，特別是價值相對模糊的灰色地帶，在資源與市場競爭的限制下，就會比較保守，反而會傾向收購現有技術或新創，降低資源管理的風險。
目前GAI的出現，可以說是大大地幫企業在新產品技術開發的模糊前端(FUZZY FRONT END)這一塊，打開一扇大門，讓企業可以用少量的資源短期取得大量的評估結果，利於新產品開發與研發路線的資源決策！
目前就一些客戶合作實施的初步成果來看，至少在時間和成本這兩個因素上，讓客戶感到非常理想，想要擴大服務範圍。
接下來的問題將會落在如何更有效地將服務擴散，以及降低人(專家)把關的部分，減少人為參與避免降低知識經濟內容的生產效率，這時候就讓我想起了品質議題，這應該就和品質核檢設計的重要工具，控制計畫表(control plan)有關了。
接下來發展的重點在於如何打造符合知識經濟的控制計畫表。
過去在半導體封裝為新製程打造高良率的控制計畫表(contorl plan)的工作技能，沒想到沉寂將近20年後，竟然可以重新復活！
技術趨勢浪潮不斷地推進下，有用的方法和工具始終可以繼續生存！
#GAI
#Promptingengineering
#ip_eco_system
#qualitycontrol
#structurualcontent
*1:Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4573321
2023©汪周禮@智合創新
服務專案項目：
創新式技術挖掘
創新式專利技術迴避
創新式專利布局
歡迎洽詢service@iiiinnovation.com (3i+innnovation)
