本集 PowerTalk 我們邀請仁寶電腦智能數位技術處的專案處長 陳宏義 Ian Chen ，一同聊聊仁寶電腦的 AI 部署、解說語言模型知識、分享 LLM 在製造場域的應用、對企業的建議等等。
LLM 走進工廠的樣貌
Ian：大預言模型本身的特質就是對這個語義的理解力很强 能夠解讀資料 所以這個是我們認為可以幫助我們在運營製造上去解決一些問題，例如説可以從海量班的數據裡面去找出它裡面所帶的意義，那甚至可以減輕所謂的使用者他在使用的時候，如果今天沒有大語言模型，要查詢這樣的海量資料的時候，你必須要熟悉所謂的資料庫的操作方式，你可能要要透過非常多的步驟可能才會找到你要的資料。但是有大語言模型時候你可以用所謂的自然語言輸入的方式，就像平常講話那可能很快的就幫你把資料查找出來，甚至你可以 它幫你產生一個總結報告，你就不用在絞盡腦汁的讀完報告之後還要寫一個所謂的總結出來。所以這個對我們來說，對工廠的整個營運效率是有很大的提升。 那現在製造業就所謂的數位轉型，那數位轉型一個特點就是你會產生非常多的數據量，那這個數據量其實是會呈現爆炸性的成長，相對於以往以數據，以數據你數位化的程度越高，你產生的這些數據其實的量會越大。
在這麼多這麼大量爆炸性成長的資料量裡面，那你要怎麼從這些資料裡面去找出有價值的一個商業意義的部分，就像我們大家去淘金，你要找出裡面含金的成分，不重要部分剔除掉。
那如果今天的資料量很大的時候，你要有一個一個比較有效的工具去做這樣的一個事情，那這個東西就會用在所謂的大語言模型，因為它天生就有這樣的一個能力，那除了幫你用篩選出來之外他還最後，還幫你總結。 所以這個是我們認為，這個是我們覺得大語言模型可以對我們在運營上製造上有一個很大的幫助的一個重要考量。 Sharon: 等於説數據變成有價值的資訊，可以去做執行然後接下來，還包含直接給你生成一個報告，方便跟不管是團隊或是上層人。
Ian：因為這跟我們這個所謂的轉型策略會有一些關係 那轉型策略企業裡面有一個最重要的一點，就是那個 ESG，它的最最終目的就是要幫這個企業找出能夠維持這個所謂的價值的一個方式。ESG 很重要的精神，就是你要節省，節省資源，避免避免浪費，那其實大語言模型就可以幫你做這樣子的預測就剛剛講預測比如説我現在可以預估比如說我需不需要那個所謂的進貨，包括庫存那些等等，那他幫你所謂優化你的那個生產的效率。 那甚至計劃你的牌子也可以說到所以優化的部分，那基本上這些東西做大語言模型就可以達到我們在這個所謂的數位轉型裡面的一個最重要的一個目的。當然其他的 AI 技術也是也是會一起合併使用，但是我認為目前看起來就是主要是因為要處理資料兩部分的話，大語言模型目前大概是做 AI 技術裡面，目前大概就是大家提起都會往這個方向去走。
為什麼需要『行業專屬模型』？
準確性、可靠度、與系統整合性、能靈活擴展，是行業專屬模型必備的要素。
lan：說這個模型的那一個，什麼叫做好的一個？第一個就是我們認為它有行業的專屬性。就是例如説今天我是電子製造業，那我希望這個模型能夠處理這個電子。因為我不是所謂的通用性，我就這樣講 Chat GPT，它可能是通用型，它可能 包山包海，上知天文，下知地理。但是對我來說，我只要你知道我這個電子製造業相關的一些知識就好 所以它必須有行業的專屬性，行業專屬性，包括你裡面一些專有名詞啊，它要能夠理解。第二就是。有些是你這個領域的一些特別的需要的能力的部分，或是如果説如果你在做這些工法，那他必須要很清楚的知道，就我需要它能夠告訴我的時候，他是根據這些去回答我，不是今天我問的是電子製造業問題，他回答我一個是一個銀行業的問題是這種可能就不行。所以它要有行業屬性，也就是大概我們預期，我們的預見應該是一樣，我們各行各業都會有一個自己專屬的大預言模型，就是針對特定的的領域，例如說醫療，例如說金融，例如説像製造，類似像這一個行業的專屬性，那第二個這個模型它給你的出來的東西的準確性要高，它準確性低其實就不具參考性。那第二個可靠度，就是你回答的要可靠度。那這個東西有的時候可能不單單是靠模型本身進去，你要額外有一些一些東西、技巧去輔助這個模型。就我要講的叫做所謂的 RIC 的部分。現在大語言模型有一個很大問題是它很會，那個回答沒有索本，就是我剛講的你，你問東它可能答西，但是我們可以透過一些技術讓 RIC 的部分，限定它在我提供的素材裡面回答我想要知道的。 這個是準確性跟可靠度的部分，第三個它跟這個所謂的你的系統要容易整合，因為工廠有很多像MES 系統等等，那你這些一個大語言模型得出的結果，或是你想要回答這個問題的時候，你的數據要從哪裡來？應該跟這些系統要能夠串接在一起，這個是一個所謂的要跟系統能夠便於系統整合的部分。 另外一個就是要能夠靈活擴展，要靈活擴展。那你今天我就說，例如我今天在解決這個問題時候，那**這個模型我可不可以用在其他地方？**理論上可以，但是就像剛剛講的，但是你說你可能用在別的地方之後你得的一些要的知識不一樣，說你要透過其他方式餵給它那個的知識的部分，讓它能夠回答。 但是它的能力還是一樣，它對語意的理解能力還是一樣，只是你希望它就你提供的素材裡面來找給出你的回答的時候，這個部分是你必須要去控制的。對，大概是這會分成這這幾個方面。
認識『大』語言模型和 『小』語言模型
lan: LLM 的能力跟模型大小也有關係，但是這個模型，模型大小你使用模型大，但是你會覺得說模型越大欸，模型大跟小是說它的參數用到的參數量，參數量用得多，我們就叫做它的模型就是比較大像 Chat GPT，它可能有大概一千多億個參數，那例如説更小的可能不到 100億一個參數，這樣子的東西，這個東西就影響到你所選用的硬件的的裝置，那當然這個為什麼要選大的或者是小的，那我們基本上是看應用如果今天應用這個場景，它需要的是不是小的就夠。
事實上我們，我們在決定用什麼樣的模型大小，基本上我們是以鑒於我們的需求爲主。
我今天接到這個需求，那我們評估說他要解決這個問題的時候，他可能什麼樣模型大小就剛剛好就好，不要去過度，例如我先用一個很大的一個模型，那我處理的事情其實很簡單，其實基本上這個對這個公司整個的投資是什麼都不好，因為你大的模型，你的相對硬件設備的投資機會很大，那我們選這個當時模型，這個模型跟百威雷的合作的時是選這個模型是一個比較小的，大概只有一個七個 billion 參數的一個模型，因為我認為就是它只是針對資料去解讀，而且是特定的，那有的特別的，特別訓練要有一些名詞，我們就一些訓練，就是當我們在裡面想到什麼 down time，或是什麼類似的東西，它可能原生的模型，這個開源的模型它並不會訓練這個，因為它當時是沒有針對特定領域的，
所以一般大家現在業界，這就是拿一個開源，但是訓練把你想要特別行業的專有名詞把它加進去。
那這個除了這個所謂的用訓練的方式讓他知道之外，另外一個就是我剛剛講的，你也可以請他在回答的時候去參考你設定的那些文件，這個東西他就不會記到他的腦子裡面，所以他就是要用的時候，還是是根據這個去回答 另外一個就是記到腦子裡面，所以你沒有那些無參考文獻去根據他腦子裡面有知道的東西去回答你。 所以我們其實兩種都有做，我們要少量訓練一些專有名詞，像我剛剛提到就說我問他說停線的原因，然後他列出來之後，他會跟我說那有哪些解決方案，當他需要參考歷史記錄的時候的這個部分，那我就會請他去參考我們給他例如説我們給他1000份這個過去的累積下來的解決問題的一個文件。那請從這裡面找出跟這次情況類似的來給出我們一個答案。所以其實會有兩種方式都有在都有在進行。
給中小企業的部署建議：用『小』模型就好
lan: 我知道其實臺灣中小企業其實是很多的，那那如果要你要所有的企業，所有的企業產業都要，都要能夠升級 那對中小企業來講，第一個就是資金的問題，他投入這個東西大概要花花多少錢？ 但是其實會，其實蠻多中小企業到現在還是沒有辦法去做負擔這樣的一個費用的部分，所以這個也會，所以導致這個產業其實對整個產業升級的速度，其實是是緩慢的，所以，所以我看講我剛剛提到，若以這個大語言模型用來講很多中小企業剛講，他可能單純的就是一個文件查找，或是幫我把這些歷史記錄幫我生成一個報告出來，那這時候他可能需要小一點的模型就好。
那些小一點模型代表著需要的運算裝置，規格不用那麼高規，那這個可能是中小企業負擔得起，換算成本是划算的。
我有可能投資 20 萬，例如説買一個筆電，以 CPU 來講，甚至大一點你大可能幾十萬他可以做到，那他就不用投資那個什麼上上百萬的那些東西，去做那個事情。 所以如果是這樣的話，他們就會想要用的意願就會比較高。他們不是不想用，他們其實也很想用，但是就是會礙於這個經費，尤其中小企業不是那個大企業，大企業其實對新的技術其實都會就會跑比較快，那更多的是中小企業，因為成本的考量，所以基本上他們一直會裹足不前的在採用這個比較新的，這樣新的 AI。
Sharon: 所以，以場景、以需求也以你可以投入的資源多寡，去看要怎麽樣模型。
Ian: 沒錯沒錯！
Sharon: 其實現在的 LLM，業界在用的都會是非常針對性的，不需要那麼大也弄那麼多成本下去。
Ian: 沒錯。我們認為模型會越縮越小，而且那個要跑大模型除了你要用到硬體算力耗電，對整個整個環境就是不友善。對就回 ESG 所以大家其實回過頭，一開始是先想有，所以他就是弄一個很大模型，先跑起來，然後大家慢慢發現，不行啊，這樣子又花錢，又耗電，耗電又造成環境的這個問題。所以大家現在就開始回過頭，我用辦法把模型變小，體積縮小但能力不變，那我覺得能力會差但是是打幾折而已。大概是這樣子
最終還是他能做什麼事情？你手機上你會需要這個模型做什麼事情？那就是 圖像啊 幫你變變臉，或是快速幫你回簡訊這種 啊他做這些就好，那你幹嘛去找那個 GPT 來用？
Ian: 我只是取這樣的例子。所以 會越來越多是往這個方向去去執行 我覺得我覺得這次是臺灣接下來，應該比較會像是這個。
在邊緣運作 AI
另外就是那個邊緣裝置，其實大家最近幾周的都在講這些事情，真正要能夠比較普及化的就是你要一定要在你自己這些裝置上面這些中端，比如説你手機你的筆記本上面，那麼能夠跑得起來的應用的那個語言模型才會是因為它畢竟最多 在全世界手機就有多少人，每一個手機上面都有一個，那就不得了了，而不是現在那個只有少數人才能有用到的。 所以它真正要普及，其實要在邊緣裝置，那在邊緣裝置上面的話的模型就會變小模型，模型變小的時候，你說模型變小會不會變會不會變比較差？會，但是只是看會隨著那個演算法會差多小，所以很像很多人說我這個雖然只有十個billion的參數，但是我可以媲美一百個billion的一個模型的就是這樣子，那就是你的演算法的進步，但是宣稱就會是這樣子。
製造業內的 AI 是怎麼發展的？
Sharon: AI 1.0就是指從 18年開始做。
Ian: 對，那個就是所謂的鑑別式，就我剛剛講就瑕疵檢測。例如説以製造業來講，有一個電路板或者是一個組裝一個物體上面有沒有瑕疵也有漏出，或是有一些其他的一些東西，說他是判斷對或錯，有或物，這個要說1.0，包括大家更早知道叫做所謂人臉辨識那諸如此類的，其實都算是1.0的，它的一個定義範圍裡面就是它是鑑別，就是只有對跟錯，有跟無2.0最重要一個特，它的一個精神就是要生成，要它所謂的它會根據根據你提供的素材，它去產生出你想要的東西，所以重點是它的 generative 這個東西，在2.0裡面最重要的精神是這樣，當然2.0初期目前我們講的大語言模形大概就是以文字生成為主，但是到後後來大概今年要開始，大概年初的時候又有人推出所謂多模態模型，就是不只是這個所謂的語言文字部分，包括多媒體、多影像啊，聲音的部分，這些那，那目前我們在市場上看到很多的是屬於，這個所謂的創作型，例如説我們在跟他把你生成影片，或者説你講一句話幫你，是根據你的語義去給你一張畫一張圖給你或者作為就是，作一首曲子給你，這個是都是屬於生成，因為是從無到有的生成。那其實有很多人在問的這個多模態這個東西到底是要怎麼用在這個所謂的製造製造業上面？其實這個也是我們大概今年度會去想要做的。
AI 的理想願景：GAI 與機器人
Ian: 很多那只是，我用，然後了做什麼事情？就發現只做一丁點的事情，我花了幾百萬去投資這樣一個服務器。然後呢，我做的事情可能不需要幾百萬我就可以做到那其實我覺得那個是一點意義都沒有。很多是這樣，那個技術其實跑很快，但是產業真的完全都跟上技術嗎？ 其實未必。在這個中間還有一個很很大的 gap，就是可能這個技術已經先講在那裏，但是有多少企業能夠馬上就 follow up，其實是我覺得這個其實是是是有，有待上圈。但是後面這到底定義成什麼樣？其實其實我的理解是，Jensen Huang 他講那個，其實他們就是講那個，他們講的那個，那個 Digital Twins，那一個概念就是虛擬跟現實生的一個環境存在，就是你可以透過那個環境模擬你現在真實的真實情況，那基本上這個這個算力其實是要求會非常非常的大，就是 NVIDIA 的 Omniverse 那個 platform 那個算力其實要求很大 。
但是 NVIDIA 做這件事情，它都不是為了現在這些事情，其實大概最近新聞大家都看到，其實他們真正目標是機器人。
Ian: 他們真正的目標包括 Elon Musk，他們真正看的都不是什麼，現在什麼，那個無人自駕車不是，他真正真正的目標就是機器人。所以那天那個臺積電董事長也在這個全國科技會議上面有講，他說全世界最有錢的人跟他，跟他談的時候，就是機器人 他們接下來的發展，就是機器人，所以我覺得這個會是之後 AI 最終、最終、最終會是的應用場景就是走到最高境界，應該就是機器人然後，那個機器人可能是有個所謂的 GAI，就是我們講的強 AI 就是 general AI 就是就是它不是特定特定某一個領域。我們現在其實做的都還是比較屬於，只是針對某個，就是有行業屬性就是比較多，我只針對這個東西，我去理解，大家可能希望的是能夠我不能講全知全能，但是他的希望的就是他能夠有一個一個很強大的一個 AI 理解能力，而不會只是僅限於某一個特定的一個領域上面的一個理解、認知。
理想跟現實的差距—— AI 真的能讓企業賺錢嗎？
Sharon: 往通用型發展。
Ian: 對對，會往通用型發展，所以之後其實他們是這樣子的，但是我覺得我 這是理想的那個現實面就剛剛講的，其實這麼多的東西，這麼多的企業，沒有到那種規模，他不太可能去做這樣的事情，或者我可能我那樣的事情不需要用到這麼 powerful 的為什麼，不要為什麼，我不能用便宜一點，所以還是會存在這樣一個東西，就是特特殊領域用的模型。 但是那個 AI 可能是一個比較所謂專屬那個領域在用，但在規模肯定會小很多。很多事情其實是靠着人去管理，或者這些技術這種東西他要不要投資，但這個投資其實是我常常來講這個做這 AI 這種技術它是裡子跟面子，就是你現在大部分的 AI 大部分裡子其實能夠從 AI 去獲利的相應製造業，AI 能夠獲得好處的，其實就是那幅度沒有很大，就我們講 ROI 其實沒有很大，但是面子有差，你客戶來，欸你們有這個，看起來這是一個新的技術。欸，竞爭對手沒有，他就對你，他就選你這個人，所以面子跟裡子，那我認為現在這個階段，面子還是比裡子大，就是帶來的效益，面子還是比裡子多一些，裡子就會問你 ROI，ROI 是多少？董事長就説可以啊，例如説，你假設你抓了，你一萬臺裡面抓到十臺有問題組裝的問題。他說那這十臺如果沒有抓出來，你到客戶那邊你賠多少錢？多少錢他去去降，但我就想用，那你這個明明就可以，可以透過人的管理方式，或什麽去克服啊？所以我才想啊，他到底要投資多少，投資太多，還覺得不劃算那投資太少，好像還沒效益，就會在這個中間會有一些拉扯。 所以這些老闆在做這個決定的時候，遇到的比較大的問題，實際上在這中間會有些拉扯。就我剛剛講的，我要不要用那麼大的大語言模型。我現在工廠要買一個一百多萬的服務器老闆就那到時候老闆說那我到底這一百多萬投資下去，我能夠多少 ROI 回來，他會去算這個東西啊？ 那所以這個就是他們遇到的狀況。所以我一直覺得這大語言模型其實能小就盡量小就是我先講啊，那個一個人要做的事情，我可以找五六個人去分攤啊，你可能，國英文數學物理化學都很厲害，一個人我找五個人，每一個人都只會一樣，但是我們每一個運用，他在算着算用到那個算力的硬件裝置，其實他就小很多。 我要精通這個五樣的時候，可能要投資 100 萬人，那個服務器就是那個模型。我才能找一個人懂五樣，那我就把採成五個，你只懂國文，他只懂英文，就好了。那這個他所需要的硬件設備其實就小很多。
案例：LLM 和地緣政治、海外擴廠有關？
利用大語言模型累積工廠知識
Ian: 會往海外當然跟整個地緣政治是有關，大家都很清楚啊，尤其最近這個所謂的可能關稅的問題，但這時候怎麼辦呢？這很重要的，你的知識要累積，你的知識然後你的人員培訓要有效、有效率。因為尤其就是像東南亞，不是同文同種，那語言溝通上或什麽，所以就要儘可能的把這個因素降低的話其實大語言模型可以做到的就我剛剛講的知識管理，如果你都累積起來，你可以透過它他就可以在其他地區，你需要的時候，你可以快速用這個大語言模型就找到例如說我現在遇到的問題，其實之前在其他地區廠區就有，但大家可以很快就 甚至它會幫你總結一個，你應該怎麼做，應該怎麼做所以可以節省你很多。你剛開始吧，廠建起來遇到的生產上遇到問題，就可以很快處理掉，就省下你很多的時間。
利用大語言模型做教育訓練
Ian: 那第二個培訓的部分，那它也可以做這個人員培訓的部分，它可以結合 除了大語言模型之外像我們之前也做過這個，所謂 1.0 的部分，人員上崗的時候，我希望他有一個考核，所以透過這個所謂的 1.0 影像的方式，它會去考核他的動作，就像新人訓練完，我要做一個考核，這個考核以往都是用人去看，說你今天這個動作標不標準可不可以因為這樣，那你做，你訓練完可不可以上線，那用人去考 那人的話就不是那麼客觀工程。對。那所以呢，如果你是用所謂的 AI 的方式來判斷，大概就是沒有什麼好說的 就是你就是標準不標準 不標準設定就是只有達標跟不達標，所以這個可以用電腦這個所謂的視覺的 AI 1.0 的技術可以做到這個員工培訓的部分，那就是動作的部分。
大語言模型扮演製程專家
Ian: 那另外一個就是我剛剛講的說知識技能的部分，就是我們這個所謂的 LLM 我們內部有也有在進行就是虛擬專家的這個部分，那就剛剛講那如果說那個語言講不通，但是它可以通過虛擬專家大語言模型回答，它不用一個老師傅在旁邊，就等同於一個老師傅，但他不是一個真人在你旁邊，所以第一個人力上你會比較比較節省那第二個那些隔閡的話，因為你可以做好語言的翻譯的話其實基本上他透過這個虛擬專家 其實大語言模型，它也是會拿來做所謂的 virtual expert，這樣的一個功能在這裡面。 Sharon: 虛擬專家是專門運用給海外工廠的管理？
Ian:其實沒有，但是還就是都可以用，那我們，它還分離說研發端的或是製造端 那這個 Expert 在研發端跟製造端的所要具備的那一個 knowledge 其實就不盡不盡相同那海外端其實也是可以用，但是就是因為大語言模型有多資源多國語言，所以它也可以用當地的語言去，它可以理解你用當地語言問的問題，所以用當地語言根據資料用當地語言的方式回答你。
Sharon: 等於說今天在我到各個廠去，都會有一個主管級的人物存在，我可以隨時問我要的問題
Ian: 對應該說我們以前就是中國人講那個師傅帶徒弟 那時候是真的，就是一個師傅，一個小徒弟在旁邊，因為他覺得這樣子可以手把手教你，但是這樣子人力上其實就就會比較比較花，比較多的人力去做這樣的事情。那如果有了這個，這個虛擬專家 二十四小時都可以問，所以也不用一直有人站在你旁邊。然後有問題的時候，才能問。
Sharon: 那完全傳承老師傅的經驗。
Ian: 對對對。所以我就講這個知識的累積就很很很重要。
那如果你的知識累積不夠多，那個 virtual expert 其實也很難回答到你想要的問題，所以你要把過往的資料做『高品質的資料處理』，然後模型要訓練。用這個高品質的資料去做訓練，那它就可以變成一個有經驗的一個老師傅
數據孤島問題
Ian: 我們廠區除了臺灣地區的話，好像海外都有，那不管是對岸或是或是東南亞，其實都有廠區，那其實很重要，這些廠區都會產生很大的資料數據，那我沒辦法把它就是，如果每一個廠區的資料都是鎖在自己廠區裡面，我們叫它那個，那個叫什麽，穀倉效應，那個叫 data silo 就是它的資料就是放在它自己。那資料，別人沒辦法參考。那如果是這樣，那麼這樣子的話，其實你若資料只有你自己的，那你有可能遇到問題的時候，這些可助以解決問題，我看到的是這些資料。但是如果你把所廠區資料能夠匯成在一起的時候，你看到的有你從那個裡面能夠萃取到的，其實又是另外一件事情。 所以基本上 在這個所謂的在海外請的第一個，就是要把所有的資料能夠彙集在一起，就所以那個所謂的我們有一個所謂的大數據 Big Data 裡面，它有一個叫做 data lake 這樣的一個概念，所有的數據都要能夠彙集在一起，那需要用的人就來自這個 data lake 裡面就可以取得到數據，所以是第一個要要做的事情。
全球設廠的品管問題
那第二個就是就是我剛才講的，就是我今天臺灣廠區出廠的產品，如果今天轉厰轉到東南亞的工廠，那不能說轉到東南亞的工廠做出來的品質就跟這邊是不一樣的，是不可能被被接受的。所以任何一家專業的這個所謂的 EMS 的公司，不管你在哪一個工廠生產，同樣的產品 可能它第一批在臺灣廠生產，第二批在在越南廠生產的品質要是一樣，那如何做到這個所謂的識量的一個控制跟一致性。 其實這件事情就會變得很很重要。所以我們也可以利用大語言模型來看這樣的一個數據然後找出這中間到底有沒有，因為轉廠的時候，一些小地方，那個小地方可能不是很容易就看出來，但是如果你把整個數據攤開來看的時候，其實就可以看得到，但是要把這個數據攤開來看其實這個數據量其實很大，所以這時候就必須去用大語言模型去做這樣的一個事情 讓你在不同廠區能產出的產品的品質是維持一致的，這個是大語言模型會在這兩個地方的。
排除數據孤島的事情然後各地生產品質的一致性，LLM可以做到這兩點。
Table of Contents
