本集 PowerTalk 我们邀请仁宝电脑智能数字技术处的专案处长 陈宏义 Ian Chen ，一同聊聊仁宝电脑的 AI 部署、解说语言模型知识、分享 LLM 在制造场域的应用、对企业的建议等等。
LLM 走进工厂的样貌
点击图片即可观看影片
Ian：大预言模型本身的特质就是对这个语义的理解力很强 能够解读资料 所以这个是我们认为可以帮助我们在运营制造上去解决一些问题，例如说可以从海量班的数据里面去找出它里面所带的意义，那甚至可以减轻所谓的使用者他在使用的时候，如果今天没有大语言模型，要查询这样的海量资料的时候，你必须要熟悉所谓的资料库的操作方式，你可能要要透过非常多的步骤可能才会找到你要的资料。但是有大语言模型时候你可以用所谓的自然语言输入的方式，就像平常讲话那可能很快的就帮你把资料查找出来，甚至你可以 它帮你产生一个总结报告，你就不用在绞尽脑汁的读完报告之后还要写一个所谓的总结出来。所以这个对我们来说，对工厂的整个营运效率是有很大的提升。 那现在制造业就所谓的数位转型，那数位转型一个特点就是你会产生非常多的数据量，那这个数据量其实是会呈现爆炸性的成长，相对于以往以数据，以数据你数位化的程度越高，你产生的这些数据其实的量会越大。
在这么多这么大量爆炸性成长的资料量里面，那你要怎么从这些资料里面去找出有价值的一个商业意义的部分，就像我们大家去淘金，你要找出里面含金的成分，不重要部分剔除掉。
那如果今天的资料量很大的时候，你要有一个一个比较有效的工具去做这样的一个事情，那这个东西就会用在所谓的大语言模型，因为它天生就有这样的一个能力，那除了帮你用筛选出来之外他还最后，还帮你总结。 所以这个是我们认为，这个是我们觉得大语言模型可以对我们在运营上制造上有一个很大的帮助的一个重要考量。
Sharon: 等于说数据变成有价值的资讯，可以去做执行然后接下来，还包含直接给你生成一个报告，方便跟不管是团队或是上层人。
Ian：因为这跟我们这个所谓的转型策略会有一些关系 那转型策略企业里面有一个最重要的一点，就是那个 ESG，它的最最终目的就是要帮这个企业找出能够维持这个所谓的价值的一个方式。ESG 很重要的精神，就是你要节省，节省资源，避免避免浪费，那其实大语言模型就可以帮你做这样子的预测就刚刚讲预测比如说我现在可以预估比如说我需不需要那个所谓的进货，包括库存那些等等，那他帮你所谓优化你的那个生产的效率。 那甚至计划你的牌子也可以说到所以优化的部分，那基本上这些东西做大语言模型就可以达到我们在这个所谓的数位转型里面的一个最重要的一个目的。当然其他的 AI 技术也是也是会一起合并使用，但是我认为目前看起来就是主要是因为要处理资料两部分的话，大语言模型目前大概是做 AI 技术里面，目前大概就是大家提起都会往这个方向去走。
为什么需要『行业专属模型』？
准确性、可靠度、与系统整合性、能灵活扩展，是行业专属模型必备的要素。
点击图片即可观看影片
lan：说这个模型的那一个，什么叫做好的一个？第一个就是我们认为它有行业的专属性。就是例如说今天我是电子制造业，那我希望这个模型能够处理这个电子。因为我不是所谓的通用性，我就这样讲 Chat GPT，它可能是通用型，它可能 包山包海，上知天文，下知地理。但是对我来说，我只要你知道我这个电子制造业相关的一些知识就好 所以它必须有行业的专属性，行业专属性，包括你里面一些专有名词啊，它要能够理解。第二就是。有些是你这个领域的一些特别的需要的能力的部分，或是如果说如果你在做这些工法，那他必须要很清楚的知道，就我需要它能够告诉我的时候，他是根据这些去回答我，不是今天我问的是电子制造业问题，他回答我一个是一个银行业的问题是这种可能就不行。所以它要有行业属性，也就是大概我们预期，我们的预见应该是一样，我们各行各业都会有一个自己专属的大预言模型，就是针对特定的的领域，例如说医疗，例如说金融，例如说像制造，类似像这一个行业的专属性，那第二个这个模型它给你的出来的东西的准确性要高，它准确性低其实就不具参考性。那第二个可靠度，就是你回答的要可靠度。那这个东西有的时候可能不单单是靠模型本身进去，你要额外有一些一些东西、技巧去辅助这个模型。就我要讲的叫做所谓的 RIC 的部分。现在大语言模型有一个很大问题是它很会，那个回答没有索本，就是我刚讲的你，你问东它可能答西，但是我们可以透过一些技术让 RIC 的部分，限定它在我提供的素材里面回答我想要知道的。 这个是准确性跟可靠度的部分，第三个它跟这个所谓的你的系统要容易整合，因为工厂有很多像MES 系统等等，那你这些一个大语言模型得出的结果，或是你想要回答这个问题的时候，你的数据要从哪里来？应该跟这些系统要能够串接在一起，这个是一个所谓的要跟系统能够便于系统整合的部分。 另外一个就是要能够灵活扩展，要灵活扩展。那你今天我就说，例如我今天在解决这个问题时候，那**这个模型我可不可以用在其他地方？**理论上可以，但是就像刚刚讲的，但是你说你可能用在别的地方之后你得的一些要的知识不一样，说你要透过其他方式喂给它那个的知识的部分，让它能够回答。 但是它的能力还是一样，它对语意的理解能力还是一样，只是你希望它就你提供的素材里面来找给出你的回答的时候，这个部分是你必须要去控制的。对，大概是这会分成这这几个方面。
认识『大』语言模型和 『小』语言模型
点击图片即可观看影片
lan: LLM 的能力跟模型大小也有关系，但是这个模型，模型大小你使用模型大，但是你会觉得说模型越大欸，模型大跟小是说它的参数用到的参数量，参数量用得多，我们就叫做它的模型就是比较大像 Chat GPT，它可能有大概一千多亿个参数，那例如说更小的可能不到 100亿一个参数，这样子的东西，这个东西就影响到你所选用的硬件的的装置，那当然这个为什么要选大的或者是小的，那我们基本上是看应用如果今天应用这个场景，它需要的是不是小的就够。
事实上我们，我们在决定用什么样的模型大小，基本上我们是以鉴于我们的需求为主。
我今天接到这个需求，那我们评估说他要解决这个问题的时候，他可能什么样模型大小就刚刚好就好，不要去过度，例如我先用一个很大的一个模型，那我处理的事情其实很简单，其实基本上这个对这个公司整个的投资是什么都不好，因为你大的模型，你的相对硬件设备的投资机会很大，那我们选这个当时模型，这个模型跟百威雷的合作的时是选这个模型是一个比较小的，大概只有一个七个 billion 参数的一个模型，因为我认为就是它只是针对资料去解读，而且是特定的，那有的特别的，特别训练要有一些名词，我们就一些训练，就是当我们在里面想到什么 down time，或是什么类似的东西，它可能原生的模型，这个开源的模型它并不会训练这个，因为它当时是没有针对特定领域的，
所以一般大家现在业界，这就是拿一个开源，但是训练把你想要特别行业的专有名词把它加进去。
那这个除了这个所谓的用训练的方式让他知道之外，另外一个就是我刚刚讲的，你也可以请他在回答的时候去参考你设定的那些文件，这个东西他就不会记到他的脑子里面，所以他就是要用的时候，还是是根据这个去回答 另外一个就是记到脑子里面，所以你没有那些无参考文献去根据他脑子里面有知道的东西去回答你。 所以我们其实两种都有做，我们要少量训练一些专有名词，像我刚刚提到就说我问他说停线的原因，然后他列出来之后，他会跟我说那有哪些解决方案，当他需要参考历史记录的时候的这个部分，那我就会请他去参考我们给他例如说我们给他1000份这个过去的累积下来的解决问题的一个文件。那请从这里面找出跟这次情况类似的来给出我们一个答案。所以其实会有两种方式都有在都有在进行。
给中小企业的部署建议：用『小』模型就好
lan: 我知道其实台湾中小企业其实是很多的，那那如果要你要所有的企业，所有的企业产业都要，都要能够升级 那对中小企业来讲，第一个就是资金的问题，他投入这个东西大概要花花多少钱？ 但是其实会，其实蛮多中小企业到现在还是没有办法去做负担这样的一个费用的部分，所以这个也会，所以导致这个产业其实对整个产业升级的速度，其实是是缓慢的，所以，所以我看讲我刚刚提到，若以这个大语言模型用来讲很多中小企业刚讲，他可能单纯的就是一个文件查找，或是帮我把这些历史记录帮我生成一个报告出来，那这时候他可能需要小一点的模型就好。
那些小一点模型代表着需要的运算装置，规格不用那么高规，那这个可能是中小企业负担得起，换算成本是划算的。
我有可能投资 20 万，例如说买一个笔电，以 CPU 来讲，甚至大一点你大可能几十万他可以做到，那他就不用投资那个什么上上百万的那些东西，去做那个事情。 所以如果是这样的话，他们就会想要用的意愿就会比较高。他们不是不想用，他们其实也很想用，但是就是会碍于这个经费，尤其中小企业不是那个大企业，大企业其实对新的技术其实都会就会跑比较快，那更多的是中小企业，因为成本的考量，所以基本上他们一直会裹足不前的在采用这个比较新的，这样新的 AI。
Sharon: 所以，以场景、以需求也以你可以投入的资源多寡，去看要怎么样模型。
Ian: 没错没错！
Sharon: 其实现在的 LLM，业界在用的都会是非常针对性的，不需要那么大也弄那么多成本下去。
Ian: 没错。我们认为模型会越缩越小，而且那个要跑大模型除了你要用到硬体算力耗电，对整个整个环境就是不友善。对就回 ESG 所以大家其实回过头，一开始是先想有，所以他就是弄一个很大模型，先跑起来，然后大家慢慢发现，不行啊，这样子又花钱，又耗电，耗电又造成环境的这个问题。所以大家现在就开始回过头，我用办法把模型变小，体积缩小但能力不变，那我觉得能力会差但是是打几折而已。大概是这样子
最终还是他能做什么事情？你手机上你会需要这个模型做什么事情？那就是 图像啊 帮你变变脸，或是快速帮你回简讯这种 啊他做这些就好，那你干嘛去找那个 GPT 来用？
Ian: 我只是取这样的例子。所以 会越来越多是往这个方向去去执行 我觉得我觉得这次是台湾接下来，应该比较会像是这个。
在边缘运作 AI
另外就是那个边缘装置，其实大家最近几周的都在讲这些事情，真正要能够比较普及化的就是你要一定要在你自己这些装置上面这些中端，比如说你手机你的笔记本上面，那么能够跑得起来的应用的那个语言模型才会是因为它毕竟最多 在全世界手机就有多少人，每一个手机上面都有一个，那就不得了了，而不是现在那个只有少数人才能有用到的。 所以它真正要普及，其实要在边缘装置，那在边缘装置上面的话的模型就会变小模型，模型变小的时候，你说模型变小会不会变会不会变比较差？会，但是只是看会随着那个演算法会差多小，所以很像很多人说我这个虽然只有十个billion的参数，但是我可以媲美一百个billion的一个模型的就是这样子，那就是你的演算法的进步，但是宣称就会是这样子。
制造业内的 AI 是怎么发展的？
点击图片即可观看影片
Sharon: AI 1.0就是指从 18年开始做。
Ian: 对，那个就是所谓的鉴别式，就我刚刚讲就瑕疵检测。例如说以制造业来讲，有一个电路板或者是一个组装一个物体上面有没有瑕疵也有漏出，或是有一些其他的一些东西，说他是判断对或错，有或物，这个要说1.0，包括大家更早知道叫做所谓人脸辨识那诸如此类的，其实都算是1.0的，它的一个定义范围里面就是它是鉴别，就是只有对跟错，有跟无2.0最重要一个特，它的一个精神就是要生成，要它所谓的它会根据根据你提供的素材，它去产生出你想要的东西，所以重点是它的 generative 这个东西，在2.0里面最重要的精神是这样，当然2.0初期目前我们讲的大语言模形大概就是以文字生成为主，但是到后后来大概今年要开始，大概年初的时候又有人推出所谓多模态模型，就是不只是这个所谓的语言文字部分，包括多媒体、多影像啊，声音的部分，这些那，那目前我们在市场上看到很多的是属于，这个所谓的创作型，例如说我们在跟他把你生成影片，或者说你讲一句话帮你，是根据你的语义去给你一张划一张图给你或者作为就是，作一首曲子给你，这个是都是属于生成，因为是从无到有的生成。那其实有很多人在问的这个多模态这个东西到底是要怎么用在这个所谓的制造制造业上面？其实这个也是我们大概今年度会去想要做的。
AI 的理想愿景：GAI 与机器人
点击图片即可观看影片
Ian: 很多那只是，我用，然后了做什么事情？就发现只做一丁点的事情，我花了几百万去投资这样一个服务器。然后呢，我做的事情可能不需要几百万我就可以做到那其实我觉得那个是一点意义都没有。很多是这样，那个技术其实跑很快，但是产业真的完全都跟上技术吗？ 其实未必。在这个中间还有一个很很大的 gap，就是可能这个技术已经先讲在那里，但是有多少企业能够马上就 follow up，其实是我觉得这个其实是是是有，有待上圈。但是后面这到底定义成什么样？其实其实我的理解是，Jensen Huang 他讲那个，其实他们就是讲那个，他们讲的那个，那个 Digital Twins，那一个概念就是虚拟跟现实生的一个环境存在，就是你可以透过那个环境模拟你现在真实的真实情况，那基本上这个这个算力其实是要求会非常非常的大，就是 NVIDIA 的 Omniverse 那个 platform 那个算力其实要求很大 。
但是 NVIDIA 做这件事情，它都不是为了现在这些事情，其实大概最近新闻大家都看到，其实他们真正目标是机器人。
Ian: 他们真正的目标包括 Elon Musk，他们真正看的都不是什么，现在什么，那个无人自驾车不是，他真正真正的目标就是机器人。所以那天那个台积电董事长也在这个全国科技会议上面有讲，他说全世界最有钱的人跟他，跟他谈的时候，就是机器人 他们接下来的发展，就是机器人，所以我觉得这个会是之后 AI 最终、最终、最终会是的应用场景就是走到最高境界，应该就是机器人然后，那个机器人可能是有个所谓的 GAI，就是我们讲的强 AI 就是 general AI 就是就是它不是特定特定某一个领域。我们现在其实做的都还是比较属于，只是针对某个，就是有行业属性就是比较多，我只针对这个东西，我去理解，大家可能希望的是能够我不能讲全知全能，但是他的希望的就是他能够有一个一个很强大的一个 AI 理解能力，而不会只是仅限于某一个特定的一个领域上面的一个理解、认知。
理想跟现实的差距—— AI 真的能让企业赚钱吗？
Sharon: 往通用型发展。
Ian: 对对，会往通用型发展，所以之后其实他们是这样子的，但是我觉得我 这是理想的那个现实面就刚刚讲的，其实这么多的东西，这么多的企业，没有到那种规模，他不太可能去做这样的事情，或者我可能我那样的事情不需要用到这么 powerful 的为什么，不要为什么，我不能用便宜一点，所以还是会存在这样一个东西，就是特特殊领域用的模型。 但是那个 AI 可能是一个比较所谓专属那个领域在用，但在规模肯定会小很多。很多事情其实是靠着人去管理，或者这些技术这种东西他要不要投资，但这个投资其实是我常常来讲这个做这 AI 这种技术它是里子跟面子，就是你现在大部分的 AI 大部分里子其实能够从 AI 去获利的相应制造业，AI 能够获得好处的，其实就是那幅度没有很大，就我们讲 ROI 其实没有很大，但是面子有差，你客户来，欸你们有这个，看起来这是一个新的技术。欸，竞争对手没有，他就对你，他就选你这个人，所以面子跟里子，那我认为现在这个阶段，面子还是比里子大，就是带来的效益，面子还是比里子多一些，里子就会问你 ROI，ROI 是多少？董事长就说可以啊，例如说，你假设你抓了，你一万台里面抓到十台有问题组装的问题。他说那这十台如果没有抓出来，你到客户那边你赔多少钱？多少钱他去去降，但我就想用，那你这个明明就可以，可以透过人的管理方式，或什么去克服啊？所以我才想啊，他到底要投资多少，投资太多，还觉得不划算那投资太少，好像还没效益，就会在这个中间会有一些拉扯。 所以这些老板在做这个决定的时候，遇到的比较大的问题，实际上在这中间会有些拉扯。就我刚刚讲的，我要不要用那么大的大语言模型。我现在工厂要买一个一百多万的服务器老板就那到时候老板说那我到底这一百多万投资下去，我能够多少 ROI 回来，他会去算这个东西啊？ 那所以这个就是他们遇到的状况。所以我一直觉得这大语言模型其实能小就尽量小就是我先讲啊，那个一个人要做的事情，我可以找五六个人去分摊啊，你可能，国英文数学物理化学都很厉害，一个人我找五个人，每一个人都只会一样，但是我们每一个运用，他在算着算用到那个算力的硬件装置，其实他就小很多。 我要精通这个五样的时候，可能要投资 100 万人，那个服务器就是那个模型。我才能找一个人懂五样，那我就把采成五个，你只懂国文，他只懂英文，就好了。那这个他所需要的硬件设备其实就小很多。
案例：LLM 和地缘政治、海外扩厂有关？
点击图片即可观看影片
利用大语言模型累积工厂知识
Ian: 会往海外当然跟整个地缘政治是有关，大家都很清楚啊，尤其最近这个所谓的可能关税的问题，但这时候怎么办呢？这很重要的，你的知识要累积，你的知识然后你的人员培训要有效、有效率。因为尤其就是像东南亚，不是同文同种，那语言沟通上或什么，所以就要尽可能的把这个因素降低的话其实大语言模型可以做到的就我刚刚讲的知识管理，如果你都累积起来，你可以透过它他就可以在其他地区，你需要的时候，你可以快速用这个大语言模型就找到例如说我现在遇到的问题，其实之前在其他地区厂区就有，但大家可以很快就 甚至它会帮你总结一个，你应该怎么做，应该怎么做所以可以节省你很多。你刚开始吧，厂建起来遇到的生产上遇到问题，就可以很快处理掉，就省下你很多的时间。
利用大语言模型做教育训练
Ian: 那第二个培训的部分，那它也可以做这个人员培训的部分，它可以结合 除了大语言模型之外像我们之前也做过这个，所谓 1.0 的部分，人员上岗的时候，我希望他有一个考核，所以透过这个所谓的 1.0 影像的方式，它会去考核他的动作，就像新人训练完，我要做一个考核，这个考核以往都是用人去看，说你今天这个动作标不标准可不可以因为这样，那你做，你训练完可不可以上线，那用人去考 那人的话就不是那么客观工程。对。那所以呢，如果你是用所谓的 AI 的方式来判断，大概就是没有什么好说的 就是你就是标准不标准 不标准设定就是只有达标跟不达标，所以这个可以用电脑这个所谓的视觉的 AI 1.0 的技术可以做到这个员工培训的部分，那就是动作的部分。
大语言模型扮演制程专家
Ian: 那另外一个就是我刚刚讲的说知识技能的部分，就是我们这个所谓的 LLM 我们内部有也有在进行就是虚拟专家的这个部分，那就刚刚讲那如果说那个语言讲不通，但是它可以通过虚拟专家大语言模型回答，它不用一个老师傅在旁边，就等同于一个老师傅，但他不是一个真人在你旁边，所以第一个人力上你会比较比较节省那第二个那些隔阂的话，因为你可以做好语言的翻译的话其实基本上他透过这个虚拟专家 其实大语言模型，它也是会拿来做所谓的 virtual expert，这样的一个功能在这里面。 Sharon: 虚拟专家是专门运用给海外工厂的管理？
Ian:其实没有，但是还就是都可以用，那我们，它还分离说研发端的或是制造端 那这个 Expert 在研发端跟制造端的所要具备的那一个 knowledge 其实就不尽不尽相同那海外端其实也是可以用，但是就是因为大语言模型有多资源多国语言，所以它也可以用当地的语言去，它可以理解你用当地语言问的问题，所以用当地语言根据资料用当地语言的方式回答你。
Sharon: 等于说今天在我到各个厂去，都会有一个主管级的人物存在，我可以随时问我要的问题
Ian: 对应该说我们以前就是中国人讲那个师傅带徒弟 那时候是真的，就是一个师傅，一个小徒弟在旁边，因为他觉得这样子可以手把手教你，但是这样子人力上其实就就会比较比较花，比较多的人力去做这样的事情。那如果有了这个，这个虚拟专家 二十四小时都可以问，所以也不用一直有人站在你旁边。然后有问题的时候，才能问。
Sharon: 那完全传承老师傅的经验。
Ian: 对对对。所以我就讲这个知识的累积就很很很重要。
那如果你的知识累积不够多，那个 virtual expert 其实也很难回答到你想要的问题，所以你要把过往的资料做『高品质的资料处理』，然后模型要训练。用这个高品质的资料去做训练，那它就可以变成一个有经验的一个老师傅
数据孤岛问题
Ian: 我们厂区除了台湾地区的话，好像海外都有，那不管是对岸或是或是东南亚，其实都有厂区，那其实很重要，这些厂区都会产生很大的资料数据，那我没办法把它就是，如果每一个厂区的资料都是锁在自己厂区里面，我们叫它那个，那个叫什么，谷仓效应，那个叫 data silo 就是它的资料就是放在它自己。那资料，别人没办法参考。那如果是这样，那么这样子的话，其实你若资料只有你自己的，那你有可能遇到问题的时候，这些可助以解决问题，我看到的是这些资料。但是如果你把所厂区资料能够汇成在一起的时候，你看到的有你从那个里面能够萃取到的，其实又是另外一件事情。 所以基本上 在这个所谓的在海外请的第一个，就是要把所有的资料能够汇集在一起，就所以那个所谓的我们有一个所谓的大数据 Big Data 里面，它有一个叫做 data lake 这样的一个概念，所有的数据都要能够汇集在一起，那需要用的人就来自这个 data lake 里面就可以取得到数据，所以是第一个要要做的事情。
全球设厂的品管问题
那第二个就是就是我刚才讲的，就是我今天台湾厂区出厂的产品，如果今天转厰转到东南亚的工厂，那不能说转到东南亚的工厂做出来的品质就跟这边是不一样的，是不可能被被接受的。所以任何一家专业的这个所谓的 EMS 的公司，不管你在哪一个工厂生产，同样的产品 可能它第一批在台湾厂生产，第二批在在越南厂生产的品质要是一样，那如何做到这个所谓的识量的一个控制跟一致性。 其实这件事情就会变得很很重要。所以我们也可以利用大语言模型来看这样的一个数据然后找出这中间到底有没有，因为转厂的时候，一些小地方，那个小地方可能不是很容易就看出来，但是如果你把整个数据摊开来看的时候，其实就可以看得到，但是要把这个数据摊开来看其实这个数据量其实很大，所以这时候就必须去用大语言模型去做这样的一个事情 让你在不同厂区能产出的产品的品质是维持一致的，这个是大语言模型会在这两个地方的。
排除数据孤岛的事情然后各地生产品质的一致性，LLM可以做到这两点。
Table of Contents
