广和通：“轻量级”小模型如何发挥“重量级”作用？

发布时间：2024-07-30 09:19
作者：AMEYA360
来源：广和通
阅读量：1288

　　当大家都还在钻研参数规模达百亿甚至千亿级的大模型时，精巧且兼具性能的小模型已逐步应用于边缘智能终端与嵌入式系统，以“小身板”发挥大作用。相较于大模型，小模型更便于在计算能力和存储空间受限的智能终端运行，在边缘侧即完成计算。

广和通：“轻量级”小模型如何发挥“重量级”作用？

　　端侧AI模型的趋势，变得“越来越小”。

　　大模型指的是参数量巨大的机器学习模型，参数数量通常在数百亿到数千亿之间，具有强大的计算能力和推理能力，获得更好的性能。“小模型”则是参数量在数亿到数十亿之间，存储和计算资源方面的需求相对较低，能够在端侧进行部署和推理。

　　为达到更好的训练效果，小模型的训练语料库可能比大模型更强大，使每一个参数更具价值。另一方面，以大模型为基础，通过知识蒸馏(Knowledge distillation)、量化、剪枝等模型压缩方法也是打造高质小模型的方式之一。今年4月，Meta发布了最新一代大模型Llama 3，其小参数模型效率高于Llama 2的大参数模型。如何让更小的模型具备更好的效果，已然是大模型公司的竞争焦点。

　　相比于不得不部署于云端的千亿参数大模型，小模型可在边缘侧实现快速部署和运行，提高终端边缘计算能力和效率。这种“瘦身型”AI算力部署，将提高智能终端的运算能力，实现更多自我学习、自我工作、自我决策的功能。

广和通：“轻量级”小模型如何发挥“重量级”作用？

　　广和通基于高通QCM6490处理器的解决方案搭载了8核高性能处理器，其最高达13TOPS的算力可高效地进行数据计算与处理，运行各类0.5B/1.8B/3B/7B的开源大语言模型，为智能支付、自助服务机、工业检测、具身智能等终端提供了边缘计算的能力。此外，该解决方案还可运行精简小模型，帮助客户在成本、性能、存储、效率上达到平衡。

广和通：“轻量级”小模型如何发挥“重量级”作用？

　　无论是大模型，还是小模型，应用的根本是打造离用户更近的模型，助力各类场景智能化。面向端侧AI部署需求，计算效率高、资源占用少、快速迭代的小模型更能定制化地实现边缘计算能力，充分发挥“高效率”的大作用。


（备注：文章来源于网络，信息仅供参考，不代表本网站观点，如有侵权请联系删除！）

上一篇：松下集团斩获11项红点奖!

下一篇：思瑞浦发布支持振铃抑制功能的汽车级CAN SIC收发器TPT1462xQ

在线留言询价

相关阅读
广和通亮相MWC DOHA 2025，以5G+AI赋能中东AIoT变革
行业新闻

广和通亮相MWC DOHA 2025，以5G+AI赋能中东AIoT变革

　　11月25-26日，MWC DOHA 2025以“人工智能枢纽、智能经济、行业互联”三大主题，探讨中东数字未来新机遇。广和通携系列5G与AI解决方案亮相，展示如何通过AI与5G的深度融合，助力物联网设备升级为具备自主感知、分析和决策能力的智能终端。　　在MWC Barcelona 2025期间，广和通正式发布了“AI For X”战略，宣布广和通从“互联”向“智联”全面升级。这一战略的核心是将人工智能技术深度植入物联网设备的每一个环节，致力于让每个物联网设备都能用上AI。在此次MWC DOHA展上，广和通展示了“AI For X”战略执行下的解决方案成果，涵盖了移动宽带、智慧零售、智慧能源等多个领域。　　广和通在展会上展示了多款搭载5G模组的FWA解决方案，覆盖CPE、ODU、MiFi、Dongle等丰富终端形态。为更好满足运营商和FWA终端客户对“FWA+AI”的需求，广和通推出了“天擎”解决方案，包含Modem AI SDK、Smart Home SDK、Gen AI SDK、FIBO xOS Platform四大组件，可通过API接入ChatGPT、DeepSeek等大模型，具备AI Agent功能，使得AI FWA成为家庭和企业的“AI管家”。　　在智慧能源领域，广和通展出的多款Cat.1/Cat.M模组，以精巧尺寸、低功耗、全球频段覆盖、稳定网络兼容性等优势特性，为智能表计、资产追踪等场景提供连接解决方案。通过智能与通信相融合，广和通智慧表计解决方案可实现表计读数采集与上传，异常数据实时监测，帮助能源和表计企业提升运维效率，提高运维安全性。　　广和通QuickTaste AI为餐饮行业带来革新性的AI人机交互和多语言翻译体验。这款集成AI Agent的智能解决方案，通过其智能自适应能力，适用于多种设备，并将率先在联迪商用智能终端上部署。借助高通跃龙™IQ系列产品强大的边缘AI计算能力，QuickTaste AI能够实现自然流畅的人机交互、实时精准的多语言翻译、智能推荐和个性化服务等多项创新功能。QuickTaste AI支持大语言模型，为产品提供了强大的语言理解和生成能力，使其在语言交互方面表现卓越，有效打破了全球零售市场中的语言壁垒，适应不同国家和地区的市场需求。　　广和通受邀参加MWC DOHA 2025，也彰显了中国科技企业在全球物联网市场日益增强的影响力。在数字时代，广和通通过“AI For X”战略将AI融入各个行业的智能设备中，使能万物具备思考力。诚邀莅临MWC DOHA 2025广和通展台(多哈会展中心#E44)现场交流，共探中东数字化转型创新机遇。
2025-11-26 10:22 阅读量：284
广和通发布AI Dongle解决方案，助终端畅享AI体验
行业新闻

广和通发布AI Dongle解决方案，助终端畅享AI体验

　　11月20日，广和通创新发布AI Dongle解决方案，为个人PC、NAS等设备提供移动AI算力支持。该方案内置高性能、低功耗NPU，使得终端在边缘侧即可进行LLM大模型实时推理任务，为问答助手、以文搜图、会议纪要总结等协同办公等边缘应用提供AI功能。　　即插即用的AI体验　　AI Dongle解决方案专注于解决边缘设备在实时推理、数据隐私和能效优化等多方面挑战。通过USB接口供电和数据传输，AI Dongle便携易用、免驱免配置，可实现即插即用，将AI推理能力带到任何具有USB接口的设备。　　数据隐私保护是AI Dongle的另一大优势，通过端侧处理，敏感数据可以保存在本地，无需上传至云端，特别适用于智能会议、个人助理等涉及隐私的场景。　　AI Dongle目前搭载高通跃龙™ QCS6490处理器，提供12TOPS算力，后续，根据差异化应用场景，AI Dongle可提供不同的算力配置，满足从轻量化AI任务到复杂大模型推理的多样化需求。广和通不仅提供端侧算力，还基于自研Fibocom AI Stack，通过OpenAI API接口接入主流模型，应用开发者只需简单配置即可调用端侧模型和算力。　　从PC到NAS的全面赋能　　通过插入普通电脑的USB接口，AI Dongle能够为智能会议系统等应用提供强大的AI算力支持，即使在断网环境下也能实现多语种实时翻译和会议纪要生成。　　面向AI应用开发者，这一解决方案大大降低了开发门槛。开发者无需购买昂贵的专用AI工作站，只需将AI Dongle插入现有电脑，就能获得强大的AI推理算力，用于模型调试和应用开发。创意工作者则利用AI Dongle为图像处理、视频剪辑等软件中的AI加速插件提供额外的计算能力，显著提升工作效率。　　当AI Dongle与网络附属存储(NAS)设备结合，既能提供集中存储的空间，又具备了专门的AI计算能力。AI Dongle与NAS结合特别适合智能家居和安防场景，可以对存储在本地的监控视频进行实时分析，实现人脸识别、行为检测等功能，同时确保数据隐私。对于中小企业协同办公，NAS+AI Dongle的解决方案能够提供安全且高效的内容管理与处理能力，支持文档分析、智能分类等应用。在科研和边缘计算领域，这一组合提供了数据本地处理与分析的理想平台，既保障了研究数据的安全，又降低了云端传输的负担和延迟。　　灵活拓展至更多应用　　目前，广和通提供了两个DEMO应用，包括知识问答、音视频转写总结，后续将推出本地知识库应用。AI Dongle解决方案即将适配腾讯Youtu-Agent等开源智能体框架，助力用户更便捷地利用腾讯优图技术，在AI Dongle上开发出强大的视觉处理或智能交互类应用。　　“广和通AIS事业部总经理刘子威表示：　　AI Dongle将加速AI融合各类智能终端，提供便携易用、高拓展性的AI+解决方案。广和通将积极与端侧AI产业链合作，探索更多元化的AI算力拓展方案，助力更多产业智能化升级。
2025-11-21 16:22 阅读量：259
广和通小尺寸低功耗Cat.M模组MQ771-GL实现送样，专注资产追踪应用
行业新闻

广和通小尺寸低功耗Cat.M模组MQ771-GL实现送样，专注资产追踪应用

　　11月，广和通宣布Cat.M模组MQ771-GL正式进入工程送样阶段。MQ771-GL凭借极致尺寸、超低功耗、全球频段覆盖和稳定网络兼容性四大核心优势，为资产追踪等物联网场景提供高性价比的连接解决方案，助力LPWA技术迈向规模化商用。该模组旨在满足资产追踪设备对长续航、高可靠性和精确定位的严苛需求，推动行业创新发展。　　双模支持，灵活部署　　MQ771-GL支持3GPP Release 14 Cat.M1和NB-IoT标准，兼容全球主流频段，适用于北美、欧洲、亚洲等地区的LPWA网络部署，便于资产追踪设备实现全球稳定连接，适应复杂环境下的灵活应用。　　精巧尺寸，超低功耗　　MQ771-GL采用先进的电源管理技术，支持PSM(省电模式)和eDRX(扩展不连续接收)功能，显著延长设备电池寿命。在PSM模式下，待机电流低至微安级(μA)，功耗相较于上一代产品降低75%，可应用于智能水表。eDRX功耗相较于上一代产品降低90%，适用于燃气表、资产追踪器等需要长期户外工作的设备，确保数年以上的续航能力。模组采用17.7mm*15.8mm 的LGA封装设计，与广和通多款Cat.1模组Pin脚兼容，便于客户灵活迭代。小巧尺寸适合空间受限的追踪设备，便于集成和部署。　　增强性能，丰富接口　　MQ771-GL支持MQTT/CoAP/LwM2M等丰富网络协议，并兼容UART/I2C/I2S等标准接口，便于拓展至各类资产追踪终端。在定位能力上，模组内置Soft GPS定位功能，提供高精度位置数据，满足资产实时监控与轨迹追踪需求。同时，MQ771-GL内置硬件级安全引擎，支持数据加密与安全认证，保障设备与网络通信的安全性，防止数据泄露和未授权访问。　　广和通MTC事业部总经理刘荪枝表示：“MQ771-GL进入工程送样阶段，其极致尺寸与超低功耗设计将大幅降低资产追踪终端的开发门槛，加速物联网规模化连接。未来，我们将持续深化与垂直行业的协同创新，推动低功耗、广连接技术在资产追踪等场景的快速商用落地。”
2025-11-20 14:10 阅读量：281
欧菲光与广和通联合首发ToF+双目感知定位模块
行业新闻

欧菲光与广和通联合首发ToF+双目感知定位模块

　　11月，欧菲光与广和通共研共创，首发ToF+双目感知定位模块，即将批量交付，将机器视觉感知与端侧AI模型进行融合，实现新一代智能割草机在深度估算与定位感知性能的全面跃升，为其智能化升级注入新动能。　　双方联合首发ToF+双目感知定位模块　　作为光学光电产业龙头企业，欧菲光深耕机器视觉领域多年，在2022年率先推出专为割草机工况量身打造的ToF解决方案，成功实现了割草机在室外环境下结合AI识别+高精度动态立体感知避障，以及回充基站精准识别等核心功能，为割草机智能化升级奠定了坚实基础。　　历经3年技术深耕与迭代优化，欧菲光首发ToF+双目感知定位模块，结合广和通AI双目深度模型，实现了多维度感知、硬同步高时效、高清深度输出、ToF高效低耗解算、恶劣环境防护、独特的场景适配等技术优势，引领智能割草机行业传感器技术新潮流。　　模块结构3D分解图　　得益于欧菲光ToF+双目感知定位模块和广和通的端侧AI双目深度模型，该传感器解决方案可满足各种复杂工况下的稳定工作需求。此方案具备多维度感知能力，可精准感知周围环境中的障碍物并进行AI图像分割和目标检测;内置了高精度VIO(视觉惯性里程计)算法，可实时输出移动机器人所需的定位信息;此外该解决方案拥有ToF+AI双目深度融合输出功能，深度测量误差小于1%，ToF模块通过CPU单核即可完成深度解算，大幅降低了硬件资源消耗。　　值得一提的是，部署了端侧AI深度模型的双目RGB模块，可精准识别透明水瓶、玻璃门等ToF难以识别的物体;而ToF模块则能辅助双目RGB模块在暗光、强逆光、无纹理等识别受限场景下的真实、准确的深度真值数据输出，二者协同互补，进一步拓宽了方案的适用场景。　　ToF+双目感知定位模块在割草机的应用模拟示意图　　此次双方联合首发的ToF+双目感知定位模块，解决了割草工作环境复杂恶劣、户外干扰因素多、硬件资源消耗过大等行业痛点，可实现全天候、全工况场景、抗干扰高精度作业，极大的提升用户的使用体验。　　“欧菲光机器视觉研发总经理肖德塘表示：　　欧菲光始终坚持’创新产品概念+客户共研共创’的研发思路，与广和通在产品和技术上有共同追求。双方将继续合作共赢，以创新驱动技术变革，拓展机器视觉技术延伸至更多场景应用。　　”“广和通AIC事业部总经理张泫舜表示：　　我们很高兴能与欧菲光在ToF+双目感知定位模块上实现合作。未来，广和通与欧菲光继续深化合作，携手推动领先AI技术方案跨领域应用，同步平移至四足机器人、人形机器人等领域，持续赋能更多机器人应用场景落地。
2025-11-07 13:20 阅读量：377
热门分类
盒子，外壳，机架 电缆，电线 电路保护 连接器，互连器件 开发套件 机电产品 嵌入式解决方案 风扇，热管理 光电元件 其它 无源元件 电源 半导体 传感器，变送器 测试与测量
  • 一周热料
  • 紧缺物料秒杀
型号 品牌 询价
CDZVT2R20B ROHM Semiconductor
BD71847AMWV-E2 ROHM Semiconductor
MC33074DR2G onsemi
TL431ACLPR Texas Instruments
RB751G-40T2R ROHM Semiconductor
型号 品牌 抢购
IPZ40N04S5L4R8ATMA1 Infineon Technologies
TPS63050YFFR Texas Instruments
BP3621 ROHM Semiconductor
ESR03EZPJ151 ROHM Semiconductor
STM32F429IGT6 STMicroelectronics
BU33JA2MNVX-CTL ROHM Semiconductor
热门标签
ROHM
Aavid
Averlogic
开发板
SUSUMU
NXP
PCB
传感器
半导体
原厂授权品牌
更多授权品牌>>
资讯排行榜
  • 周排行榜
  • 月排行榜

相关百科
关于我们
AMEYA360微信服务号 AMEYA360微信服务号
AMEYA360商城(www.ameya360.com)上线于2011年，现 有超过3500家优质供应商，收录600万种产品型号数据，100 多万种元器件库存可供选购，产品覆盖MCU+存储器+电源芯 片+IGBT+MOS管+运放+射频蓝牙+传感器+电阻电容电感+ 连接器等多个领域,平台主营业务涵盖电子元器件现货销售、 BOM配单及提供产品配套资料等，为广大客户提供一站式购 销服务。

请输入下方图片中的验证码：

验证码