1496
引言
在互联网与物联网（IoT）深度融合的今天，人工智能（AI）技术的加持让网络服务日趋便捷化、个性化和智能化。而生成式AI（Generative AI）的崭露头角正在为诸多行业带来新的机遇和潜力。
然而，当前AI技术的普及在很大程度上仍依赖于云端大型服务器和高性能算力，从而限制了其服务的范围与深度。为突破这一瓶颈，各大厂商都在积极布局边缘AI。像Hailo等致力于推动AI技术边界高性能处理的厂商，正致力于边缘AI技术的研发，力求解决延迟、隐私和成本等关键问题，让AI技术在更多领域得到应用。
生成式AI的广泛应用与无限潜能
生成式AI无疑是下一个引领时代的大趋势，正以其无可估量的潜能为多个领域带来巨大变革，推动各行各业的创新和发展。
对于律师、文字创作者、平面设计师等创作群体，生成式AI不仅可简化工作流程，更能为创作者节省大量时间，大幅提高工作效率。
生成式AI可帮助软件开发人员快速生成代码，包括详细的项目文档和技术手册，还可分析代码性能瓶颈，提供优化建议，改进代码执行效率和资源利用率。
在工业自动化领域，生成式AI通过学习大量工业数据和知识，可自动产生过程控制规则和程序，提高生产效率并降低成本。
在智能交通系统中，伴随图像生成和自然语言处理技术的快速发展，生成式AI可帮助交通部门和旅行者更好地监控和管理路况，并支持自动驾驶技术，提高交通效率和安全性。
在医疗领域，生成式AI有助于研发新型治疗药物，甚至是辅助医疗程序。
未来，随着技术的不断进步和应用场景的拓展，生成式AI将在更多领域展现出巨大的潜力。
生成式AI面临的挑战
尽管生成式AI前景广阔，但目前仍面临一些技术瓶颈。其主要挑战在于，运算通常依赖于远离用户的云端大型数据中心昂贵且能源消耗巨大的高性能计算处理器。每当用户向ChatGPT等生成式AI工具或新兴的AI视频会议方案发送指令时，都要通过网络将请求传送至云端进行处理，再将处理结果反馈给用户，复杂性和时延都会增加。
网络带宽限制会影响数据传输速度，导致处理速度变慢或响应时间变长。特别是在处理大规模数据或高并发访问时，带宽瓶颈问题更加突出。对需要实时响应的应用来说，这种延迟会影响用户体验。另外，用户或服务提供商网络连接不稳定或中断，还会导致服务中断或不可用。
云端运算的安全性也不容忽视。大量用户数据的云端存储和处理增加了数据泄露的风险。一旦数据中心遭受黑客攻击或用户数据泄露，都将给用户造成极大的损失。此外，由于云计算的跨地域性，用户数据可能在不同国家和地区之间传输，也增加了数据泄露风险。
云端运算成本不菲，包括前期投入、资源费用、通信费用和运维管理费用等。对中小企业来说，这些成本都是不小的负担。
随着云计算服务的普及，数据中心的规模不断扩大，服务器数量不断增加，导致能源消耗急剧上升。这不仅增加了运营成本，也对环境造成了负面影响。
总之，伴随企业不断将生成式AI应用部署到各种类型设备上，如摄像机、安全系统、工业和私人机器人、笔记本电脑乃至汽车，云端运算在带宽、成本、安全性和连接性等方面的局限性愈发凸显，已成为一个亟待解决的问题。
边缘生成式AI的崛起与优势
边缘计算是将计算任务从云端移至靠近数据源的边缘设备上进行处理，以减少数据传输的时延和消耗。由于应用是在边缘侧发起，网络服务响应更快，可满足实时业务、智能应用、低带宽需求、安全与隐私保护等方面的基本需求。边缘AI则是指将AI算法应用于边缘设备，以实现数据的实时处理、分析和决策。
得益于边缘计算和生成式AI的结合，边缘生成式AI的崛起正在实现更高效、实时的智能数据处理和决策、隐私保护、降低带宽需求、提升性能等方面发挥重要作用。
实时性：无需将数据传输到云端进行处理，大大降低了处理时延，使实时分析和响应成为可能。这对自动驾驶、工业自动化等需要快速响应的场景尤为重要。
数据隐私与安全性：无需将数据上传到云端，可以更好地保护数据隐私和安全性，特别是一些敏感数据，如医疗数据、金融数据等。
减轻云端负载：由边缘设备对数据进行初步处理和筛选，只将有价值的数据传到云端，减轻了云端负载，提高了系统整体性能。
自主性和智能化：通过学习和优化，边缘生成式AI能够自主感知、理解和响应数据，实现实时智能决策、智能控制和智能交互，使边缘设备更好地适应复杂多变的环境和任务需求。
边缘生成式AI的应用场景
边缘生成式AI为各行各业带来了更高效、实时的智能数据处理和决策能力，具有广泛的应用前景和重要战略意义。其应用涵盖智能汽车、智能家居、智能城市、智能制造等领域。
近年来，视频会议应用已司空见惯，多种形式的AI技术也已融入视频会议方案，实现了音视频质量的实时优化，还能将与会者置于同一虚拟空间。现在，生成式AI视频会议系统能够自动创建会议记录，在讨论不同主题时实时调取资源库中的相关信息。
在智能汽车与驾驶辅助系统的本地化运行方面，边缘生成式AI也扮演着重要角色。其优势在于实时性、数据隐私保护以及减少对云端资源的依赖。具体应用包括：
实时语音交互与决策：本地处理用户语音指令，大大减少处理时延，使语音交互更加实时流畅。结合生成式AI语义理解能力，智能汽车可以更准确地理解用户意图，并快速做出决策，如调整车内温度、导航路径等。
快速响应驾驶辅助：实时分析摄像头、雷达等车载传感器收集的数据，对周围环境做出快速感知和判断；在发生碰撞等紧急情况下，迅速计算出最优避险策略，并直接控制车辆执行，有效减少事故的发生。
本地化数据处理与隐私保护：本地处理车辆产生的数据，无需远程传输和云端存储，降低了数据泄露风险和对云端资源的依赖，使智能汽车在网络不稳定或中断情况下仍能正常运行。
此外，边缘生成式AI还有助于提高智能汽车的能效比，延长续航里程；利用强大的学习能力根据用户反馈和实时数据不断更新和优化模型，提高车辆智能化水平。
边缘生成式AI还有一个典型应用场景——平板电脑和手机。其应用与个人电脑类似，包括：内容生成（生成式图像和视频编辑、文本转图像、涂鸦转图像等）；提升效率（实时翻译、个人助理、图像/视频搜索、摘要总结等）；视频会议（包括虚拟形象生成、实时翻译等功能）。
当前，业界正在积极研发可轻松加载到边缘设备上的更为精简、小巧且高效的AI模型，设计在无法或不适合云连接情况下也能实现智能运行的边缘设备。
Hailo开发的执行神经网络处理专用AI处理器不仅处理AI模型速度极快，且功耗更低，广泛适用于从智能手机到摄像头的各类边缘设备。Hailo采用可精简、高效且性能强大的生成式AI数据模型设计，将边缘设备的智能运行与云端训练相结合，用边缘生成式AI再次引领了计算新范式的变革。
Hailo在边缘生成式AI领域的贡献
作为边缘AI处理器的先驱芯片制造商，Hailo最近推出了其创新的Hailo-10高性能生成式AI（GenAI）加速器，用户无需注册任何基于云端的生成式AI服务，即可在本地轻松拥有并运行GenAI应用，享受更为高效便捷的AI体验。
这款加速器的问世将开创一个边缘生成式AI的新时代。Hailo首席执行官兼联合创始人Orr Danon表示：“Hailo-10 GenAI加速器的推出使我们成功地将传统与生成式AI技术引入边缘设备，将大大拓展这项前沿技术的普及范围和应用场景。”
“Hailo-10的设计理念是将生成式AI融入用户的日常生活，摆脱云网络的束缚，以无与伦比的灵活性和即时性利用聊天机器人、智能副驾驶等新兴内容生成工具，显著提高工作效率，丰富人们的生活体验。”他说。
全新的Hailo-10 GenAI加速器支持各种应用，进一步巩固了Hailo在性能成本比和性能功耗比方面的领先地位。借助与Hailo-8 AI加速器和Hailo-15 AI视觉处理器相同的综合软件套件，Hailo-10能够轻松实现跨多个边缘设备和平台的AI功能无缝集成，为用户带来更加流畅、高效的智能体验。
无论网络连接如何，在边缘启用GenAI可确保用户随时访问GenAI服务，有效消除网络延迟问题；通过减少对云数据中心强大处理能力的依赖增强了可持续性，还能更好地保护用户隐私。
Hailo-10能够在个人电脑、智能汽车和商用机器人等边缘设备上充分释放GenAI的巨大潜能，让GenAI体验成为用户日常生活中不可或缺的一部分。Hailo-10架构能够以最低的功耗处理大型LLM（大语言模型），将GenAI性能发挥到极致，实现沉浸式GenAI体验。
在流行的GenAI平台中，Hailo-10展现出了令人瞩目的性能，在低于5W的功率下以每秒生成10个token（TPS）的速度流畅运行Llama2-7B模型。在处理Stable Diffusion 2.1（根据文本提示生成图像的流行模型）时，Hailo-10同样以超低功耗实现了每张图像评级低于5秒的出色表现。
Hailo-10的性能高达40 TOPS（每秒万亿次运算），为边缘AI加速器树立了新的性能标杆。根据最近发布的基准测试数据，Hailo-10在性能方面超越了集成神经处理单元（NPU）解决方案，功耗方面的表现也更为出色。与Intel的Core Ultra NPU相比，Hailo-10在保持功耗减半的同时，实现了至少2倍的性能提升。
Hailo-10 GenAI加速器的早期应用主要是个人电脑和汽车信息娱乐系统，以取代那些无法支持已成为标配的聊天机器人、智能副驾驶、个人助理及语音操作系统的性能不足的上一代CPU。
“无论用户是需要利用生成式人工智能进行实时翻译、总结的自动化，还是编写软件代码，抑或是从文本提示中生成图像和视频，Hailo-10都能让他们在个人电脑或其他边缘设备上直接完成，既不会给CPU带来额外负担，也不会过快消耗电池电量。”Orr Danon总结道。
据了解，Hailo计划从今年第二季度开始向市场提供Hailo-10 GenAI加速器的样品。
结语
生成式AI与边缘计算的结合已展现出无限潜能，正在共同推动行业的创新与发展。边缘生成式AI在实时性、成本效益、数据隐私与安全性、减轻云端负载以及自主性和智能化等方面显示出了巨大优势，开始应用于智能汽车、智能家居、智能城市、智能制造等领域的各种应用场景。
作为边缘AI处理器的领先芯片制造商，Hailo推出的Hailo-10高性能生成式AI加速器为用户提供了摆脱云端束缚，在本地运行生成式AI应用的可能性。这一创新技术不仅显著扩大了生成式AI技术的应用范围和影响，还为用户带来了无与伦比的灵活性和实时体验。
下载ECAD模型
