如果我能发起一场运动，那就是让AI安全成为一等公民，就像安全和隐私一样。在我成长的过程中，我被教导保护人们的信息和隐私是理所当然的正确之事。今天，随着AI融入我们接触的一切事物，这种思维模式同样需要延伸到我们如何保护它的安全。我们围绕数据保护建立了强大的框架，如PII标准和GDPR，因为我们重视人类隐私。但想想人们现在与AI系统分享的个人信息量有多大，无论是在云端，还是在家庭、汽车或医院的设备上。这些互动值得同等级别的保护与关怀。
随着世界日益互联，嵌入式设备在日常应用中的使用正在激增，从智能家居系统到工业控制单元都是如此。虽然这种进步带来了前所未有的便利和效率，但也带来了日益增长的安全挑战。随着人工智能集成到这些设备中，其复杂性和潜在的脆弱性成倍增加。网络犯罪分子正在利用AI和嵌入式设备的交叉点，对数据隐私、系统完整性甚至公共安全构成严重风险。这些技术是如何让嵌入式系统更容易受到网络攻击的？AI引入了哪些漏洞？最重要的是，我们如何在受益于AI带来的进步的同时，减轻这些风险？作为本系列访谈的一部分，我们有幸采访到了Venkata Sai Kishore Modalavalasa。
Venkata Sai Kishore Modalavalasa是Straiker的首席架构师和工程负责人，他在那里构建由AI驱动的安全产品，以大规模保护AI原生应用。他在网络安全和分布式系统领域拥有超过十年的经验，曾带领产品从0到1，将Cyberfend从一家初创公司发展到被Akamai收购。在Akamai期间，他领导了机器人检测和Web安全领域的工程工作，开发先进的检测引擎，构建大规模安全平台，并指导高绩效团队。作为OWASP的活跃作者和贡献者，Modalavalasa先生参与了AI BOM（AI物料清单）和Agentic AI安全等倡议，并共同领导FinBot Agentic Security CTF项目，推动新兴AI安全领域的社区驱动型创新。他的职业生涯融合了深厚的技术专长和将创新安全解决方案推向市场的领导力。
非常感谢您加入我们的访谈系列！在我们深入探讨之前，我们的读者想了解一下您。能跟我们聊聊您的成长经历吗？
我在印度长大，那时候家里有台电视甚至是一部电话都是件大事。我的父亲，我的英雄，他非常重视教育，并教导我要有同样的纪律和对学习的好奇心。我总对事物运作的原理着迷，所以我会花几个小时拆解我能弄到的任何东西，比如旧收音机、卡带播放器，甚至有一次还拆了台录像机。当然，并非所有东西都能在我的“实验”中幸存下来。我烧坏过几块主板，但这也是乐趣的一部分。我的父母从不劝阻我；他们只是告诉我要从中学习。这种好奇心与鼓励的混合体，在我明确知道自己想成为什么之前，就塑造了我心中的工程师形象。
有没有一个特别的故事激发了您追求这个领域的职业生涯？我们很想听听。
真正的火花来自于我能进入学校的计算机实验室。虽然地方不大，但感觉就像另一个世界。我意识到你可以无休止地用软件捣鼓，而不用担心会弄坏什么昂贵的东西。硬件实验有其局限性，但软件没有。我可以随心所欲地测试、失败和重建。这种探索的自由让我尝到了工程学的滋味：富有创造力、逻辑性强且能带来深深的满足感。从那时起，我就被迷住了。无论是调试代码还是理解电路设计，我都把它们看作是等待解决的谜题，这种心态一直伴随着我。
在我职业生涯的早期，我曾在一个团队中参与开发防御措施，以应对最早的大规模撞库攻击之一。看到自动化如何能将本为便利而生的系统武器化，这让我大开眼界。那件事塑造了我的理念：“从云到AI的每一次技术飞跃，都会引入一个新的安全前沿。” 这一认识驱使我更进一步，去构建能够像威胁一样快速演变的防御体系。
您能分享一个自从您开始这个迷人的职业生涯以来发生的最有趣的故事吗？
在加入Straiker之前，我在Akamai工作了大约七年半。在那段时间里，有一次，一条推文导致我们在圣克拉拉的办公室关闭了一周。这是因为我们经常帮助大型零售品牌检测和阻止恶意机器人，从库存爬虫到试图买光限量版产品的黄牛。在那次特定事件中，涉及一款备受瞩目的运动鞋发布。我们的系统成功阻止了一个囤积所有库存的僵尸网络，确保了真正的顾客有公平的机会购买。
不久之后，那个僵尸网络背后的操纵者通过Twitter向我们圣克拉拉办公室发来威胁，附上了我们办公室的照片和一条警告信息，让我们“小心点”。意识到数字防御竟能引发如此激烈的现实世界反应，感觉很不真实。办公室关闭了一周，同时安全团队处理此事。现在回想起来，这件事提醒我，网络安全不仅仅是抽象或技术性的，它关乎大规模地保护人们和公平。那一刻更加坚定了我从事这份工作的信念。
您目前正在开展任何令人兴奋的新项目吗？您认为这些项目将如何帮助人们？
我最新的项目是加入我的初创公司Straiker以来承担的。在大型、结构化的公司工作多年后，能够灵活地快速行动、进行实验并从头开始构建创造性的解决方案，让人感到耳目一新。每一天都像是对好奇心和解决问题的能力的混合考验。你看到一个挑战，然后就可以立即去修复它。
作为一个整个职业生涯都投身于安全领域的人，我目睹了AI如何让强大的工具更容易被攻击者获取。但这也意味着我们可以利用AI以更智能的方式进行防御。目前，我专注于像对手一样思考，以使agentic AI应用程序更具弹性。最好的部分是看到这些学习成果通过运行时AI护栏转化为对我们客户的真正保护，这些护栏可以保护他们模型的输入和输出。这是一项快节奏、创造性的工作，老实说，乐趣无穷。
好的，谢谢。现在让我们进入正题。您能否向我们的读者简要解释一下，将AI集成到嵌入式设备中，可能使其更容易受到网络攻击的关键原因是什么？
AI正为嵌入式系统带来一个全新的复杂层面。传统上，这些设备运行在可预测的逻辑上：你确切地知道会得到什么输入，以及产生什么输出。但当你引入AI时，这种可预测性就消失了。突然间，你要处理的是从未设计在低功耗硬件上运行的模型、数据管道和推理引擎。为了让它们适配，工程师常常不得不做出一些可能削弱安全性的权衡。
AI模型基于数据进行学习和适应，这意味着它们的行为会随着时间推移而变化。这为攻击者创造了新的可利用切入点。他们可以以前所未有的方式操纵这些系统。例如，我们的研究团队最近发现，一个由AI驱动的面部识别系统可以被一张打印的图像欺骗，从而允许未经授权的访问设备。这是一个简单但有力的提醒：当AI在边缘运行，在计算能力和保护都有限的设备上运行时，那些小小的妥协可能会变成巨大的漏洞。
您能否详细阐述一下AI赋能的嵌入式设备特别容易受到攻击的具体网络攻击类型或漏洞，或许可以举一个最近引起您注意的例子或案例研究？
AI赋能的嵌入式设备面临着新旧攻击媒介的混合。一大类是对抗性输入攻击，攻击者巧妙地改变传感器所见或所闻，以操纵模型的决策。例如，研究人员已经证明，通过修改一个停车标志，自动驾驶汽车中的视觉模型可能会将其解读为限速标志。同样的原理也适用于医学影像或基于语音的设备，输入中的微小扰动可能产生不安全或误导性的输出。
还有一类攻击是针对模型和系统本身的。由于许多嵌入式设备在本地存储AI模型，如果未实施加密或签名，攻击者可以提取、窃取甚至替换它们。固件和供应链攻陷是另一个担忧；一个被篡改的更新可以轻易地在现场数千台设备中传播。而且，由于这些系统常常从数据中学习或适应，在训练期间投毒这些数据可以悄悄地破坏设备的行为方式。当你将有限的计算能力、修补挑战以及AI固有的复杂性结合起来时，除非从一开始就构建安全性，否则这些设备会变得高度暴露。
您认为AI数据处理和学习能力的固有特性，是如何无意中扩大了嵌入式设备的威胁面的？这与没有AI的传统嵌入式系统相比如何？
传统的嵌入式系统在很大程度上是基于规则和确定性的——你按下一个按钮，它遵循一组预定义的指令，输出是可预测的。AI彻底改变了这一点。当你将学习模型引入其中时，你就引入了不确定性和对数据的依赖性。系统现在必须解释非结构化输入，识别模式，并做出概率性决策。这种灵活性很强大，但它也模糊了“安全”或预期行为的界限。
在传统固件中，攻击者需要深厚的逆向工程技能来操纵逻辑或注入代码。而对于AI赋能的设备，攻击面更广，也更容易触及。像修改输入数据、精心制作对抗性提示或微妙地影响模型训练这样简单的事情，就可以在不触及代码的情况下改变行为。想象一个现在接受自然语言输入的医学影像设备或诊断助手。攻击者可以利用该接口来影响其决策。因此，我们现在拥有的不是一个可预测、受规则约束的系统，而是一个可以被引导至意想不到方向的系统，这使得嵌入式AI既能力更强，也暴露得更多。
具备AI能力的嵌入式设备无疑提供了一系列先进的功能和好处。您认为组织如何在利用这些优势和确保强有力的网络安全措施之间取得平衡？
平衡AI能力与安全性的最佳方式是从设计之初就考虑防护。安全必须从第一天起就融入开发过程，而不是在部署后附加。这意味着要尽早建模潜在威胁，让你的AI系统接受红队测试，并在它们投入生产前了解它们在压力下的可能表现。
即使是资源受限的嵌入式设备，也有有效的保护措施。**加密你的模型，保护你的固件更新，并保持你的硬件信任根完整。**监控你的模型如何随时间演变，并检查它们的行为是否偏离了你的预期。这些步骤确保你增加的智能不会以牺牲可靠性或安全性为代价。在我看来，安全必须与AI共同发展，而不是落后于它。
随着工业4.0和智能工厂的兴起，在供应链中促进产品安全的策略和方法是如何演变的？
在工业4.0环境中，最大的挑战是嵌入式设备通常来自不同的供应商，这在供应链中造成了自然的信任缺口。像审查供应商、保护固件更新和维护签名软件包等传统最佳实践仍然至关重要，但AI引入了一个需要更深层次可见性的新维度。你现在必须考虑一份“AI物料清单”，或称AI-BOM，它不仅追踪硬件和软件组件，还追踪嵌入系统中的数据、模型和推理引擎。
这意味着要知道你的模型在哪里训练的，使用了哪些数据集，包含了哪些库或第三方插件，以及每个组件是如何进行版本控制和验证的。每个元素都应该被数字签名、持续认证，并在其整个生命周期内监控其完整性。 以这种方式加强供应链安全有助于确保在边缘运行（无论是在智能工厂、车辆还是医疗设备中）的任何东西都是可信的，并且在部署之前或之后没有被篡改。
这是我们访谈的核心问题。关于“AI赋能的嵌入式设备的漏洞，每个人都应该知道的前5件事”是什么？（请为每一点分享一个故事或例子）。
-
AI扩大了攻击面。 每一个新组件，如模型、框架、数据流或库，都会增加潜在的薄弱点。例如，一个使用过时AI库（如TensorFlow）的智能摄像头，可能通过该框架中已知的漏洞而被攻陷。
-
对抗性输入可以欺骗AI模型。 由于嵌入式设备依赖于连接到物理世界的传感器，攻击者可以操纵输入来欺骗它们。隐藏在背景音频中的几个对人类来说是噪音的语音命令，可以触发智能助手执行非预期的操作。
-
模型窃取和篡改是真实存在的威胁。 许多嵌入式设备在本地存储未加密的AI模型，这使得竞争对手或攻击者很容易提取或替换它们。这可能导致知识产权被盗，或模型被破坏，从而泄露敏感数据或行为不可预测。
-
被投毒的数据导致被投毒的决策。 如果AI模型在不良或被操纵的数据上重新训练或微调，其输出可能会变得危险地不准确。想象一下，一个值得信赖的医学影像设备，因为其模型在受污染的输入上被悄悄重新训练，而产生了错误的诊断。
-
薄弱的安全基础放大了AI风险。 低功耗设备为了节省资源，常常跳过核心保护措施，如加密或安全启动，并且可能几乎没有监控。当你在那个薄弱的基础上叠加AI时，它会成倍地增加暴露面。一个妥善保护的固件层可以在攻击者触及AI系统之前，充当第一道也是最关键的一道防线。
让我们花一分钟谈谈未来。鉴于AI及其在嵌入式系统中实现的快速发展，您认为在未来5到10年内，这种漏洞的发展轨迹将走向何方？是否有任何新兴技术或实践可能减轻这些风险，或者可能加剧它们？
当我思考嵌入式系统中AI的未来时，我是以非常现实的角度来思考的。最近我在医院的时候，不禁注意到我们周围所有的医疗设备。我发现自己想知道几年后这些系统会变成什么样子。其中许多机器很可能内置了AI，实时分析数据以帮助医生做出更快、更准确的决策。事实上，我的家庭医生已经在使用AI摘要工具，这样他就能把更多时间花在我身上，而不是做笔记。这就是我们前进的方向——AI就在边缘，集成在我们依赖的每一个关键系统中。但这种规模也意味着更广泛的攻击面和更多一旦部署就难以修补或更换的设备。其中一些设备在其支持结束后仍将长期运行，悄悄成为仍然处理敏感信息的幽灵设备。
在未来十年内，我认为行业将开发出更强大的AI安全框架来指导我们如何保护这些系统，比如模型签名、持续测试和运行时护栏之类的东西。如果我们做对了，AI将使嵌入式系统更高效、更安全，甚至能够拯救生命。如果我们做错了，我们就有可能让数十亿智能设备暴露在故障或被利用的风险之下。对我来说，这个想法既令人振奋，也让人警醒，尤其是当我想到下一代人将在其中成长的世界时。
您是一位具有巨大影响力的人。如果您能发起一场能为最多人带来最大益处的运动，那会是什么？您永远不知道您的想法会引发什么。:-)
如果我能发起一场运动，那就是让AI安全成为一等公民，就像安全和隐私一样。在我成长的过程中，我被教导保护人们的信息和隐私是理所当然的正确之事。今天，随着AI融入我们接触的一切事物，这种思维模式同样需要延伸到我们如何保护它的安全。我们围绕数据保护建立了强大的框架，如PII标准和GDPR，因为我们重视人类隐私。但想想人们现在与AI系统分享的个人信息量有多大，无论是在云端，还是在家庭、汽车或医院的设备上。这些互动值得同等级别的保护与关怀。
如果我们能以对待安全和隐私的同等严肃性来对待AI安全，我们将构建出人们能够真正信任的系统。这就是我想引领的运动，让AI安全成为日常思维的一部分，而不仅仅是工程师要解决的技术问题。
我们的读者如何能在网上进一步关注您的工作？
您可以在Straiker网站上找到我的博客，也可以在领英上与我联系。 www.linkedin.com/in/saikishu…
非常感谢您分享这些重要的见解。我们祝愿您持续成功并身体健康！FINISHED CSD0tFqvECLokhw9aBeRqo9/au9CydsfGizS4d2YaawK+T50jytLqVJabGXahQwgLfv6UfRuy8zOXXFh12TAgEohiX4Z1hnr3Hdrak0aewLwqQq9UhXSrQqRscfJ3dP8pi2N0+rvLptzdAnVKufWbvuiMJ6f9bg/0DWQOSUOffqTofmR7Sh5mfuOPagxdt6A
