近日，在英国皇家航空学会伦敦“未来空战和空间能力”研讨会上，美国空军负责AI测试和运营的汉密尔顿上校披露，在美国空军进行的无人自主武器攻击试验中，无人机出现违背指令并攻击操作员的事例。随后，美国空军方面否认进行了此类试验。6月2日，英国皇家航空学会发表声明，称汉密尔顿透露的相关测试只是“假设性的思想试验”，汉密尔顿的发言“被断章取义了”。
在人类社会主要由自然力主导的低技术时代，人们对大自然充满敬畏、恐惧和无边的想象。当技术进步到决定性地影响社会发展的现代，人们开始对具有颠覆性作用的新技术产生了类似的恐惧和联想。
的确，人工智能产生的能力已经在某些方面超过了人类，例如，“深蓝”战胜国际象棋大师卡斯帕罗夫，“阿法狗”战胜人类一流围棋选手柯洁、李世石。这样的能力来自人类对人工智能系统的硬件赋能、软件和数据赋能。
(相关资料图)
人工智能在某一项具体功能、能力上超越人类，并不证明人工智能系统已经具有威胁人类的能力。人工智能的数学模型、智能算法等都是人类设计，人工智能据此进行反复迭代的数据，都来自人类的“投喂”。人类能够将自身能力赋予智能系统的前提，是人对自身的能力，尤其是思维能力的完全掌握，并且以技术方式赋予计算机系统。然而，人类对自身，尤其是大脑的思维活动至今并没有完全搞清楚，未知部分是不可能赋予计算机系统的。
科幻作家泰德·姜认为，目前人工智能的本质仅是应用统计学，即其思维逻辑仅仅是在大量数据统计的基础上，选择可能性最大的选项。这个判断或许比较文艺，但并非妄言。如围棋人工智能“阿法狗”，不管其算法如何复杂，它的下一步行棋，确实是选择棋盘中相对“价值最大”的位置。而这，离自主意志还有很远的距离。
人与武器实现最佳契合是达成最佳战场效果的基础。在人工智能出现之前，人与武器的契合度主要表现为人对武器装备的娴熟使用。在武器装备系统日益复杂化、技术化之后，侦、判、打、评或观察、定向、决策、行动的作战过程，每个环节都形成相对独立的装备和系统。信息化、智能化的加入，武器系统不仅可以发挥破坏作用，而且可以取代人的部分思维。这就产生人与武器系统之间怎样区分功能、作用，最关键的是人与武器系统怎样分配权限。
在区分人与武器的权限之前，要搞清楚“自动”与“自主”之间的区别。所谓“自动”是指原有机械化过程的全自动完成。过程的步骤和每个步骤的先后顺序，以及每一步的结果都是确定的。按照既定的流程、方式，无需施加人的控制，全过程自动完成。
所谓“自主”，是指整体程序、主要流程、大的节点是确定的，但过程中存在一定的不确定性。遇到突发意外情况时，其应对策略来自确定的模型和算法，但在某些细节上允许系统依据数据自主作出决策。
到底是操作员启动攻击，还是无人机自主攻击，或在什么条件下人工启动攻击，在什么条件下无人机自主攻击，这就是操作员与无人机权限的分配问题。
2004年以来，美国军方和中央情报局在海外的无人机空袭造成9000人至1.7万人死亡。2021年7月，美国前空军情报分析员和无人机操作员黑尔透露，在他执行无人机“定点清除”任务时，有不少人是无辜的。黑尔因为受到良心的煎熬，向媒体透露了一些事实，他这样做的代价是因“泄密罪”被判刑45个月。在面对舆论谴责时，美国军方拒绝为无人机误杀平民道歉。
事实上，在得到一些“恐怖分子”混杂在平民之中活动的情报后，无人机操作员控制无人机找到目标，不管无人机的侦察器材还是操作员本人，都很难将“恐怖分子”从平民中分离出来。操作员面临为了确保平民安全放弃攻击，还是将平民和“恐怖分子”都作为攻击对象的严酷选择。美国军方如果承认这样的攻击是错误的，将只能今后放弃用无人机执行此类攻击任务。
既然人工智能没有自主意识，也不会本质性威胁人类，那么，为什么还有那么多重量级人物发声对此表示警惕，甚至要求限制人工智能的研发和应用？美国前国务卿基辛格在2018年《大西洋》月刊上的一篇文章中称：核武器具有毁灭性，人工智能的能力有过之而无不及。马斯克和包括图灵奖得主在内的近千名科学家、企业家，联名呼吁叫停大规模人工智能研究。
破坏力由能力与意愿构成。人工智能本身不具有破坏意愿和自主意志，但是，它所具有的巨大破坏能力，一旦与人的破坏意愿相结合，就会导致毁灭性后果。核武器本身同样不具有破坏意愿，但它与人的破坏意愿结合的结果，在二战末期已经小试牛刀、令人惊骇。
为此，对人工智能的研发和应用，尤其是在军事领域的应用进行管理、控制和规范，就显得尤其重要。2019年10月，美国国防创新委员会发布《人工智能原则：国防部人工智能应用伦理的若干建议》，为人工智能军事应用提出了“负责、公平、可追踪、可靠、可控”五大原则，这从理论上构成了人工智能军事应用的基本规范。
2021年12月，中国发布《关于规范人工智能军事应用的立场文件》，呼吁各国秉持“智能向善”的原则，遵守国家或地区伦理道德准则，包括不通过人工智能技术谋求绝对军事优势，防止损害全球战略平衡与稳定。2022年11月，中国向联合国《特定常规武器公约》缔约国大会提交《关于加强人工智能伦理治理的立场文件》。今年4月，中国提出《生成式人工智能服务管理办法》草案，强调收集、处理个人信息应当具有明确、合理的目的等。
技术与伦理的矛盾一直都存在，如果不对核武器的使用施加严格限制，人类或许早已灭绝。对于被认为破坏性比核武器更厉害的人工智能，为其研发、应用树立道德伦理规范，更加不可或缺。
（作者单位：国防科技大学信息通信学院）
吴敏文 来源：中国青年报
责任编辑：
