只要给AI机器人输入程序：用各种策略去充电。它就有了基本利益。

有人说应该给未来的AI机器人立规矩：任何时候决不能伤害人类。

但是，设想：一个机器人急着去充电，是为了救很多人的命。这时，一个人（或醉鬼）阻挡他。

某种情景约束下，它要么伤害这个人，去救很多人，要么不伤害这个人，等着很多人死去。

这本来就是“电车伦理”问题。

电车难题，为救n个有错的人，牺牲1个无辜的人，应不应该？ 这必然涉及伦理选择的主观偏好，主观价值冲突。随着n的量级的增大，很多人的判断也会改变，出现拐点。拐点也可能是因人而异的，这就是价值（选择排序）主观性的反映。

人类的伦理判断未必由一套固定的、可简单排序的价值规则决定，而可能是多种价值权重相互竞争的结果；当情境中的数量参数越过某些阈值时，判断会发生非线性转变。

这就要求只能不断给规则系统打补丁，而且允许法官（或陪审团）的一定程度的主观自由裁量权。