(点击图片跳转对应介绍)
多智能体编队控制
编队控制旨在将多个自主系统引导至满足规定状态约束，从而使整体系统在特定场景中表现出所需的集体行为。在分布式编队控制中，主要挑战在于如何为每个智能体设计局部控制目标，使其能够基于与邻居智能体交互（感知或通信）得到的信息实现该目标。在近二十年内，由于视觉传感器的流行，人们广泛研究了基于距离和方位的编队控制策略。然而，基于距离的方法需要大量传感，而基于方位的方法则要求智能体装备GNSS设备或频繁相互通信。
在上述情况下，我们提出基于角度的编队控制，并相应开发了两种新的刚性图理论（角度刚性理论与弱刚性理论），基于这些理论设计的编队控制算法不需要通信和GNSS，需要较少的传感，并且产生具有最高自由度可调遣的编队形状。
• 角度约束和角度刚性理论
为使编队具有更高自由度，我们将队形所包含的内角作为定义所需编队形状的唯一约束，并提出了角度刚度理论。在[R1]中，我们定义并研究了角度刚度理论，这是一个新的图论工具，并在编队控制和传感器网络定位中有应用。角度刚度理论研究“什么图形的形状可以被角度唯一确定（允许整体形状的平移、旋转、反射和缩放）”。之后在[R2]中，我们改进了控制算法，实现了几乎全局的收敛，并研究了基于角度的编队调遣控制。
- [R1] Jing, G. Zhang, H. W. J. Lee, and L. Wang, “Angle-based shape determination theory of planar graphs with application to formation stabilization,” Automatica, vol. 105, pp. 117–129, 2019.
[R2] G. Jing and L. Wang, “Multi-agent flocking with angle-based formation shape control,” IEEE Transactions on Automatic Control, vol. 65, no. 2, pp. 817-823, 2019.
• 弱刚性理论及其运用
为了在基于距离的编队控制中减少所需的感知链接数量，我们在局部约束中进一步考虑了内角，并提出了弱刚度理论。该理论旨在回答什么图形的形状可以被其边长和内角唯一确定（允许整体队形的平移、旋转和反射）。在[R3]中，我们对任意维度空间中的弱刚度理论进行了全面分析，并将其应用于编队控制。所提出的控制法与基于距离和方位的方法相比，显著减少了所需的感知链接数量。
- [R3] G. Jing, G. Zhang, H. W. J. Lee, and L. Wang, “Weak rigidity theory and its application to formation stabilization,” SIAM Journal on Control and Optimization, vol.56, no. 3, pp. 2248-2273, 2018.
传感器网络定位
传感器网络定位（SNL）是指在部分传感器的位置（称为锚点）和一些传感器对之间的相对测量可用时，确定所有传感器的位置。基于角度刚性理论，我们首次研究了如何在SNL中利用角度测度实现定位。我们将相应的问题称为ASNL（Angle-Based Sensor Network Localization）。利用角度测度的主要好处是降低所需的感知和通信成本。
我们提出了ASNL可定位性的充分必要条件，以及将 ASNL放松为凸优化和可分解SDP的一系列图条件。
• 角度信息在定位中的应用
传感器网络定位（SNL）旨在解决“当部分传感器（称为锚点）的位置以及某些传感器对之间的相对测量可用时，如何确定所有传感器的位置”。根据特定应用和利益相关者的要求，SNL已经被以集中式或分布式的方式进行了广泛研究。在文献中，距离和方位是最常用的两种测量方式，因为它们可以被视觉传感器捕捉到。与之不同的是，我们创新性地使用角度进行传感器网络定位，这种测度更为成本低廉且便于测量。
• 基于角度的传感器网络定位
基于角度刚性理论，我们研究了如何在传感器网络定位（SNL）中利用角度测量。SNL问题与编队控制问题的主要区别在于，编队控制中的智能机器人行为总受到其动力学约束，而SNL中的传感器不一定受到特定的动力学约束。因此，与编队控制相比，ASNL所需的感知链接数量可以进一步减少。在[R4][R5]中，我们提出了一个更弱的角度刚性条件，这是ASNL的可定位性的必要且充分条件；与此同时，我们还提出了用于将ASNL松弛凸优化或可分解的半定规划（SDP）的图条件。
- [R4] G. Jing, C. Wan and R. Dai, “Angle-Based Sensor Network Localization,” in IEEE Transactions on Automatic Control, vol. 67, no. 2, pp. 840-855, Feb. 2022.
[R5] G. Jing, C. Wan, and R. Dai, “Angle Fixability and Angle-Based Sensor Network Localization,” IEEE Conference on Decision and Control, pp. 7899–7904, 2019.
多智能体强化学习
在大规模合作多智能体系统（MASs）中实现分布式强化学习（RL）遇到的挑战主要有两方面：(i) 每个智能体获取到的环境信息受限；(ii) RL算法可扩展性差，在面对大规模问题时采样效率低，也就是人们常说的维数灾难。为此，我们针对一类具有结构化性质的问题，提出了一种利用问题中包含的图结构对问题进行分解的通用高效分布式合作多智能体强化学习（MARL）框架。
我们引入了一些将MARL中不同智能体进行耦合的图，基于这些图，我们提出了可扩展的分布式RL方法。
• 分层强化学习
在[R6]中，我们提出了一种分层强化学习方案，以解决传统基于强化学习的线性二次调节器（LQR）问题中的可扩展性瓶颈。这种分层方法通过将智能体分成多个群集，然后通过以下两个步骤学习最优控制器：(i) 通过独立地解决多个解耦的小型LQR问题为每个子群学习一个局部控制器；(ii) 通过解由子群间耦合关系确定的最小二乘问题获得一个全局补偿控制器。这种分层策略的两个主要优势是：(i) 它大幅减少了学习时间；(ii) 由于控制器继承了嵌入在成本函数中的图的特殊结构，与传统的最优控制器相比，它降低了通信成本。此外，基于该方法，我们可以进一步优化分布式控制中通信链接的数量和整体控制器的次优性。
• 基于图诱导局部值函数的策略梯度
通过考虑嵌入在多智能体强化学习（MARL）问题中的不同图，我们为每个智能体开发了一个局部值函数（LVF），使得该LVF只包含部分个体，却能够在策略梯度算法中发挥与全局值函数相同的作用。我们分别提出了异步[R7]和同步[R8]的分布式RL算法。仿真结果显示，与基于集中式和一致性的分布式RL算法相比，我们的RL算法在大规模多智能体系统（MASs）中具有显著提高的采样效率，因此具有更高的可扩展性。
- [R6] G. Jing, H. Bai, J. George and A. Chakrabortty, “Model-free optimal control of linear multi-agent systems via decomposition and hierarchical approximation”, IEEE Transactions on Control of Network Systems, doi: 10.1109/TCNS.2021.3074256, 2021.
- [R7] G. Jing, H. Bai, J. George, A. Chakrabortty, and Piyush K. Sharma, “Asynchronous distributed reinforcement learning for LQR control via zeroth-order block coordinate descent”, IEEE Transactions on Automatic Control, conditionally accepted, 2023.
- [R8] G. Jing, H. Bai, J. George, A. Chakrabortty, and Piyush K. Sharma, “Distributed Multi-Agent Reinforcement Learning Based on Graph-Induced Local Value-Functions“, arXiv preprint arXiv:2202.13046.
机器人运动控制与规划
复杂环境中的机器人运动控制与规划对于任务的成功执行至关重要。一般来讲，运动规划是指如何为机器人提供一个最佳可实现的轨迹（以实现任务目标），同时满足环境约束。而运动控制，则是研究如何基于传感器信息设计底层控制信号，使机器人跟踪期望的轨迹。对于不同类型的机器人，运动规划问题可能涉及不同的应用场景。具体的研究问题主要包括动力学建模、环境约束建模和最优决策等。相关理论涉及非凸优化和机器学习。
我们目前致力于研究灵巧臂-手的抓取规划、多机器人的协同路径规划，以及具有网络结构机器人的运动规划。
• 三角化折纸机器人的设计与形变控制
折纸机器人因其自折叠机制、形态变换能力和可展结构而备受关注。我们从网络化系统的视角出发，对折纸机器人局部约束进行设计，以使其逼近多种不同形状。折纸机器人的运动规划问题可转化为最小化折纸三角形顶点与目标离散节点之间距离的优化问题，同时需要满足局部刚性约束。
- [R9] G. Jing, C. Wan, R. Dai, and M. Mehran, “Design and Transformation Control of Triangulated Origami Tessellation: A Network Perspective”, IEEE Transactions on Network Science and Engineering, doi: 10.1109/TNSE.2023.3303260