3차원 해양환경에서의 심층 강화학습 기반 어뢰 기만 전술

• Published in: 정보과학회 컴퓨팅의 실제 논문지, 31(4) pp. 187 - 194
• Main Authors: 정재현, 임채문, 김중헌, 최지웅, 윤유정
• Format: Journal Article
• Language: Korean
• Published: 한국정보과학회 01.04.2025
• Subjects: 컴퓨터학
• ISSN: 2383-6318; 2383-6326

해상에서 자율 수중 차량(AUV) 작전에 대한 위협은 많지만 수중 어뢰는 다양한 조건에서 발사될 수 있기 때문에 가장 큰 위험을 안겨준다. 어뢰는 빠른 속도와 목표물을 향한 음향 유도 기능을 활용하는 능력으로 알려져 있다. AUV는 회피 속도가 빠르지 않아 어뢰 대응 전술의 효율성을 높이기 위해 자항식 기만기와 부유식 기만기라는 두 가지 유형의 기만기가 사용된다. 어뢰에 효과적으로 대응하려면 AUV 기동과 함께 자항식 기만기와 부유식 기만기를 모두 사용하는 것이 중요하다. 본 논문에서는 어뢰 위협에 신속하게 대응하기 위해 A2C (Advantage Actor-Critic) 알고리즘을 활용한 어뢰 대응 전술을 제안한다. 본 논문에서는 AUV와 어뢰 사이 거리, AUV 피격 여부에 따른 보상 함수를 설계한다. AUV, 어뢰, 자항식 및 부유식 기만기를 각각 모델링한 후 정의된 모델을 통합하는 방식으로 실험을 수행한다. 모델의 성능은 3차원 해양환경에서 진행되는 시뮬레이션을 통해 입증된다. Threats to autonomous underwater vehicle (AUV) operations at sea are numerous, with underwater torpedoes posing the greatest risk since they might be fired in a variety of conditions. Torpedoes are known for their high speed and their ability to utilize acoustic homing towards targets. As an AUV lacks rapid evasion speeds, two types of decoys can be employed to increase the effectiveness of torpedo countermeasure: mobile decoys and hovering decoys. To effectively counter torpedoes, it is crucial to employ both mobile decoys and hovering decoys in conjunction with AUV maneuvers. In this paper, we proposed a torpedo countermeasure using A2C (Advantage Actor-Critic) algorithm to quickly respond to torpedo threats. This paper designs a reward function based on the distance between the AUV and the torpedo, and whether or not the AUV is hit. Experiments are conducted by modeling AUV, torpedoes, mobile decoys, and hovering decoys separately. These are then integrated in the defined model. The performance of the model was proven through simulations conducted in a 3D marine environment. KCI Citation Count: 0