무선 센서네트워크에서 적응적 탐색을 갖는 강화학습기반의 Q-라우팅기법

• Published in: 한국정보통신학회논문지 Vol. 28; no. 12; pp. 1518 - 1524
• Main Author: 박형근(Hyung-Kun Park)
• Format: Journal Article
• Language: Korean
• Published: 한국정보통신학회 01.12.2024
• Subjects: 전자/정보통신공학; 무선 센서네트워크; 강화학습; 탐색; exploration; wireless sensor networks; Q-라우팅; Reinforcement learning; Q-routing; 네트워크 수명; network lifetime
• ISSN: 2234-4772; 2288-4165
• DOI: 10.6109/jkiice.2024.28.12.1518

멀티홉 무선 센서네트워크에서 라우팅 기법은 네트워크 성능을 보장하기 위한 중요한 네트워크 기술 중 하나이다. 최적화된 라우팅 경로 설정을 위해 강화학습을 이용한 다양한 라우팅 기법들이 연구되고 있다. 그러나 강화학습에 기반한 Q-routing 기법은 Q-table의 업데이트를 위해 네트워크의 각 노드가 인접 노드들의 Q값을 주기적으로 탐색(exploration)하는 과정이 요구되는데, 이는 네트워크가 커짐에 따라 전송지연 및 전송효율의 감소를 초래한다. 특히 노드의 전력 소모와 전력 불균형을 증가시켜 네트워크 수명을 크게 단축하게 된다. 본 논문에서는 네트워크의 트래픽 상황에 따라 적응적으로 탐색주기를 변경함으로써 Q-table 갱신으로 인한 노드의 전력소모를 최소화하여 네트워크 수명(lifetime)을 연장할 수 있는 Q-routing 프로토콜을 제안하였다. 시뮬레이션 결과, 제안된 적응적 탐색방식이 기존 Q-routing 방식보다 전력효율을 높이고 네트워크 수명을 연장하는 데 효과적임을 확인하였다. In multi-hop wireless sensor networks, routing technique is one of the important network technologies to ensurenetwork performance. Various routing techniques using reinforcement learning are being studied to establish an optimizedrouting path. However, the reinforcement learning based Q-routing technique requires each node in the network toperiodically explore the Q-values of its neighboring nodes, which causes transmission delay and a decrease in transmissionefficiency as the network grows. In particular, it increases node power consumption and power imbalance, greatlyshortening the network lifetime. In this paper, we propose a Q-routing protocol that can enhance the network lifetime byminimizing node power consumption due to Q-table updates by changing the exploration cycle according to the networktraffic. Simulation results show that the proposed adaptive exploration scheme is more effective in improving powerefficiency and extending network lifetime compared to conventional Q-routing methods. KCI Citation Count: 0