[Paper Review] Programmable and Customized Intelligence for Traffic Steering in 5G Networks Using Open RAN Architectures

A. Lacava et al., "Programmable and Customized Intelligence for Traffic Steering in 5G Networks Using Open RAN Architectures," in IEEE Transactions on Mobile Computing, vol. 23, no. 4, pp. 2882-2897, April 2024

Abstract

Key Terms Glossary

(1) Open RAN (오픈 RAN)

• 정의: 서로 다른 장비 공급업체 간의 호환성을 보장하는 네트워크 구조로, 인터페이스를 표준화하고 네트워크의 프로그래밍 가능성을 높인 기술입니다.

• 설명: Open RAN은 다양한 회사들이 네트워크 장비와 소프트웨어를 제공할 수 있도록 하며, 네트워크 시스템을 더 쉽게 맞춤 설정하거나 업그레이드할 수 있게 해줍니다.

(2) 트래픽 스티어링 (Traffic Steering, TS)

• 정의: 네트워크 성능을 최적화하기 위해 각 기기가 어느 기지국에 연결될지를 결정하는 과정을 말합니다.

• 설명: 트래픽 스티어링은 네트워크 부하를 분산시키고 사용자가 더 나은 연결 품질을 경험하도록 돕는 기술입니다. 기지국 간의 자원을 효율적으로 배분하는 데 도움을 줍니다.

(3) RIC (Radio Intelligent Controller)

• 정의: Open RAN 구조에서 AI를 활용해 네트워크 자원을 실시간으로 제어하고 최적화하는 중앙 제어 유닛입니다.

• 설명: RIC는 네트워크 데이터를 분석하고 AI 기반의 제어 논리를 적용해 네트워크 성능을 실시간으로 조정하는 역할을 합니다.

(4) xApp

• 정의: RIC에서 실행되는 제3자 응용 프로그램으로, RAN(라디오 접속망)의 특정 기능을 관리하는 데 사용됩니다.

• 설명: xApp은 AI나 사전에 정의된 알고리즘을 사용해 핸드오버(기지국 간 연결 전환)나 자원 할당 등을 최적화하는 결정을 내립니다.

(5) 핸드오버 (Handover)

• 정의: 사용자가 이동할 때 한 기지국에서 다른 기지국으로 연결을 전환하는 과정입니다.

• 설명: 핸드오버는 사용자가 이동 중에도 끊김 없는 연결을 유지할 수 있도록 기지국 간의 연결을 매끄럽게 전환하는 기술입니다.

(6) 심층 강화 학습 (Deep Reinforcement Learning, DRL)

• 정의: 에이전트(프로그램)가 환경과 상호작용하면서 보상을 통해 학습해 최적의 결정을 내리는 인공지능 기법입니다.

• 설명: DRL은 5G 네트워크에서 트래픽 관리와 같은 복잡한 문제를 해결하기 위해 데이터에서 학습하는 방법으로, 더 나은 최적화 결과를 얻기 위해 사용됩니다.

(7) 합성곱 신경망 (Convolutional Neural Network, CNN)

• 정의: 주로 이미지 처리에 사용되는 딥러닝 모델로, 그리드 형태의 데이터를 처리하는 데 강점이 있습니다. 여기서는 신호 처리와 같은 분야에서도 사용됩니다.

• 설명: 이 논문에서는 CNN을 사용하여 네트워크의 여러 매개변수 간의 복잡한 관계를 모델링하고, 더 정확한 트래픽 스티어링 결정을 내리는 데 도움을 줍니다.

(8) 보수적 Q-학습 (Conservative Q-Learning, CQL)

• 정의: 강화 학습 알고리즘인 Q-학습의 변형으로, 안전하지 않은 선택을 피하도록 설계된 학습 방식입니다.

• 설명: CQL은 네트워크 최적화 과정에서 너무 위험한 결정을 피하고, 성능 저하를 방지하는 데 도움을 줍니다.

(9) 랜덤 앙상블 혼합 (Random Ensemble Mixture, REM)

• 정의: 강화 학습의 성능을 향상시키기 위해 여러 모델의 예측을 결합해 더 정확한 결과를 도출하는 알고리즘입니다.

• 설명: REM은 AI 시스템이 여러 복잡한 환경에서 더 나은 결정을 내리도록 돕습니다.

(10) 마코프 결정 과정 (Markov Decision Process, MDP)

• 정의: 결과가 부분적으로는 무작위이고 부분적으로는 결정권자의 통제하에 있을 때 의사 결정을 모델링하는 수학적 모델입니다.

• 설명: 이 논문에서는 MDP를 사용하여 네트워크 환경을 모델링하고 AI 에이전트가 최적의 트래픽 스티어링 결정을 내리도록 돕습니다.

(11) 주요 성능 지표 (Key Performance Indicator, KPI)

• 정의: 시스템이나 네트워크가 얼마나 잘 작동하고 있는지를 나타내는 측정 가능한 값으로, 속도, 효율성, 안정성과 같은 핵심 영역에서 평가됩니다.

• 설명: KPI는 논문에서 제안하는 트래픽 스티어링 솔루션이 얼마나 효과적인지를 평가하는 데 사용됩니다. Throughput(데이터 전송량)이나 스펙트럼 효율성 등이 예시입니다.

논문의 내용 흐름 정리하기

RRM 방식

(1) 전통적인 RRM 방식에서의 휴리스틱 적용

예시 1: 채널 품질에 따른 핸드오버

• 채널 품질 임계값: 각 사용자가 기지국에 연결된 상태에서 신호의 품질(주로 신호 대 잡음비, SINR)을 측정하여, 특정 임계값 이하로 떨어지면 다른 기지국으로 핸드오버를 수행합니다.
• 작동 방식: 사용자의 신호 강도가 설정된 임계값보다 낮으면, 근처에 있는 다른 기지국 중 신호가 더 강한 기지국으로 연결을 전환합니다.
• 장점: 매우 간단하게 신호 품질을 기준으로 결정하므로, 계산량이 적고 신속하게 실행될 수 있습니다.
• 단점: 이 방법은 사용자 개개인의 요구 사항을 고려하지 않으며, 단순히 임계값에 의존하기 때문에 상황에 따라 최적이 아닌 결정을 할 수 있습니다.

예시 2: 부하에 따른 자원 분배

• 부하 임계값: 각 기지국이 처리하는 트래픽 부하를 모니터링하고, 설정된 임계값 이상이 되면 다른 기지국으로 트래픽을 분산시킵니다.
• 작동 방식: 특정 기지국에 많은 사용자가 몰려 과부하 상태에 가까워지면, 트래픽을 덜 혼잡한 기지국으로 분산시켜 네트워크 부하를 관리합니다.
• 장점: 기지국이 과부하 상태가 되는 것을 방지하고, 전체 네트워크 자원의 효율성을 높일 수 있습니다.
• 단점: 실제로 기지국 간의 부하 분산이 잘 이루어지지 않으면, 사용자가 불필요하게 연결을 자주 바꾸게 될 수 있으며, 결과적으로 불안정한 네트워크 경험을 제공할 수 있습니다.

(2) 전통적인 휴리스틱 방식의 한계

• 국소적인 정보에 의존: 휴리스틱 방식은 주로 해당 기지국이나 인접 기지국의 정보에만 의존하기 때문에, 전체 네트워크 상황을 고려한 최적의 결정을 내리기 어렵습니다.

• 세밀한 최적화 부족: 이러한 방식은 간단한 규칙에 의존하기 때문에 사용자마다 다른 요구 사항(예: 고화질 비디오 스트리밍, 자율 주행 차량의 저지연 요구)을 세밀하게 반영하기 어렵습니다.

• 예외 상황에 취약: 일반적인 상황에서는 잘 작동하지만, 예외적인 상황(예: 특정 지역의 급격한 트래픽 증가, 비정상적인 네트워크 상태)에서는 적절한 대응을 하지 못할 수 있습니다.

전통적인 RRM 방식과 xAPP AI/ML 데이터 기반 방식 비교

O-RAN architecture with the near-RT RIC functions, aside packet core.

(1) Disaggregated NR gNB 영역 → NR gNB는 기지국을 의미하며, 5G에서 기지국이 사용자 장비(UE)와 통신을 주고받는 역할

1. UE(사용자 장비)와 RU(무선 유닛, Radio Unit) 간 통신

• UE (사용자 장비)와 RU (기지국의 무선 유닛) 간에는 Uu 인터페이스를 통해 무선 통신이 이루어집니다.

• 이 통신은 실시간(Real-time)으로 진행되며, 지연 시간은 1밀리초(ms) 이하로 매우 짧습니다.

2. RU(무선 유닛)에서 DU(분산 유닛, Distributed Unit)로 데이터 전송

• RU는 사용자 장비로부터 받은 데이터를 **DU(분산 유닛)**으로 전송합니다.

• 여기서 DU는 RAN 내에서 처리 능력을 분산하여 수행하며, 주로 데이터 패킷을 처리하고 실시간 제어를 담당합니다. Open front-haul 인터페이스를 통해 RU와 DU 간 통신이 이루어집니다.

• 이 단계는 1~10ms의 Real-time 지연 시간을 가집니다.

3. DU에서 CU(중앙 유닛, Centralized Unit)로의 데이터 전송

• DU는 **CU-CP(Centralized Unit - Control Plane)**와 **CU-UP(Centralized Unit - User Plane)**으로 데이터를 전송합니다.

• CU-CP는 네트워크 제어와 관련된 작업을 수행하며, F1-C 인터페이스를 통해 DU와 연결됩니다.

• CU-UP는 사용자 데이터 트래픽을 처리하며, F1-U 인터페이스를 통해 DU와 연결됩니다.

• 이 단계는 10ms~1초의 Near-real-time(근실시간) 지연 시간을 가집니다.

(2) Near-RT RIC → Near-Real-Time RAN Intelligent Controller, 근실시간 RAN 지능형 제어기

1. xApp과 Near-RT RIC 간의 통신

• xApp은 Near-RT RIC(근실시간 RAN 지능형 제어기)에 배치된 애플리케이션으로, 실시간으로 RAN의 여러 매개변수를 제어합니다.

• E2 인터페이스를 통해 RIC와 CU, DU 등의 RAN 노드가 연결되며, RIC는 중앙 집중적으로 데이터를 수집하고 AI/ML 알고리즘을 사용해 최적화 작업을 수행합니다. 여기에서 xApp은 RRM(무선 자원 관리) 결정을 내리며, 예를 들어 핸드오버와 같은 RAN의 핵심 절차를 제어합니다.

2. 핸드오버 및 트래픽 스티어링

• Near-RT RIC는 다양한 xApp을 통해 핸드오버와 트래픽 스티어링을 실시간으로 제어합니다. 이 과정은 1초 이상의 Non-real-time 영역에서 이루어질 수 있으며, 네트워크의 성능 최적화를 목표로 합니다.

(3) Core Network와의 통합

• 모든 데이터는 최종적으로 Core Network와 연결되며, 사용자 데이터와 네트워크 제어 명령이 코어 네트워크로 전달되어 처리됩니다.

• 히스테리시스 → 핸드오버를 결정할 때, 네트워크는 두 기지국 사이의 신호 세기(Signal Strength) 차이를 고려합니다. 하지만 신호 세기가 미세하게 변할 때마다 기지국을 계속 바꾸게 되면 네트워크 성능이 저하되고, 통화나 데이터 전송에 불안정함이 발생할 수 있습니다. 이를 방지하기 위해 히스테리시스 값을 도입합니다.

히스테리시스의 구체적 작동 방식

1. 핸드오버 기준: 핸드오버를 할 때, 현재 연결된 기지국의 신호 세기와 근처 기지국의 신호 세기를 비교합니다. 보통 새 기지국의 신호 세기가 더 강해지면 그쪽으로 핸드오버를 합니다.

2. 히스테리시스 값 설정: 여기서 바로 핸드오버를 하지 않고, 새 기지국의 신호 세기가 일정 히스테리시스 값만큼 더 강해져야 핸드오버가 발생하도록 설정합니다. 예를 들어, 현재 연결된 기지국의 신호가 10dBm이고, 근처 기지국의 신호가 12dBm이라면 바로 핸드오버를 하지 않고, 근처 기지국의 신호가 15dBm이 될 때까지 기다리는 식입니다.

3. 목적: 히스테리시스 값이 존재함으로써 불필요한 핸드오버를 방지할 수 있습니다. 신호가 약간만 변할 때마다 핸드오버가 발생하지 않게 되어, 연결 안정성이 높아집니다. 예를 들어, 신호 세기가 1~2dBm 차이로 오르락내리락할 때마다 핸드오버가 일어나면, 네트워크가 불필요하게 자주 전환되며 성능이 떨어질 수 있습니다. 히스테리시스를 통해 이러한 문제를 해결합니다.

System Model Architecture

(1) Master Node (O-eNB, LTE eNB)

• 역할: 4G LTE 기지국인 O-eNB는 마스터 노드로 작동하며, 제어 평면(제어 메시지 처리)과 사용자 평면(데이터 전송)을 모두 담당합니다.

• RRC (Radio Resource Control): RRC 계층에서 사용자 장비(UE)의 연결 상태를 관리하고, 핸드오버 같은 중요한 기능을 담당합니다.

• PDCP (Packet Data Convergence Protocol): 패킷 데이터를 처리하는 계층으로, 제어 평면과 사용자 평면 데이터를 처리합니다.

• RLC, MAC, PHY: RLC(무선 링크 제어), MAC(매체 접근 제어), **PHY(물리 계층)**는 데이터의 전송과 물리적인 신호 처리를 담당합니다. 이 계층은 LTE 네트워크에서 주로 동작합니다.

(2) Secondary Node (O-CU/DU, NR gNB)

• 역할: 5G 기지국인 NR gNB는 **보조 노드(Secondary Node)**로 작동하며, 데이터 전송을 주로 담당합니다. **O-CU-UP(사용자 평면)**은 사용자 데이터 트래픽을 처리하고, **O-DU(분산 유닛)**는 무선 자원 할당과 물리 계층 기능을 담당합니다.

• RRC, PDCP: 제어 평면에서는 RRC와 PDCP가 존재하며, 이는 NR gNB에서도 LTE와 유사한 방식으로 작동합니다.

• RLC, MAC, PHY: NR gNB의 RLC, MAC, PHY 계층도 LTE와 유사하게 동작하지만, 5G의 고속 데이터 전송과 저지연 특성을 더 잘 지원합니다.

(3) Dual Connectivity and Traffic Steering

• 사용자 장비(UE)는 LTE와 NR 기지국에 동시에 연결됩니다. X2-U 인터페이스는 LTE와 NR 기지국 간의 데이터 전송을 처리하는데 사용됩니다.

• 트래픽 스티어링(Traffic Steering) 기능을 통해, 각 사용자 장비가 어느 기지국을 통해 데이터를 전송할지를 결정하고, 이중 연결을 효율적으로 관리합니다.

Near-RT RIC Software Architecture

• Near-RT RIC는 O-RAN 아키텍처에서 매우 중요한 역할을 하는 지능형 제어기로, 실시간 또는 근실시간(10ms ~ 1s)으로 무선 자원 관리(RRM) 결정을 내립니다. 이 제어기는 다양한 xApp을 실행하며, RAN을 효율적으로 관리하고 최적화합니다.

(1) API Messaging Infrastructure

• API 메시징 인프라는 gRPC, REST, O-RAN-SC RMR 등과 같은 표준을 사용하여, 다양한 서비스들과 상호작용하는 역할을 합니다.

• E2 인터페이스를 통해 O-CU/DU와 통신하며, 데이터를 주고받습니다.

(2) xApp (Traffic Steering xApp 포함)

• xApp은 Near-RT RIC에서 실행되는 소프트웨어 모듈로, 각각의 xApp은 특정 기능을 수행합니다. 예를 들어, Traffic Steering xApp은 네트워크에서 UE가 어느 기지국과 연결될지를 결정하는 트래픽 스티어링 작업을 수행합니다.

• 이외에도 여러 xApp이 존재하며, 각기 다른 네트워크 관리 작업을 수행합니다.

(3) E2 Interface (E2AP)

• E2 인터페이스는 E2 노드(O-CU, O-DU 등)와 Near-RT RIC 간에 통신을 가능하게 합니다.

• E2AP(E2 Application Protocol)를 통해, RAN 데이터 및 사용자 장비 상태 등의 정보를 Near-RT RIC에 전달하고, RIC는 이 정보를 기반으로 RRM 결정을 내립니다.

(4) AI/ML 기반 학습 및 데이터 처리

• Near-RT RIC에서는 AI/ML 학습 서비스를 통해 실시간 데이터를 학습하고, 네트워크 성능을 최적화하기 위한 결정을 내립니다.

• KPM(Key Performance Measurement) 데이터를 기반으로, xApp이 최적의 결정을 내릴 수 있도록 도와줍니다.

(5) Service Management and Orchestration (SMO)

• SMO는 서비스 관리 및 오케스트레이션 역할을 수행하며, Non-RT RIC와 협력하여 다양한 네트워크 관리 작업을 수행합니다. 이 계층은 네트워크의 전체적인 운영 및 관리, 자원 할당 등을 책임집니다.

5G 및 인공지능(AI)과 ns-3

• ns-3는 네트워크 연구와 교육에 널리 사용되는 이벤트 기반 시뮬레이터입니다. 네트워크 시뮬레이터 분야에서는 사실상 표준으로 간주되며, 다양한 프로토콜을 지원하고, 광범위한 배포와 학문적 지원을 받고 있습니다. 이산 이벤트 방식은 시간 기반 이벤트의 형태로 네트워크 상호작용을 시뮬레이션할 수 있게 해주며, 이는 애플리케이션 계층부터 물리 계층까지 네트워크의 모든 측면을 모델링하는 데 사용됩니다.

• 이러한 계층들은 무선 네트워크 시뮬레이션의 기본적인 구성 요소로, 현실에서는 구현하기 어려운 특정 사용 사례를 연구하는 데 ns-3에서 조합할 수 있습니다. ns-3을 사용하는 주된 이유 중 하나는 3GPP 확률 모델을 매우 정확하게 사용할 수 있다는 점입니다. 또한, 별도의 통신 하드웨어 없이 대규모 네트워크를 구성할 수 있는 가능성도 장점입니다. 더불어, 실제 세계의 건물, 장애물, 무선 노드의 이동성 모델 등을 통합하여 현실적인 시나리오를 만들 수 있다는 특징도 있습니다.

• 이번 연구에서는 5G와 mmWave ns-3 모듈을 사용하였으며, 이는 ns-3 LTE 모듈을 확장하여 mmWave 채널을 더욱 세밀하게 모델링했습니다. 이 모듈은 공간 클러스터(spatial cluster), 경로 동역학(path dynamics), 안테나 패턴, 빔포밍(Beamforming) 알고리즘을 포착할 수 있습니다.하지만 이들 도구는 O-RAN xApp 개발을 위한 프레임워크로 사용될 수 없으며, 실질적인 환경에서 직접 사용할 수 없습니다. 반면, 이번 논문에서 제안하는 ns-O-RAN 프레임워크는 그러한 한계를 해결합니다.

시스템 모델

• 해당 논문에서는 M개의 LTE 셀과 N개의 NR 셀을 가진 E2 노드, 그리고 여러 개의 5G 사용자 장비(UE)로 구성된 네트워크를 고려합니다. 이 인프라는 5G NSA(Non-Standalone) 네트워크로 배포되며, 5G UE는 LTE eNB(마스터 노드)와 NR gNB(보조 노드)의 E2 노드에 동시에 연결됩니다.

• 각 사용자 장비는 마스터 노드의 기본 셀과 보조 노드의 보조 셀에 의해 동시에 서비스를 받습니다. 각 사용자 장비는 다양한 유형의 데이터 트래픽에 가입되어 있으며, 이러한 데이터 흐름은 gNB CU-UP의 PDCP-U 계층에서 분할됩니다. 각 패킷은 gNB DU의 RLC 계층(F1 인터페이스를 통해) 또는 LTE eNB의 RLC 계층(X2-U 인터페이스를 통해)으로 전송되어, 각각 NR 또는 LTE 무선을 통해 사용자 장비로 전송됩니다.

• 또한, 각 LTE 및 NR 셀과 연결된 Near-RT RIC를 고려합니다. Near-RT RIC는 RAN의 엣지에서 배포되며, 트래픽 스티어링 xApp(TS xApp)을 통해 핸드오버를 최적화합니다. E2SM-KPM 서비스 모델을 사용하여 E2 노드와 RIC 간의 KPM 데이터 전송이 가능해지며, 이를 통해 네트워크 데이터와 핸드오버 제어 명령이 근실시간 주기로 교환됩니다.

• 우리는 E2SM-RC 서비스 모델을 사용해 특정 사용자 장비의 핸드오버 제어 명령을 생성하여, TS xApp이 식별한 타겟 셀로 핸드오버를 수행합니다. 또한, E2SM-RC는 E2 노드에서 L3 RRC 측정(예: RSRP(참조 신호 수신 전력) 또는 SINR(신호 대 간섭비 및 잡음비))을 RIC로 주기적으로 보고하거나, 이동성 이벤트 동안에 보고할 수 있습니다.

• 우리는 RAN이 사용자 장비의 측정 보고를 구성하여, 사용자 장비가 주기적으로 채널 품질을 추정할 수 있도록 가정합니다.

Near-RT RIC 소프트웨어 아키텍처

• 해당 논문에서는 그림 2(b)에 나와 있는 구성 요소를 사용하여 Near-RT RIC 플랫폼을 구현했습니다. 일반적으로 Near-RT RIC에는 두 가지 주요 응용 프로그램 집합이 있습니다. 하나는 xApp으로, 이는 RAN의 특정 기능에 대한 무선 자원 관리(RRM)를 제어하는 데 사용됩니다. 다른 하나는 O-RAN 표준화된 플랫폼 서비스입니다. 이 서비스는 xApp의 통합, E2 노드와의 상호작용, RIC의 전반적인 작동을 관리합니다.

• 특히, E2 종단 서비스는 플랫폼 서비스와 E2 노드 간에 E2AP 메시지를 SCTP 전송 프로토콜을 기반으로 라우팅합니다. 이 서비스는 또한 ASN.1 인코딩/디코딩을 수행하고, E2 노드에서 노출된 데이터를 관리합니다. xApp 구독 관리 서비스는 E2 노드로부터 xApp 구독 정보를 유지, 관리, 검증하며, 구독 데이터를 송수신합니다. xApp의 데이터 수집 및 집계를 위한 두 가지 추가 플랫폼 서비스는 데이터 파이프라인 및 KPM 작업 제어 서비스입니다. 이 서비스는 xApp이 RAN에 중복된 KPM 요청을 하지 않도록 구독 관리 서비스와 상호작용하고, 중복된 요청을 필터링합니다. RAN에서 받은 KPM 데이터는 ETL(Extract, Transform and Load)과 데이터 집계 및 수집 서비스에 의해 처리되어 xApp에 제공됩니다.

• 우리의 구현에서 TS xApp(트래픽 스티어링 xApp)은 RIC 플랫폼의 이러한 서비스를 활용하여 핸드오버를 최적화합니다. TS xApp은 (1) KPM 데이터를 수집하여 네트워크 상태를 평가하고, (2) 실시간으로 분석하여 특정 사용자 장비(UE)가 다른 셀로 핸드오버를 해야 하는지를 결정하며, (3) 최종적으로 RIC 라우팅 매니저에 핸드오버 제어 명령을 전달합니다. 라우팅 매니저는 메시지를 RAN으로 전달할지 여부를 결정합니다.

• TS xApp은 E2 노드 KPM 구독을 통해 데이터 수집 매개변수를 지정합니다. 여기에는 KPM 목록, 서빙 셀 및 인접 셀의 L3 RRC 측정값(예: RSRP(참조 신호 수신 전력) 또는 SINR(신호 대 간섭비 및 잡음비))과 보고 주기가 포함됩니다. TS xApp과 ns-O-RAN(Section II-I-C에서 설명)이 구현된 시뮬레이션된 RAN은 E2 노드에서 사용자 장비, 셀, 노드 수준의 KPM 데이터를 스트리밍하는 것을 지원합니다.

• E2 노드는 구독을 수락하고 KPM 및 L3 RRC 측정 데이터를 스트리밍하기 시작합니다. 이 스트리밍된 KPM 데이터는 데이터 파이프라인 및 KPM 작업 제어 서비스에 의해 저장됩니다. ETL 및 데이터 집계 서비스는 이 데이터 저장소에서 데이터를 검색하고, 사용자 장비 수준 KPM 정보와 L3 RRC 측정을 시간 시리즈로 상관관계 있게 집계합니다. TS xApp은 데이터를 가져와 Section IV에서 설명한 알고리즘을 통해 분석하고, 핸드오버가 필요하다면 E2 종단 서비스와 통신하여 제어 명령을 RAN에 전달합니다.

C. O-RAN과 ns-3 연결: ns-O-RAN

• e2sim: 우리는 RIC의 E2 종단점을 ns-3의 여러 E2 종단점에 연결하여, 시뮬레이션 환경과의 메시지 상호작용을 처리합니다. 이는 e2sim 라이브러리를 확장하여 여러 종단점에서 동시에 메시지를 처리할 수 있도록 설계되었습니다. e2sim은 O-RAN 소프트웨어 커뮤니티에서 제공하는 프로젝트로, Near-RT RIC의 통합 테스트를 수행하는 데 필요한 기본 E2 기능을 제공합니다.

• 메시지 전송: ns-O-RAN은 여러 E2AP 메시지를 다양한 IP 주소와 포트를 통해 처리할 수 있도록 설계되었습니다. 예를 들어, 시뮬레이션된 모든 기지국에 동일한 IP를 할당할 수 있지만, 각 기지국에는 고유한 포트를 할당하여 데이터 흐름의 독립성을 유지합니다.

• 시간 동기화: 실제 환경의 RIC와 ns-3 시뮬레이터 간의 시간차를 해결하기 위해, 시뮬레이션이 시작될 때 ns-3은 현재 유닉스 시간을 저장하고 이를 기준 타임스탬프로 사용합니다. E2 메시지가 RIC에 전송될 때마다, 시뮬레이터는 경과한 시뮬레이션 시간을 기준 타임스탬프에 더해 메시지를 정렬하고 일관성을 유지합니다.

IV. 트래픽 스티어링 최적화

• 이 섹션에서는 트래픽 스티어링 xApp에 대한 최적화 문제를 공식화하고, 사용자 장비(UE)의 핸드오버를 위한 최적의 목표 셀을 결정하는 알고리즘 설계를 논의합니다. 우리가 알고 있는 한, 보수적인 Q-러닝(Conservative Q-Learning) 기반의 데이터 중심 UE 트래픽 스티어링/핸드오버 최적화 기술을 개발한 논문은 이 논문이 처음입니다.

Problem Formulation (문제 공식화 )