[PMKS] Failed to delete a PMKS cluster in MS Azure

[sykim-etri]

What happened
: CB-Spider Admin Web에서 MS Azure에서 PMKS 클러스터 삭제시 Spider DB에서만 삭제되고 CSP에서는 삭제되지 않는 것으로 보입니다.

What you expected to happen
: Spider에서 삭제시 CSP에서도 삭제가 되어야 합니다.

How to reproduce it (as minimally and precisely as possible)
: MS Azure 대상 PMKS 클러스터 생성 후 삭제 시도시 항상 발생하는 것으로 보입니다.

Anything else we need to know?
: 다음은 PMKS 클러스터 생성시 발생하는 Request Body와 Response Body 일부입니다.

================================================                                                                                                                                 
Request Body:                                                                                                                                                                    
{                                                                                                                                                                                
  "ConnectionName": "azure-koreacentral",                                                                                                                                        
  "ReqInfo": {                                                                                                                                                                   
    "Name": "ns01-syk",                                                                                                                                                          
    "Version": "1.25.11",                                                                                                                                                        
    "VPCName": "ns01-azure-koreacentral-syk",                                                                                                                                    
    "SubnetNames": [                                                                                                                                                             
      "azure-koreacentral-syk"                                                                                                                                                   
    ],                                                                                                                                                                           
    "SecurityGroupNames": [                                                                                                                                                      
      "ns01-azure-koreacentral-syk"                                                                                                                                              
    ],                                                                                                                                                                           
    "NodeGroupList": [                                                                                                                                                           
      {                                                                                                                                                                          
        "Name": "sykpool",                                                                                                                                                       
        "ImageName": "",                                                                                                                                                         
        "VMSpecName": "Standard_B2s",                                                                                                                                            
        "RootDiskType": "default",                                                                                                                                               
        "RootDiskSize": "default",                                                                                                                                               
        "KeyPairName": "ns01-azure-koreacentral-syk",                                                                                                                            
        "OnAutoScaling": "true",                                                                                                                                                 
        "DesiredNodeSize": "1",                                                                                                                                                  
        "MinNodeSize": "1",                                                                                                                                                      
        "MaxNodeSize": "1"                                                                                                                                                       
      }                                                                                                                                                                          
    ]                                                                                                                                                                            
  }                                                                                                                                                                              
}                                                                                                                                                                                
------------------------------------------------
Response Body:                              
{                                           
  "Connection": "azure-koreacentral",
  "ClusterInfo": {                          
    "IId": {                                
      "NameId": "ns01-syk",
      "SystemId": "/subscriptions/a20fed83-96bd-4480-92a9-140b8e3b7c3a/resourcegroups/cb-tumblebug-azure-koreacentral-tb/providers/Microsoft.ContainerService/managedClusters/ns01-syk-clrdaaa3egva36qqt6i0"                 
    },                                      
    "Version": "1.25.11",
    "Network": {                            
      "VpcIID": {                           
        "NameId": "ns01-azure-koreacentral-syk",
        "SystemId": "/subscriptions/a20fed83-96bd-4480-92a9-140b8e3b7c3a/resourceGroups/cb-tumblebug-azure-koreacentral-tb/providers/Microsoft.Network/virtualNetworks/ns01-azure-koreacentral-syk-cloosr77kq9c73fa3crg"     
      },                                    
      "SubnetIIDs": [                       
        {                                   
          "NameId": "azure-koreacentral-syk",
          "SystemId": "/subscriptions/a20fed83-96bd-4480-92a9-140b8e3b7c3a/resourceGroups/cb-tumblebug-azure-koreacentral-tb/providers/Microsoft.Network/virtualNetworks/ns01-azure-koreacentral-syk-cloosr77kq9c73fa3crg/subnets/azure-koreacentral-syk-cloosr77kq9c73fa3cs0"
        }                                   
      ],                                    
      "SecurityGroupIIDs": [
        {                                   
          "NameId": "#aks-agentpool-17393176-nsg",
          "SystemId": "/subscriptions/a20fed83-96bd-4480-92a9-140b8e3b7c3a/resourceGroups/cb_cb-tumblebug-azure-koreacentral-tb_ns01-syk-clrdaaa3egva36qqt6i0_koreacentral/providers/Microsoft.Network/networkSecurityGroups/aks-agentpool-17393176-nsg"                 
        }                                   
      ],                                    
      "KeyValueList": null
    },                                      
    "NodeGroupList": [
      {                                     
        "IId": {                            
          "NameId": "sykpool",
          "SystemId": "/subscriptions/a20fed83-96bd-4480-92a9-140b8e3b7c3a/resourcegroups/cb-tumblebug-azure-koreacentral-tb/providers/Microsoft.ContainerService/managedClusters/ns01-syk-clrdaaa3egva36qqt6i0/agentPools/sykpool"                                      
        },                                  
        "ImageIID": {                       
          "NameId": "/subscriptions/109a5e88-712a-48ae-9078-9ca8b3c81345/resourceGroups/AKS-Ubuntu/providers/Microsoft.Compute/galleries/AKSUbuntu/images/2204gen2containerd/versions/202311.07.0",                          
          "SystemId": "/subscriptions/109a5e88-712a-48ae-9078-9ca8b3c81345/resourceGroups/AKS-Ubuntu/providers/Microsoft.Compute/galleries/AKSUbuntu/images/2204gen2containerd/versions/202311.07.0"
          ...

Environment

• Source version or branch: v0.7.8
• OS: ubuntu 22.04
• Others:

Proposed solution
: 혹시 SystemId가 기존과 달리 내용이 변경되면서 발생하는 문제가 아닐지 의심됩니다.

Any other context
:

[powerkimhub]

• 일단, PMKS의 API들은 다른 자원과 달리 비동기 콜이어서 CSP결과를 기다리지 않고 리턴하도록 되어 있습니다.
  • 참고: https://github.com/cloud-barista/cb-spider/wiki/Provider-Managed-Kubernetes-and-Driver-API ('async' 검색)
• 사실, 삭제의 경우는 CSP에서 삭제될 때까지 목록을 가지고 있어야 사용자가 삭제 되는 상태를 알수 있을 텐데,
• 현재, 그렇게 안되 있어 생기는 문제 일 수 있습니다.
• 만약, 이상황이라면 이 부분은 서버 측에서 보완을 해야 할 사항인 거 같습니다.
• 혹시, 한참 후에도 CSP에 Cluster가 여전히 존재하는 상태인지요?

[sykim-etri]

Azure 콘솔에서 클러스터를 삭제하는 경우 알림창에 삭제 중이라는 알림이 나오고, API로 진행하는 경우 알림이 나오지 않아서 삭제되지 않는 것으로 오인했습니다.
클러스터의 삭제 요청 후 해당 클러스터의 상태 정보를 직접 조회시 삭제 진행 중으로 표기되고 시간이 흐른 뒤 삭제되는 것을 확인했습니다.

[powerkimhub]

다음 부분을 위해서 이슈 재오픈하도록하겠습니다.

• 사실, 삭제의 경우는 CSP에서 삭제될 때까지 목록을 가지고 있어야 사용자가 삭제 되는 상태를 알수 있을 텐데,
• 현재, 그렇게 안되 있어 생기는 문제 일 수 있습니다.
• 만약, 이상황이라면 이 부분은 서버 측에서 보완을 해야 할 사항인 거 같습니다.