shepherd's Blog

rancher version 2.6.13 업그레이드 후 dashboard쪽 속도가 너무 느려져서 rancher v2.6.4 로 버전을 낮춘 다음 발생한 문제이다. 증상 RBAC 삭제 안됨 원인 rancher v2.6.13으로 업그레이드 후 모든 RBAC에 wrangler.cattle.io/auth-prov-v2-crb finalizer가 추가되었고, 다시 버전을 낮추면서 해당 finalizer를 처리할 controller가 없어지면서 계속 남아있게 되고 removing 상태로 남아있게 됨 조치 해당 finalizer를 처리할 필요가 없으므로 강제로 제거해주면서 문제 해결 됨

기본 셋 apiVersion: argoproj.io/v1alpha1 kind: Application metadata: name: kafka-ui namespace: argocd spec: destination: namespace: kafka-ui server: 'https://kubernetes.default.svc' source: path: manifests/kafka-ui repoURL: 'git repo url' targetRevision: HEAD sources: [] project: default syncPolicy: automated: {} helm chart 사용 argocd를 통해 helm chart를 배포할 경우 helm 배포 리소스가 생성되지 않고 argocd를 통해 리소스가 관리되므로..

문제 control plane A에 control plane을 추가하던 중 control plane A가 죽으면서 control plane B의 etcd 복제가 중지되고 control plane B 추가 과정이 멈추게 되었다. 문제 발생 후 control plane A의 etcd에서 control plane B의 etcd를 찾을 수 없어 리더 선출 실패라는 메시지와 함께 리더 선출을 계속 실패했다. 느낌상 두번째 control plane을 붙이는 중 실패하면서 노드가 짝수가 되어(split-brain) 실패하는걸로 보였다. 리더 선출 실패는 control plane B의 ip가 미사용 interface에 셋팅된 ip로 설정되면서 A와 B의 통신 실패로 리더 선출 과정이 정상적으로 이루어 지지 않았다. c..