Develog

AIML Setting - L release

zhuxiclover — Mon, 22 Sep 2025 15:35:39 +0900

1. Hardware Requirements

• OS : Ubuntu 22.04 Server

• 16 CPU Cores

• 32 GB RAM

• 60 GB Harddisk

☑️ lsb_release -a로 확인 가능

2. 기본 의존성 설치

sudo apt update && sudo apt upgrade -y
sudo apt install -y git curl apt-transport-https ca-certificates gnupg lsb-release jq python3-pip

# Kubeflow Pipelines SDK는 2.14.3으로 고정
pip install kfp==2.14.3

3. AIMLFW 저장소 받기

cd ~
git clone -b l-release https://gerrit.o-ran-sc.org/r/aiml-fw/aimlfw-dep
cd aimlfw-dep

4. Helm 설치 수정사항

• tools/helm/install_helm.sh 수정 → Helm 최신 release URL 사용

#================================================================================== 
#
#       Copyright (c) 2022 Samsung Electronics Co., Ltd. All Rights Reserved.
#
#   Licensed under the Apache License, Version 2.0 (the "License");
#   you may not use this file except in compliance with the License.
#   You may obtain a copy of the License at
#
#          http://www.apache.org/licenses/LICENSE-2.0
#
#   Unless required by applicable law or agreed to in writing, software
#   distributed under the License is distributed on an "AS IS" BASIS,
#   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
#   See the License for the specific language governing permissions and
#   limitations under the License.
#
# ==================================================================================
# Reference: https://helm.sh/docs/intro/install/

# 최신 get-helm-3 스크립트 다운로드
curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/refs/heads/release-3.18/scripts/get-helm-3

# 실행 권한 부여
chmod 700 get_helm.sh

# 원하는 버전 설치 (3.18.6)
./get_helm.sh --version 3.18.6

실행

./install_helm.sh
helm version   # 버전 확인 (v3.18.6 이어야 함)

➡ 참고 : https://gerrit.o-ran-sc.org/r/c/aiml-fw/aimlfw-dep/+/14917

https://gerrit.o-ran-sc.org/r/c/aiml-fw/aimlfw-dep/+/14917

gerrit.o-ran-sc.org

5. Recipe 파일 수정

VM IP, datalake 관련 항목 수정
InfluxDB를 쓸 경우 bucket, token, org 값 입력

6. PostgreSQL/Cassandra 설치 | T.S 중간에 waiting pod error가 나서 따로 설치함

문제: bitnami/postgresql 이미지 Pull 실패 (공식 지원 종료 / Brownout 영향)
해결: bitnamilegacy/postgresql:14.11.0-debian-12-r9 이미지로 교체
bin/install_databases.sh 수정

helm install tm-db bitnami/postgresql \
  --namespace traininghost \
  --set image.repository=bitnamilegacy/postgresql \
  --set image.tag=14.11.0-debian-12-r9

PVC 충돌 시: kubectl delete pvc data-tm-db-postgresql-0 -n traininghost 로 초기화 후 재설치

7. InfluxDB 설치

설치

helm repo add bitnami https://charts.bitnami.com/bitnami
helm install my-release bitnami/influxdb --version 5.13.5

Token 확인

kubectl get secret my-release-influxdb -n default -o jsonpath="{.data.admin-user-token}" | base64 --decode

Org/Bucket 생성

kubectl exec -it <influxdb-pod> -- influx org list -t <TOKEN>
kubectl exec -it <influxdb-pod> -- influx bucket create -n UEData -o primary -t <TOKEN>

8. TrainingHost 설치

kubeflow 네임스페이스: cache, metadata, ml-pipeline, mysql 등 Running
traininghost 네임스페이스: cassandra, tm-db-postgresql, modelmgmtservice 등 Running

cd ~/aimlfw-dep
bin/install_traininghost.sh

# 설치 확인
kubectl get pods -A

9. FeatureGroup & Model 등록

FeatureGroup 등록

curl --location 'http://<VM-IP>:32002/ai-ml-model-training/v1/featureGroup' \
--header 'Content-Type: application/json' \
--data '{
  "featuregroup_name": "testfg",
  "feature_list": "pdcpBytesDl,pdcpBytesUl",
  "datalake_source": "InfluxSource",
  "enable_dme": false,
  "host": "my-release-influxdb.default",
  "port": "8086",
  "bucket": "UEData",
  "token": "<INFLUX_DB_TOKEN>",
  "measurement": "liveCell",
  "db_org": "primary"
}'

모델 등록

curl --location 'http://<VM-IP>:32006/ai-ml-model-registration/v1/model-registrations' \
--header 'Content-Type: application/json' \
--data '{
  "modelId": {"modelName": "modeltest1", "modelVersion": "1"},
  "description": "This is a test model.",
  "modelInformation": {
    "metadata": {"author": "juhee"},
    "inputDataType": "pdcpBytesDl,pdcpBytesUl",
    "outputDataType": "pdcpBytesDl,pdcpBytesUl"
  }
}'

참고 : https://docs.o-ran-sc.org/projects/o-ran-sc-aiml-fw-aimlfw-dep/en/latest/installation-guide.html

[Test] Model Management Service (MMES) Standalone 설치 & 테스트 전체 과정 정리

zhuxiclover — Wed, 3 Sep 2025 17:03:10 +0900

⚡ User Guid : https://github.com/o-ran-sc/aiml-fw-awmf-modelmgmtservice/blob/master/docs/user-guide.rst

aiml-fw-awmf-modelmgmtservice/docs/user-guide.rst at master · o-ran-sc/aiml-fw-awmf-modelmgmtservice

Mirror of the aiml-fw/awmf/modelmgmtservice repo. Contribute to o-ran-sc/aiml-fw-awmf-modelmgmtservice development by creating an account on GitHub.

github.com

1. 준비 단계

• Go 설치 필요 (문서 prerequisite)

- 최신 Go(1.24.6) 수동 설치

cd /tmp
wget https://go.dev/dl/go1.24.6.linux-amd64.tar.gz
sudo rm -rf /usr/local/go
sudo tar -C /usr/local -xzf go1.24.6.linux-amd64.tar.gz
echo 'export PATH="$PATH:/usr/local/go/bin"' >> ~/.bashrc
source ~/.bashrc
go version   # go1.24.6 확인

2. 소스 코드 다운로드 & 빌드

git clone "https://gerrit.o-ran-sc.org/r/aiml-fw/awmf/modelmgmtservice.git"
cd modelmgmtservice
go get
go build -o mme_bin .

➡ mme_bin 실행 파일 생성됨

3. config.env 환경변수 세팅

3-1. S3 (MinIO) 연동 이슈

• 기본 config.env는 S3 key/secret이 비어 있어서 실행 시 에러 발생

error="invalid config data
s3_access_key is not set/available or empty

• 해결

- AIMLFW 설치 시 포함된 Kubeflow MinIO 활용

- kubectl get secret -A | grep -i minio → mlpipeline-minio-artifact 발견

- secret 확인

➡ accesskey = leofs / secretkey = RQXM9lvM 획득, 이 값을 config.env에 기입

kubectl -n kubeflow get secret mlpipeline-minio-artifact \
  -o jsonpath='{.data.accesskey}' | base64 -d; echo
kubectl -n kubeflow get secret mlpipeline-minio-artifact \
  -o jsonpath='{.data.secretkey}' | base64 -d; echo

3-2. MinIO 접근 이슈

• 서비스는 ClusterIP(9000/TCP)라 외부 접근 불가, kubeflow의 MinIO 서비스(minio-service)가 ClusterIP 타입이라, 노드 외부에서 32080 포트로 접근할 수 없었음

# 에러 코드
ERROR Unable to initialize new alias from the provided credentials. The specified key does not exist.

• 해결 : NodePort로 수정하고 원하는 포트를 열어줌

- 이제 http://127.0.0.1:32081로 접근 가능해짐, 이후 mc alias set local http://127.0.0.1:32081 leofs RQXM9lvM 성공

kubectl -n kubeflow patch svc minio-service -p '{"spec":{"type":"NodePort"}}'
kubectl -n kubeflow patch svc minio-service -p '{"spec":{"ports":[{"port":9000,"protocol":"TCP","targetPort":9000,"nodePort":32081}]}}'

• 확인

curl http://127.0.0.1:32081/minio/health/ready
# → HTTP/1.1 200 OK

3-3. MinIO 클라이언트 (mc) 설치 및 테스트

wget -q https://dl.min.io/client/mc/release/linux-amd64/mc -O /tmp/mc
chmod +x /tmp/mc && sudo mv /tmp/mc /usr/local/bin/mc
mc alias set local http://127.0.0.1:32081 leofs RQXM9lvM
mc mb local/aimlfw-models   # 기본 버킷 생성

3-4. config.env 최종본

MMES_URL=0.0.0.0:8083

S3_URL=http://127.0.0.1:32081
S3_ACCESS_KEY=leofs
S3_SECRET_KEY=RQXM9lvM
S3_REGION=ap-northeast-2

s3_endpoint=${S3_URL}
s3_access_key=${S3_ACCESS_KEY}
s3_secret_key=${S3_SECRET_KEY}
s3_region=${S3_REGION}
s3_bucket=aimlfw-models
s3_use_ssl=false

MODEL_FILE_POSTFIX=_model.zip
INFO_FILE_POSTFIX=_info.json
LOG_FILE_NAME=mmes.log

PG_USER=mmes
PG_PASSWORD=mmes123
PG_HOST=127.0.0.1
PG_PORT=5432
PG_DBNAME=mmesdb

4. Postgres DB 설정

• 처음엔 DB 필드가 비어 있어 실행 에러 발생

invalid port (strconv.ParseUint: parsing "sslmode=disable": invalid syntax)

• 해결 : 로컬 Progres 실행 (Docker)

docker run -d --name mme-postgres \
  -e POSTGRES_USER=mmes \
  -e POSTGRES_PASSWORD=mmes123 \
  -e POSTGRES_DB=mmesdb \
  -p 5432:5432 postgres:15

• config.env에 DB 설정 반영 후 정상 연결 확인

5. 서비스 실행

• 로그에 Starting api ... 출력 → API 서버 기동 성공

set -a
source ./config.env
set +a
./mme_bin

• ./mme_bin 실행 시

# 밑의 에러 발생
failed to initialize database, got error cannot parse `host= user= password= dbname= port= sslmode=disable`

• 원인 : config.env에서 DB 환경 변수를 소문자 (pg_user, pg_host)로 작성했는데, 실제 코드에서는 대문자 (PG_USER, PG_HOST)를 찾고 있었음, 그래서 값이 비어있다고 인식함

• 해결 : conifg.env에 대문자로 수정

PG_USER=mmes
PG_PASSWORD=mmes123
PG_HOST=127.0.0.1
PG_PORT=5432
PG_DBNAME=mmesdb

6. API 테스트 (T.S 포함)

6-1. 모델 등록

• 문서 예제 (model-name, rapp-id) 그대로 사용 → 400 Bad Request

• 해결 : 실제 코드가 요구하는 JSON 구조 확인 (코드에서 요구하는 스키마는 ModelID, Description, ModelInformation 등 계층 구조가 필요) → ModelID 루트 구조 사용

• 최종 JSON (qos-301.json)

{
  "ModelId": {
    "ModelName": "qos-301",
    "ModelVersion": "1.0"
  },
  "Description": "QoS prediction model",
  "ModelInformation": {
    "Metadata": {
      "Author": "juhee",
      "Accuracy": "90",
      "ModelType": "timeseries",
      "FeatureList": ["pdcpBytesDl", "pdcpBytesUl"]
    },
    "InputDataType": "float32",
    "OutputDataType": "float32"
  }
}

• 등록

➡ 201 Created

curl -i -H "Content-Type: application/json" -X POST \
  -d @qos-301.json \
  http://127.0.0.1:8083/ai-ml-model-registration/v1/model-registrations

6-2. 모델 조회

• 초기에 NoSuchBucket 에러 → mc mb local/qos-301로 버킷 수동 생성 후 해결

curl -X GET http://127.0.0.1:8083/ai-ml-model-registration/v1/getModelInfo/qos-301

6-3. 모델 업로드

echo "dummy model file" > model.txt
zip model.zip model.txt
curl -F "file=@model.zip" \
  http://127.0.0.1:8083/ai-ml-model-registration/v1/uploadModel/qos-301/1.0/1
# → {"code":200,"message":"Model uploaded successfully.."}

6-4. 모델 다운로드

• 정상 다운로드 확인

curl -X GET \
  http://127.0.0.1:8083/ai-ml-model-registration/v1/downloadModel/qos-301/1.0/1/model.zip \
  --output downloaded_model.zip

✔ 업로드 된 모델 확인 (MinIO에서 직접 보기)

• 실제 model.zip 파일이 들어있는 것 확인 가능

mc ls local/qos-301
mc ls local/qos-301/1.0/1/

[TensorFlow] 윈도우 설치

zhuxiclover — Fri, 7 Mar 2025 17:51:03 +0900

1. Python 설치

- 해당 사이트에 들어간 후 이메일 작성, 이메일로 온 페이지에서 다운로드

https://www.python.org/downloads/release/python-353/

Python Release Python 3.5.3

The official home of the Python Programming Language

www.python.org

2. Anaconda 설치

https://www.anaconda.com/download

Download Anaconda Distribution | Anaconda

Download Anaconda's open-source Distribution today. Discover the easiest way to perform Python/R data science and machine learning on a single machine.

www.anaconda.com

- 설치 후 Anaconda prompt 관리자 권한으로 실행

3. TensorFlow 설치

# pip 업그레이드
python -m pip install --upgrade pip

# Conda 환경
conda create -n tensorflow python=3.5

# TensorFlow 설치 (anaconda 환경에서는 pip 보다 conda를 사용하여 설치하는 것이 더 안정적)
conda install tensorflow

# Test
> python (python 터미널 오픈)

이후 하단 참조

[ 22 ] - VPN 터널링

zhuxiclover — Mon, 28 Oct 2024 13:55:54 +0900

1. 개념

➜ VPN은 공중 네트워크를 사설 네트워크로 구성하여 사용함으로써, 비용 절감 및 보안성 이라는 장점을 갖고 있는 기술

➜ 이와 같은 특징으로 인해 이미 많은 기업에서 도입하고 사용하고 있으며, ISP에서도 VPN 서비스를 소개하며 IT 시장에서 상당한 부분을 차지하고 있음

➜ 기존의 보안이나 서비스 품질이 절대적으로 네트워크을 구축하기 위해 전용선을 기반으로 물리적인 사설망을 구축하는 것이 일반적으나, 이런 사설망은 범위가 확장되면, 회선 비용 및 유지 보수 비용이 증가된다는 단점을 가지고 있음

✅ 이 문제점을 해결한 네트워크 보안 서비스가 바로 VPN 솔루션

✅ VPN(Virtual Private Network)은 인터넷과 같은 저렴한 통신 매체를 기반으로 사용하지만, 궁극적으로 사설망과 같이 안전하고, 통신의 품질이 보장되는 네트워크를 구축하는 것. 그러나 인터넷은 기본적으로 통제가 되지 않는 신뢰적이지 못한 네트워크들의 모임이기 때문에 안전 및 품질 보장을 하기 위한 구성이 절실하게 필요

✅ VPN를 구현하기 위해 사용되는 주된 기술은 터널링(Tunneling), 암호화/인증(Encryption/Authentication), 접근 제어(Access Control) 기술이 있음

✅ 터널링(Tunneling) : 상호간 터널 경로를 구성. 이때 터널 외부의 환경은 내부에 있는 프로토콜을 볼 수가 없음. 예를 들어, 버스가 터널을 지날 때를 생각해본다면, 터널 밖에서는 터널 안의 버스가 지나가는지, 지나가지 않는지 알 수 없으며, 터널 내부에 있는 버스에게는 같은 통로만을 제공하는 것과 같음.

✅ 암호화/인증(Encryption/Authentication) : 암호화/인증은 각 터널을 안전하게 분리하는 역할. 단순한 터널링만으로는 그 안에 들어가는 데이터를 안전하게 보호할 수 없기 때문.

✅ 접근제어(Access Control) : VPN 내부의 자원에 대해서 접근 제어기능을 제공할 수 있음.

2. 기본망 구축

➜ setup

10.1.1.100/24 —-- 10.1.1.254/24 | 1.1.12.1/24 — 1.1.12.2/24 | 1.1.23.2/24 —-- 1.1.23.3/24 | 10.2.2.254 – 10.2.2.100/24

<R1>
no
en
conf t
int fa 0/0
no shut
ip add 10.1.1.254 255.255.255.0
exi
int fa 0/1
no shut
ip add 1.1.12.1 255.255.255.0
exi

<R2>
no 
en
conf t
host InternetR2
int fa 0/1
no shut
ip add 1.1.12.2 255.255.255 .0
exi
int fa 0/0
no shut
ip add 1.1.23.2 255.255.255.0
exi

<R3>
no 
en
conf t
int fa 0/0
no shu
ip add 1.1.23.3 255.255.255.0
exi
int fa 0/1
no shut
ip add 10.2.2.254 255.255.255.0
exi

<R1/2/3>
conf t
router rip
ver 2
no auto
net 1.0.0.0
timer bas 1 6 0 8

➜ ping test

3. 터널링

<R1>
conf t
int tun 13
ip add 10.1.13.1 255.255.255.0
tun so fa0/1     --> AWS 가상 프라이빗 게이트웨이
tun de 1.1.23.3  --> AWS 고객 게이트웨이 --> Side-to-Side 연결
exi
ip route 10.2.2.0 255.255.255.0 10.1.13.3


<R3>
conf t
int tun 13
ip add 10.1.13.3 255.255.255.0
tun so fa0/0     --> AWS 가상 프라이빗 게이트웨이
tun de 1.1.12.1  --> AWS 고객 게이트웨이 --> Side-to-Side 연결
exi
ip route 10.1.1.0 255.255.255.0 10.1.13.1

➜ 터널 살아났는지 확인

✅ show ip interface brief

➜ ping test

➜ 추가 망 구성

R1_fa0/0 10.1.12.1/24 —- R2_fa0/0 10.1.12.2/24 | R2_fa0/1 10.1.23.2/24 —-- R3_fa0/1 10.1.23.3/24 | R3_fa0/0 1.1.34.3/24 —- R4_fa0/0 1.1.34.4/24 | R4_fa0/1 1.1.45.4/24 —-- R5_fa0/1 1.1.45.5/24 | R5_fa0/0 10.2.56.5/24 —-- R6_fa0/0 10.2.56.6/24 | R6_fa0/1 10.2.67.6/24 —--- R7_fa0/1 10.2.67.7/24

<R3/4/5>
router os 1
net  1.1.0.0 0.0.255.255 a 0
exi

<R1/2/3>
router rip
ver 2
no auto
net 10.0.0.0
exi

<R5/6/7>
router rip
ver 2
no auto
net 10.0.0.0
exi

[ 배포 자동화 ]

zhuxiclover — Wed, 23 Oct 2024 16:29:25 +0900

CI/CD 파이프라인: CodePipeline, CodeBuild, CodeDeploy 또는 Jenkins를 통한 배포 자동화 설정
CloudFormation/Terraform: 인프라를 코드로 배포하는 템플릿 설명
배포 과정: 배포 시나리오 및 단계별 설명

1. CI/CD 파이프라인 (CodePipeline, CodeBuild, CodeDeploy)

(1) CI/CD 툴 선택

AWS CodePipeline : CI/CD 파이프라인을 관리하는 도구로, 소스 코드가 커밋되면 자동으로 빌드, 테스트, 배포까지 진행
AWS CodeBuild : 애플리케이션을 빌드하고, 테스트를 자동으로 실행
AWS CodeDeploy : EC2 또는 Lambda로 애플리케이션을 자동 배포
Jenkins : 자체 CI/CD 서버를 운영하려는 경우 Jenkins를 사용하여 파이프라인 구축

(2) CI/CD 파이프라인 구성

소스 코드 저장소
- GitHub, Bitbucket 또는 AWS CodeCommit과 연동하여 소스 코드 관리
CodePipeline 흐름
- 단계 1 : 소스 단계
  - 개발자가 코드 커밋 → 소스 저장소에서 변경 사항 감지 후 파이프라인 트리거
- 단계 2 : 빌드 단계 (CodeBuild)
  - CodeBuild가 소스 코드를 빌드하고, 테스트 실행 (빌드 도구로는 Maven, Gradle, npm 등 선택 가능)
  - 빌드가 성공하면 아티팩트를 S3에 저장
- 단계 3 : 배포 단계 (CodeDeploy)
  - CodeDeploy를 통해 빌드된 애플리케이션을 EC2 인스턴스 또는 Lambda 함수로 배포
  - Blue/Green 또는 Rolling 업데이트 방식 사용
- 단계 4 : 배포 완료 후 테스트 단계
  - 배포 후 테스트 실행 (예: Selenium 테스트, AWS Lambda 기반 자동화 테스트)

(3) 배포 전략

Blue/Green Deployment
- 새로운 애플리케이션 버전을 배포할 때 Blue(현재 버전)와 Green(새로운 버전)을 두 개의 환경으로 구분하여, 새로운 버전을 먼저 테스트한 후 최종적으로 전환
- CodeDeploy에서 쉽게 설정 가능
Rolling Deployment
- 인스턴스 그룹의 일부를 동시에 업데이트하여 점진적으로 새로운 버전을 배포
- ELB와 연동하여 트래픽을 분산시켜 무중단 배포 가능

2. 인프라 자동화 (Infrastructure as Code)

(1) CloudFormation

AWS CloudFormation을 사용하여 모든 인프라를 코드로 정의하고 배포
예시: VPC, 서브넷, EC2, RDS, S3 등의 리소스를 템플릿으로 관리

(2) Terraform

멀티 클라우드 환경을 고려하거나 인프라 설정을 좀 더 유연하게 관리하기 위해 Terraform을 사용할 수 있음
모듈화 : Terraform 모듈을 사용하여 VPC, EC2, RDS 등 각각의 구성 요소를 재사용 가능하게 설계

3. 배포 과정 (Deployment Workflow)

(1) 배포 시나리오

개발자가 코드 커밋
- GitHub 또는 CodeCommit에 소스 코드 푸시
- CodePipeline에서 변경 사항을 감지하고 파이프라인 실행
빌드 및 테스트
- CodeBuild가 빌드 및 테스트 진행. 테스트 성공 시 아티팩트 생성 후 S3에 업로드
자동 배포
- CodeDeploy가 배포를 자동화하여 Blue/Green 방식 또는 Rolling 방식으로 애플리케이션을 EC2 인스턴스에 배포
모니터링
- 배포가 완료되면 CloudWatch 및 CloudTrail을 통해 로그와 메트릭을 확인하여 애플리케이션 상태를 모니터링
- 실패 시 롤백

(2) 배포 단계별 설명

1단계 : 초기 설정
- CI/CD 툴 (CodePipeline, Jenkins) 설정
- 배포 대상 환경에 맞춰 CloudFormation/Terraform 스크립트를 준비
2단계 : 자동 빌드 및 테스트
- 개발자가 코드를 커밋하면 자동으로 빌드가 시작되고, 기본적인 유닛 테스트가 실행
- 테스트가 성공하면 빌드 결과물이 배포 준비 상태가 됨
3단계 : 프로덕션 배포
- CodeDeploy를 사용하여 새로운 애플리케이션 버전을 프로덕션 환경에 배포
- 배포 전후로 헬스 체크를 통해 무중단 배포 보장
4단계 : 모니터링 및 피드백
- CloudWatch 알람을 통해 배포 후 서비스 상태를 지속적으로 모니터링
- 문제가 발생할 경우 롤백 또는 긴급 대응 방안 실행

[ 네트워킹 및 로깅 ]

zhuxiclover — Wed, 23 Oct 2024 16:24:29 +0900

CloudWatch 모니터링: 메트릭 설정, 알람 구성, 로그 수집 설정
CloudTrail 로깅: API 호출 및 보안 이벤트 추적
로그 분석: 실시간 로그 모니터링 및 분석 도구

1. CloudWatch 모니터링

(1) 메트릭 설정

기본 시스템 메트릭 : EC2, RDS, ALB, Auto Scaling 그룹 등 주요 리소스의 CPU 사용률, 메모리, 디스크 I/O, 네트워크 트래픽 등의 메트릭을 수집
커스텀 메트릭
- 애플리케이션 성능 지표 : API 응답 시간, 성공/실패 요청 수 등을 커스텀 메트릭으로 추가
- 비용 모니터링 : AWS 비용 추적 메트릭을 설정하여 리소스 사용 비용을 실시간으로 모니터링
NGINX/Apache 로그 메트릭 : 애플리케이션 서버에서 수집한 웹 서버 로그 데이터를 CloudWatch에 전송하여 트래픽 패턴 및 에러 로그 추적

(2) 알람 구성

리소스 임계치 기반 알람
- EC2 CPU 사용률 80% 초과 시 경고 알람 설정
- RDS에서 커넥션이 과도하게 발생할 경우 알람 설정
애플리케이션 성능 기반 알람
- API 응답 시간이 500ms 이상일 경우 알람 전송
- 실패한 요청 수가 5% 이상일 경우 경고 알람 설정
비용 알람
- 일일/월간 비용이 설정된 임계치를 초과하면 알람을 통해 비용 관리

(3) 로그 수집 및 분석

EC2 및 Lambda 로그 수집 : CloudWatch Logs Agent를 통해 EC2 인스턴스의 로그를 실시간으로 수집하고, Lambda 함수 로그도 자동으로 CloudWatch로 전송
RDS 로그 수집 : RDS에서 Slow Query 로그와 같은 중요한 데이터베이스 로그를 CloudWatch에 저장하여 분석 가능하도록 구성
ALB 액세스 로그 : ELB에서 수집되는 액세스 로그를 CloudWatch Logs에 전송하여 트래픽 패턴 및 에러 분석

2. CloudTrail 로깅

(1) API 호출 추적

CloudTrail 설정
- AWS 리소스에 대한 모든 API 호출 기록을 남기기 위해 CloudTrail을 활성화
- 중요한 리소스와 서비스의 API 호출을 모니터링하고, 보안 이벤트나 이상 행동을 추적
- 추적 로그는 S3 버킷에 저장되며, 장기 보관 및 분석을 위한 아카이브 역할을 함
로그 통합
- CloudTrail에서 수집된 로그 데이터를 CloudWatch Logs와 연동하여 실시간 알람을 설정하고, 보안 이벤트가 발생할 경우 즉시 통지
- AWS Lambda를 활용해 자동화된 대응(예: 알람 전송, 특정 액션 차단)을 구현할 수 있음

(2) 보안 이벤트 추적

IAM 및 보안 그룹 설정 변경 추적
- 보안 그룹 및 IAM 정책이 변경되는 API 호출에 대한 로그를 추적하고, 알림 설정
- 민감한 리소스에 대한 접근이 시도되면 CloudTrail 로그를 통해 즉시 인지하고 대응
S3 액세스 로그 추적
- S3 버킷에 저장된 데이터에 대한 액세스 로그를 CloudTrail로 수집하여, 비정상적인 액세스 시도를 확인
- 민감한 데이터에 대한 읽기/쓰기 액세스가 발생할 경우 알람 전송

3. 로그 분석 및 실시간 모니터링

(1) CloudWatch Logs Insights

로그 쿼리
- CloudWatch Logs Insights를 사용하여 EC2, Lambda, RDS, ALB에서 수집된 로그 데이터를 실시간으로 쿼리하고 분석
- 예시 : 특정 시간대에 발생한 HTTP 5xx 에러 로그 필터링, 특정 사용자 IP의 접속 패턴 분석
커스텀 대시보드
- CloudWatch 대시보드를 통해 중요한 메트릭 및 로그 데이터를 한 눈에 확인할 수 있는 커스텀 대시보드 생성
- 각종 메트릭을 대시보드에서 시각화하여 애플리케이션 및 인프라 상태를 실시간으로 모니터링

(2) AWS ElasticSearch/Opensearch 연동

로그 분석 도구 연동
- CloudWatch Logs에서 수집된 데이터를 AWS Opensearch와 연동하여 보다 고급 로그 분석 및 시각화 기능 활용
- Kibana 대시보드를 통해 실시간 로그 분석을 수행하고, 로그 트렌드 파악 및 이상 행동 탐지
실시간 알람 및 대응
- Lambda 함수를 통해 실시간 로그 분석 후, 특정 패턴 또는 에러가 감지되면 자동으로 대응 작업을 수행 (예: 특정 IP 차단, 알림 전송 등)

(3) Amazon GuardDuty 연동 (추가 보안 모니터링)

보안 위협 감지
- GuardDuty를 활성화하여 AWS 계정 내 발생하는 보안 위협을 실시간으로 감지
- 비정상적인 API 호출, DDoS 공격 등 보안 관련 이슈를 감지하고, CloudWatch와 연동하여 실시간 알람을 설정
위협 분석 및 대응
- GuardDuty에서 감지한 위협 데이터를 기반으로 보안 로그를 분석하고, Lambda 함수를 통해 자동 대응 정책을 설정

[ 요구사항 분석, 아키텍처 설계 ]

zhuxiclover — Wed, 23 Oct 2024 16:22:25 +0900

1. 요구사항 분석

안정적이고 확장 가능한 웹 애플리케이션 배포
확장성과 비용 최적화 고려
24시간 중단 없는 서비스 제공
사용자 정보 보호 및 암호화된 통신
비용 효율적인 클라우드 인프라 사용

2. 아키텍처 설계

시스템 구성도 : VPC, 서브넷, EC2, RDS, ELB, S3 등 포함한 클라우드 인프라 다이어그램
서비스 상호작용 : 각 AWS 서비스가 어떻게 상호작용하는지 설명
보안 설정 : IAM 역할, 보안 그룹, VPC 네트워크 구조
확장성 계획 : Auto Scaling과 ELB 설정 계획
비용 최적화 전략 : 사용하지 않는 리소스 자동 종료 등

(1) 시스템 구성도 (System Architecture)

VPC : 애플리케이션의 보안 및 네트워크 격리를 위해 VPC를 설정
- 서브넷 : 퍼블릭 서브넷과 프라이빗 서브넷으로 구분
  - 퍼블릭 서브넷 : ELB 및 EC2 인스턴스 배치
  - 프라이빗 서브넷 : RDS 및 비공개 데이터 처리 시스템 배치
- 인터넷 게이트웨이 : 퍼블릭 서브넷에서 외부 네트워크와 통신할 수 있도록 인터넷 게이트웨이를 설정
- NAT 게이트웨이 : 프라이빗 서브넷에 있는 인스턴스가 인터넷에 접근할 수 있도록 NAT 게이트웨이를 사용
EC2 인스턴스
- 웹 애플리케이션의 API 서버를 실행할 EC2 인스턴스를 배포합니다. 이 인스턴스는 Auto Scaling 그룹에 포함
- 필요한 경우 Lambda 함수와 같이 서버리스 컴퓨팅을 일부 활용할 수 있음
RDS (Relational Database Service)
- RDS를 사용하여 사용자 데이터를 관리하고, Multi-AZ 배포로 고가용성을 확보
- 프라이빗 서브넷에 배치하여 보안을 강화
S3
- 정적 콘텐츠(사용자 대시보드, 이미지 등)를 호스팅하는 데 사용
- 클라우드 저장소 및 백업으로도 사용 가능
ELB (Elastic Load Balancer)
- 여러 EC2 인스턴스에 트래픽을 분산하여 고가용성을 유지
- HTTPS를 설정하여 외부 통신을 암호화

(2) 서비스 상호작용 (Service Interactions)

API Gateway와 Lambda
- API 요청을 처리하기 위해 API Gateway를 사용하고, 특정 요청은 Lambda 함수로 처리하여 서버리스 아키텍처를 구성할 수 있음
CloudFront
- S3에 저장된 정적 파일을 전 세계 사용자에게 빠르게 전송하기 위해 CloudFront CDN을 설정
EC2 - RDS 상호작용
- EC2 인스턴스에서 RDS와 통신할 때 SSL 암호화를 사용하여 보안 통신을 보장
S3
- 사용자가 업로드한 파일은 S3에 저장되며, 백엔드 서비스가 해당 파일을 처리하도록 설정

(3) 보안 설정 (Security Configuration)

IAM 역할
- 각 서비스가 최소 권한 원칙을 따르도록 IAM 역할을 설정
- EC2, Lambda, RDS에 필요한 권한만 부여하여 과도한 권한을 제한
보안 그룹
- EC2 인스턴스는 HTTP(80) 및 HTTPS(443) 포트를 통해 접근 가능하게 설정
- RDS는 EC2 인스턴스에서만 접근할 수 있도록 프라이빗 서브넷 내에서만 접근 허용
VPC 네트워크 구조
- VPC 내에서 퍼블릭 서브넷과 프라이빗 서브넷을 나누어 데이터베이스는 외부 노출이 되지 않도록 설정
- 프라이빗 서브넷에는 RDS와 같은 중요한 자원들을 배치하고, 퍼블릭 서브넷에는 웹 서버 및 로드 밸런서를 배치
암호화
- S3 버킷 및 RDS 데이터를 모두 암호화(SSE-S3 또는 SSE-KMS)
- SSL을 통한 웹 애플리케이션 및 데이터베이스 간의 암호화 통신을 설정

(4) 확장성 계획 (Scalability Planning)

Auto Scaling
- 트래픽이 증가할 때 EC2 인스턴스를 자동으로 추가하고, 트래픽이 줄어들면 인스턴스를 줄이는 Auto Scaling 정책을 설정
- CPU 사용률, 메모리 사용량 등을 기준으로 트리거를 설정
Elastic Load Balancer (ELB)
- ELB를 통해 다수의 EC2 인스턴스에 트래픽을 자동으로 분산하여 높은 가용성을 유지
- 헬스 체크를 통해 비정상적인 인스턴스를 자동으로 제외하고 교체하는 설정을 추가

(5) 비용 최적화 전략 (Cost Optimization Strategies)

EC2 스팟 인스턴스 활용
- 비정기적인 작업에 대해 EC2 스팟 인스턴스를 사용하여 비용을 절감.
S3 비용 절감
- S3 버킷에 저장된 데이터를 분석하여 자주 사용되지 않는 파일은 Glacier로 이동하여 스토리지 비용 절감
Auto Scaling으로 리소스 절약
- Auto Scaling을 통해 트래픽이 적을 때는 EC2 인스턴스를 줄여 비용 절감
Unused Resources
- CloudWatch 및 Trusted Advisor를 활용해 사용하지 않는 리소스(예: 미사용 인스턴스, 비활성 EBS 볼륨 등)를 주기적으로 확인하고 정리

[ 개요 ]

zhuxiclover — Wed, 23 Oct 2024 16:20:13 +0900

1. 프로젝트 개요

이 프로젝트는 AWS 클라우드 환경을 기반으로 실제 비즈니스 요구사항을 해결하는 웹 애플리케이션 인프라를 설계하고 배포하는 과제입니다. 주요 목표는 다음과 같습니다:

AWS 핵심 서비스를 사용하여 확장 가능하고, 비용 효율적이며, 안전한 웹 애플리케이션 구축 및 운영
고객 요구사항을 반영한 클라우드 아키텍처 설계
자동화된 배포, 확장성 확보, 보안 설정, 모니터링 및 비용 최적화 구현
업무시간 내외의 고객 요청 처리 방안 수립
문제 및 사고 상황 대응 방안 마련

2. 프로젝트 목적

클라우드 서비스 실무 역량 강화
비즈니스 요구 반영 능력 향상
확장성 및 비용 최적화 능력 개발
보안 및 안정성 확보 역량 강화
문서화 및 문제 해결 능력 향상
모니터링 구성 역량 개발

3. 평가 항목 및 기준

주요 평가 항목은 다음과 같습니다:

AWS 서비스 사용 능력
배포 자동화
아키텍처 설계 논리성
문제 해결 능력
비용 최적화
확장성 고려
보안 설정
모니터링 및 로깅
문서화
실행 가능성 및 품질

4. 시나리오

(1) 시나리오 배경

고객: 스타트업 회사 "클라우드 주식회사"

목표: 스마트폰을 통해 집안의 기기들을 원격으로 제어할 수 있는 웹 기반 애플리케이션 제공

(2) 고객 요구사항

안정적이고 확장 가능한 웹 애플리케이션 배포
확장성과 비용 최적화 고려
24시간 중단 없는 서비스 제공
사용자 정보 보호 및 암호화된 통신
비용 효율적인 클라우드 인프라 사용

5. 과제

AWS 기반 웹 애플리케이션 설계 및 배포
확장성 및 가용성 확보
보안 및 네트워크 구성
비용 최적화 및 모니터링 설정
업무 프로세스 정의

6. 평가 기준

평가는 다음 항목을 중심으로 이루어집니다

기술적 능력
아키텍처 설계 논리성 및 문제 해결 능력
확장성 및 비용 최적화
보안 및 네트워크 설정
모니터링 및 로깅
문서화 및 다이어그램
최종 결과물의 품질 및 실행 가능성
업무 프로세스 구성 및 완성도

7. 프로젝트 계획서

프로젝트 계획서는 다음과 같은 주요 단계로 구성됩니다

분석: 요구조건 식별 (구축, 보안, CI/CD, 기타 서비스 워크로드)
설계: 아키텍처, AWS 리소스, CI/CD, 보안 솔루션 구성안 작성
구축: 개발 및 운영 환경 구성, CI/CD 환경 설정 및 테스트
모니터링: 계획 수립, 메트릭 정의, 알람 구성
운영 계획: 정책, 기술, 단계, 점검, 관리 프로세스 수립

이 프로젝트를 통해 실무에서 클라우드 인프라를 직접 설계하고 운영할 수 있는 역량을 키울 수 있을 것입니다.

[ 21 ] - Apache Tomcat

zhuxiclover — Tue, 22 Oct 2024 10:46:25 +0900

1. 초기 setup

docker version
mkdir practice
cd pratice/
docker ps

ls -al /var/lib/docker/

docker run --privileged -itd -p 8080:8080 -p 50000:50000 --restart=on-failure -v jenkins_home:/var/jenkins_home --name jenkins jenkins/jenkins

ls -al /var/lib/docker/volumes/jenkins_home/_data

admin
12345
12345
admin
admin@abc.com

➜ ls -al /var/lib/docker/volumes/jenkins_home/_data

➜ localhost:8080/로 firefox에서 jenkins 접속

✅ 비밀번호 확인

root@ubuntu:~/practice# ls -al /var/lib/docker/volumes/jenkins_home/_data/secrets/initialAdminPassword 
-rw-r----- 1 ubuntu ubuntu 33 10월 21 10:02 /var/lib/docker/volumes/jenkins_home/_data/secrets/initialAdminPassword
root@ubuntu:~/practice# cat /var/lib/docker/volumes/jenkins_home/_data/secrets/initialAdminPassword
1a3664e53afe4c338d9c62576183983d

➜ Jenkins URL : http://localhost:8080/

➜ 새로운 아이템 생성

✅ New item > name : project01 > Freestyle Project > 설명 : project 01

✅ execute에 코드 입력

➜ 동작 확인

✅ project 올라간 것 확인

2. 초기 설치

root@ubuntu:~/practice# docker exec -it -u 0 jenkins-server bash
apt update
apt -y install openssh-client openssh-server
apt -y install net-tools && apt -y install nano 
apt-get -y install iputils–ping && apt-get -y install python3
nano /etc/ssh/sshd_config

service ssh restart/enable

➜ 변경 사항

✅ win 10 tomcat 8080 → 8081

✅ ubuntu tomcat 8080 → 8082

✅ docker tomcat 8080 → 8083

3. Tomcat

➜ 시작 및 구동 : 폴더 주소창에 cmd 쳐서 들어가기

✅ D:\vmware\apache-tomcat\apache-tomcat-9.0.96>.\bin\startup.bat

➜ open jdk

✅ window+R : sysdm.cpl 입력

✅ PATH : 새로운 값 %JAVA_HOME%\bin 추가

✅ 변수 값 : jdk 파일 경로 ( D:\vmware\apache-tomcat\apache-tomcat-9.0.96\openjdk-11.0.2_windows-x64_bin\jdk-11.0.2 )

➜ 접속 확인

✅ .\bin\startup.bat : Tomcat 접속 확인

✅ 웹 브라우저 접속 확인 : http://localhost:8080

➜ 우분투 tomcat 설치

root@ubuntu:~# apt update 
root@ubuntu:~# apt install -y openjdk-11-jdk 
root@ubuntu:~# apt install tomcat9 tomcat9-admin -y 
root@ubuntu:~# systemctl restart/enable/status tomcat9



# 안될 경우
wget https://downloads.apache.org/tomcat/tomcat-9/v9.0.96/bin/apache-tomcat-9.0.96.tar.gz
tar xzvf apache-tomcat-9.0.96.tar.gz
mv apache-tomcat-9.0.96 /var/lib/tomcat9
ls -al /var/lib/tomcat9
ls -al /var/lib/tomcat9/bin
/var/lib/tomcat9/bin/startup.sh

4. 포트 변경

root@ubuntu:~/practice# nano conf\tomcat-users.xml
root@ubuntu:~/practice# nano conf\server.xml
root@ubuntu:~/practice# cd /var
root@ubuntu:/var# ls
backups  cache  crash  lib  local  lock  log  mail  metrics  opt  run  snap  spool  tmp
root@ubuntu:/var# cd lib
root@ubuntu:/var/lib# ls
AccountsService  bluetooth             dictionaries-common  ghostscript           logrotate              private       swcatalog                unattended-upgrades  xkb
BrlAPI           boltd                 docker               git                   man-db                 python        systemd                  update-manager       xml-core
NetworkManager   ca-certificates-java  dpkg                 gnome-remote-desktop  misc                   saned         tomcat9                  update-notifier
PackageKit       cloud                 emacsen-common       grub                  openvpn                sgml-base     tpm                      upower
alsa             colord                foo2zjs              hp                    os-prober              shells.state  ubuntu-advantage         usb_modeswitch
app-info         command-not-found     fprint               ieee-data             pam                    snapd         ubuntu-drivers-common    vim
apport           containerd            fwupd                ispell                plymouth               snmp          ubuntu-release-upgrader  vmware
apt              dbus                  gdm3                 libuuid               polkit-1               sss           ucf                      whoopsie
aspell           dhcpcd                geoclue              locales               power-profiles-daemon  sudo          udisks2                  xfonts
root@ubuntu:/var/lib# ls | grep tomcat
tomcat9
root@ubuntu:/var/lib# cd tomcat9/
root@ubuntu:/var/lib/tomcat9# ls
BUILDING.txt  CONTRIBUTING.md  LICENSE  NOTICE  README.md  RELEASE-NOTES  RUNNING.txt  bin  conf  lib  logs  temp  webapps  work
root@ubuntu:/var/lib/tomcat9# cd conf/
root@ubuntu:/var/lib/tomcat9/conf# ls
Catalina         catalina.properties  jaspic-providers.xml  logging.properties  tomcat-users.xml  web.xml
catalina.policy  context.xml          jaspic-providers.xsd  server.xml          tomcat-users.xsd
root@ubuntu:/var/lib/tomcat9/conf# nano server.xml 
root@ubuntu:/var/lib/tomcat9/conf# nano tomcat-users.xml

➜ conf\server.xml

# default로서 local접속만 허용 -> 주석처리

webapps\manager\META-INF\context.xml
webapps\host-manager\META-INF\context.xml

➜ 사용자 설정

✅ conf\tomcat-users.xml

  <role rolename="manager-gui"/>
  <role rolename="manager-status"/>
  <role rolename="manager-script"/>
  <role rolename="manager-jmx"/>
  
  <user username="admin" password="admin" roles="manager-gui, manager-script, manager-jmx, manager-status"/>
  <user username="deployer" password="deployer" roles="manager-script"/>
  <user username="tomcat" password="tomcat" roles="manager-gui"/>

5. Docker에 업로드

docker run --rm -itd --privileged --name dockertomcat --hostname dockertomcat -p 8083:8080 tomcat:9.0

➜ 확인

root@ubuntu:~# docker exec -it -u 0 dockertomcat bash

root@dockertomcat:/usr/local/tomcat# apt update && apt install -y nano

➜ 위치 변경

root@dockertomcat:/usr/local/tomcat# cp -R webapps.dist/* webapps

ubuntu 22.04 비밀번호 : 12345

[ 20 ] - 취약점

zhuxiclover — Thu, 17 Oct 2024 10:53:08 +0900

1. nmap 개념

➜ 개요

✅ Network Map으로 보안을 목적으로하는 네트워크 스캐닝에 사용되는 툴

✅ 기본적으로 host Scanning, Port Scanning, OS Scanning 기능 등을 제공

✅ Site : www.nmap.org

Nmap: the Network Mapper - Free Security Scanner

Download Reference Guide Book Docs Zenmap GUI In the Movies Get Nmap 7.95 here Nmap.org has been redesigned! Our new mobile-friendly layout is also on Npcap.com, Seclists.org, Insecure.org, and Sectools.org. Nmap 7.90 has been released with Npcap 1.00 alon

nmap.org

➜ 종류

➜ 옵션

[ 19 ] - 방화벽 WAF

zhuxiclover — Wed, 16 Oct 2024 15:41:44 +0900

1. 개념

➜ OSINT [shoadan] : exploitdb

✅ 참고 : https://buckets.grayhatwarfare.com/

Public Buckets by GrayhatWarfare

Regex Autocorrect Our system is build in such a way, so that the input regex must match the complete filename, start to end in order to be returned. Most people expect that if their regex matches partially in a filename this will be returned. Because not a

buckets.grayhatwarfare.com

2. 기본 실습 구축

➜ 사전 작업

✅ test 용 VPC 망 구축

✅ EC2 생성 : 우분투, 퍼블릭 IP 할당

✅ ALB 생성

➜ mobaXterm 접속 (username : ubuntu) : instance 2개 다 실행

sudo -i

apt update
apt install apache2 –y
systemctl restart apache2
systemctl enable apache2
echo "<h1>Test Web Servere11</h1>" > /var/www/html/index.html

apt update
apt install apache2 –y

3. Kali 접속 (ID/PW : kali)

➜ ALB 스캔

✅ nikto -h waf-ALB-1823442467.ap-northeast-2.elb.amazonaws.com

✅ nikto는 http를 스캐닝하는 것이므로, 보안그룹에서 HTTP가 허가되어야 함

4. AWS WAF

➜ 아래 두 항목 추가 + PHP application, WordPress application 추가

➜ Web ACLs

✅ 생성된 것 확인

➜ 트래픽 확인

(추후 캡쳐본 넣기)

5. 새로운 실습

➜ EC2 생성 (1)

➜ EC2 생성 (2)

➜ 보안그룹 수정

➜ mobaXterm 접속

✅ username : kali, ubuntu

sudo -i

apt update
apt install -y docker.io
systemctl restart/enable docker

➜ 취약점 서버 검색

✅ 참고 : https://hub.docker.com/r/vulnerables/web-dvwa

https://hub.docker.com/r/vulnerables/web-dvwa

hub.docker.com

✅ 설치 : docker run --rm -itd -p 81:80 vulnerables/web-dvwa

✅ 보안 그룹 추가

➜ 접속 확인

➜ ubuntu kali에서 ping : 사설 ip 주소

✅ ping 10.0.1.40

✅ nikto -p 81 -h 10.0.1.40

✅ nmap -sV 10.0.1.40

➜ 내부 scanning : nmap

✅ apt install -y nmap

✅ nmap -sV 10.0.1.40

✅ 참고 : https://hub.docker.com/r/vulnerables/web-dvwa

https://hub.docker.com/r/vulnerables/web-dvwa

hub.docker.com

** 참고 **

https://isms.kisa.or.kr/main/csap/request/

KISA 정보보호 및 개인정보보호관리체계 인증 클라우드 보안인증제 보안인증절차

> 클라우드 보안인증제 > 보안인증절차 안전한 클라우드 컴퓨팅 서비스 정보보호 관리체계를 만들어갑니다. 보안인증절차 준비단계 신청기관 : 시스템 및 서비스 구축 → 보안인증 신청 → 평가

isms.kisa.or.kr

** 보안 클라우드 포폴 관련 중요 사항 **

➜ OWASP top 10

➜ KISA 클라우드 보안 점검 가이드

➜ OSINT

✅ 위 세가지 키워드가 들어 있어야 함

[ 18 ] - KMS

zhuxiclover — Tue, 15 Oct 2024 16:13:04 +0900

1. 개념

➜ 암호화키를 쉽게 만들어주고 수많은 AWS 리소스와 상호작용함, 암호키를 사용하여 데이터를 암호화하는 방법이 매우 단순함

➜ CMK [ Customer Master Key ]

✅ 4kbyte에 해당하는 데이터 encrypt & decrypt

✅ CMK를 사용하여 데이터 키를 암호화시킴, 이 데이터 키를 가지고 실제 데이터를 암호화

2. 사용자 그룹 생성

➜ kms-group

➜ 권한 추가

➜ 사용자 생성 : kms-manager

✅ 그룹에 사용자 추가 : kms-group

✅ 보안자격증명 : 콘솔 로그인 활성화 [사용자 지정 암호 설정 : P@ssw0rd]

➜ 사용자 생성 : kms-manager

✅ 그룹에 사용자 추가 : kms-group

✅ 보안자격증명 : 콘솔 로그인 활성화 [사용자 지정 암호 설정 : P@ssw0rd]

3. KMS

➜ 키 생성

✅ 다 default, 별칭 : user-cmk

✅ 키 관리자 : kms-manager

✅ 키 사용자 : kms-user

4. 버킷 생성 : kms-testsjh-1015

➜ helloworld.txt 파일 하나 업로드

➜ incript.txt 파일 하나 업로드

✅ 속성 : cmk 키 선택

5. 확인

➜ 사용자 한 명 추가로 생성 : kms-checkuser

✅ 보안자격증명 : 콘솔 로그인 활성화 [사용자 지정 암호 설정 : P@ssw0rd]

✅ 그룹에 포함시키지 x

✅ 권한 추가 : AmazonS3FullAccess

➜ 암호화

➜ 비암호화

[ 17 ] - Cloudwatch X-ray

zhuxiclover — Tue, 15 Oct 2024 14:02:35 +0900

1. 개념

➜ cloudwatch 블록에 들어있는 x-ray 살펴보기

✅ 분산 application 분석 및 디버깅 용도로 사용되어짐, 시각화 기능을 제공하여 쉽게 application 흐름 이해

✅ x-ray 서비스 맵을 제공, client가 어디에서 접속을 시도하면 어떤 api가 호출되어지는지 순차적으로 어떤 리소스를 언제 어떻게 request하며 실행되어지는지 한눈에 알수있음

✅ 서버리스 application을 구현할 때 쓰이는 것들이 대부분 x-ray 사용가능, ec2, lambda, dynamodb, elb, api gateway, SNS, SQS, elastic beanstalk 등

2. Lambda 함수 생성

➜ 버킷 이름만 지정, 나머지는 default로 기본 생성

➜ Lambda 함수 생성

➜ 트리거 추가

✅ S3 이벤트 확인

✅ Lamdba 권한 역할 확인

✅ 권한 추가

✅ Lambda > 함수 > lambda-read-s3-1015 > 모니터링 도구 > 편집 > 활성 추적

✅ S3 버킷에 .txt 파일 업로드

3. Cloudwatch 모니터링

➜ X-ray 기록 > 기록 세부 정보

✅ txt 파일 올라간 것 확인

4. 실습

➜ 역할 생성 : elasticbeanstalk

✅ 권한 추가

➜ 역할 생성 : s3fullaccess

➜ VPC 생성 : 자동으로

✅ 서브넷 2개 (Private, Public)

➜ Elastic Beanstalk

✅ 애플리케이션 생성 : beanstalk15

[ 16 ] - dynamoDB에 데이터 넣기

zhuxiclover — Mon, 14 Oct 2024 11:33:55 +0900

1. 개념

➜ api 서버는 사용자로부터 다양한 요청을 수신

✅ 이 정보들은 LAMDA 함수로 전달 되고, 사용자 요청에 따라 LAMDA 함수에서 dynamodb 테이블에 데이터를 삽입/수정/삭제 등의 여러 가지 이벤트를 일으킴

2. 테이블 생성

3. API Gateway

➜ 리소스 생성

➜ 매서드 생성

➜ LAMDA 함수 생성

➜ 코드 삽입

 {
                'customer_id': '95IUZ',
                'transaction_date': '2020-10-24',
                'item_category': 'Desk',
                'price': 120000
 }

➜ LAMDA 함수에 코드 삽입

import boto3
resource = boto3.resource('dynamodb')
table = resource.Table('customer')
def lambda_handler(event, context):
    table.put_item(Item=event)
    return {"code":200, "message":"Data successfully Inserted!"}

✅ API Gateway에서 테스트

[ 15 ] - key

zhuxiclover — Fri, 11 Oct 2024 16:38:20 +0900

1. 개념

➜ table

➜ items - 행 row

➜ attribute - 열 column

➜ 복합키(composite key) = partition key + sort key = primary key

2. dynamic DB 생성

➜ 활성화 된 것 확인

➜ 표 항목 탐색 및 생성

➜ 데이터 업로드

import boto3
def lambda_handler(event, context):
    client = boto3.resource('dynamodb')
    table = client.Table('dynamicdb-test01') # 본인 DB 이름으로 수정
    table.put_item(
        Item={
            'customer_id': '12MCX',
            'transaction_date': '2020-08-02',
            'item_category': 'Book',
            'price': 18000
        }
    )



----------------------------------------------

import boto3
def lambda_handler(event, context):
    client = boto3.resource('dynamodb')
    table = client.Table('dynamicdb-test01')
    
    with table.batch_writer() as batch:
        batch.put_item(
            Item={
                'customer_id': '95IUZ',
                'transaction_date': '2020-10-24',
                'item_category': 'Desk',
                'price': 120000
            }
        )
        
        batch.put_item(
            Item={
                'customer_id': '72MUE',
                'transaction_date': '2020-10-28',
                'item_category': 'Chair',
                'price': 250000
            }
        )
        
        batch.put_item(
            Item={
                'customer_id': '28POR',
                'transaction_date': '2020-11-05',
                'item_category': 'Shampoo',
                'price': 50000
            }
        )
        
        batch.put_item(
            Item={
                'customer_id': '43NCH',
                'transaction_date': '2020-10-12',
                'item_category': 'Pulse',
                'price': 320000
            }
        )

3. Lamda 실습

➜ 함수 생성

✅ Lamda 선택 > AmazonDynamoDBFullAccess 정책 추가 > DynamicDB-Put-Item로 역할 이름 생성

➜ 위에 코드 복붙 [ 두 개 따로 해보기 ]

➜ 생성 확인

[ restart ]

zhuxiclover — Thu, 10 Oct 2024 17:10:48 +0900

1. 버킷 생성 [ shinbucket1010 ]

➜ 기본 암호화 : 다 default

➜ 버킷 정책 편집

✅ 정책 생성기 접속

✅ condition : string not equal = 지정된 값과 같지 않을 때 동작

✅ key : s3:x3-amz-server-side-encryption → 이 키는 S3 객체를 업로드 할 때 사용하는 서버 측 암호화 옵션

✅ value : aws:kms

→ 이 설정은 S3에 객체를 업로드할 때, 서버 측 암호화 방식으로 AWS KMS를 사용하지 않으면 [ 즉, x-amz-server-side-encryption 헤더의 값이 aws:kms와 다를 때 ] 해당 정책이 적용된다는 의미

→ 보통 이 조건은 KMS를 사용하지 않는 업로드를 금지하거나 제한하기 위해 설정 [ 즉, 이 조건에 의해: KMS를 사용하지 않고 업로드된 파일은 정책에 의해 허용되지 않거나 거부될 수 있음 ]

➜ Policy Document > 변경사항 저장

{
  "Id": "Policy1728542769532",
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Stmt1728542757760",
      "Action": [
        "s3:PutObject"
      ],
      "Effect": "Deny",
      "Resource": "arn:aws:s3:::shinbucket1010/*",
      "Condition": {
        "StringNotEquals": {
          "s3:x-amz-server-side-encryption": "aws:kms"
        }
      },
      "Principal": "*"
    }
  ]
}

➜ 버킷 하나 더 만들기 [ shintest1010 ]

{
  "Id": "Policy1728543109474",
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Stmt1728543070052",
      "Action": [
        "s3:PutObject"
      ],
      "Effect": "Deny",
      "Resource": "arn:aws:s3:::shintest1010/*",
      "Condition": {
        "StringNotEquals": {
          "s3:x-amz-server-side-encryption": "aws:kms"
        }
      },
      "Principal": "*"
    }
  ]
}

➜ 파일 업로드 [ shinbucket1010 ]

✅ 파일 업로드

✅ 속성, 키는 default로 다 설정, 키 ARN 복사 후 AWS KMS 키 ARN에 붙여넣기

✅ 키 삭제는 비활성화 > 키 삭제 [ 최소 7일 걸림 ]

2. S3 생성

➜ source-bucket 버킷 생성, 기본 암호화 비활성화, 모든 퍼블릭 액세스 허용

✅ 정적 웹호스팅 : index.html

✅ index.html 업로드

<script src="https://code.jquery.com/jquery-1.11.0.min.js"></script>
<script src="https://code.jquery.com/jquery-migrate-1.2.1.min.js"></script>

<html><body><h1>Welcome to the AWS world!!</h1>
<div id="get-html-from-other-s3"></div>
<script>
$("#get-html-from-other-s3").load("loading.html")
</script>

➜ target-bucket 버킷 생성, 기본 암호화 비활성화, 모든 퍼블릭 액세스 허용

✅ 정적 웹호스팅 활성화 : index.html

✅ loding.html 업로드

<h2>This page is from another bucket!!</h2></body></html>

✅ 객체 소유권 편집

✅ ACL(액세스 제어 목록) 편집

✅ loding.html 편집

✅ 접속 : http://target-bucket-sjh.s3-website.ap-northeast-2.amazonaws.com

✅ index.html 수정 : loading.html url 복사

✅ 다시 index.html 업로드, 권한 다시 다 변경

➜ CORS ""에 index.html url 복붙1. 버킷 생성 [ shinbucket1010 ]

➜ 기본 암호화 : 다 default

➜ 버킷 정책 편집

✅ 정책 생성기 접속

✅ condition : string not equal = 지정된 값과 같지 않을 때 동작

✅ key : s3:x3-amz-server-side-encryption → 이 키는 S3 객체를 업로드 할 때 사용하는 서버 측 암호화 옵션

✅ value : aws:kms

➜ Policy Document > 변경사항 저장

{

"Id": "Policy1728542769532",

"Version": "2012-10-17",

"Statement": [

{

"Sid": "Stmt1728542757760",

"Action": [

"s3:PutObject"

"Effect": "Deny",

"Resource": "arn:aws:s3:::shinbucket1010/*",

"Condition": {

"StringNotEquals": {

"s3:x-amz-server-side-encryption": "aws:kms"

}

"Principal": "*"

}

]

}

➜ 버킷 하나 더 만들기 [ shintest1010 ]

{

"Id": "Policy1728543109474",

"Version": "2012-10-17",

"Statement": [

{

"Sid": "Stmt1728543070052",

"Action": [

"s3:PutObject"

"Effect": "Deny",

"Resource": "arn:aws:s3:::shintest1010/*",

"Condition": {

"StringNotEquals": {

"s3:x-amz-server-side-encryption": "aws:kms"

}

"Principal": "*"

}

]

}

➜ 파일 업로드 [ shinbucket1010 ]

✅ 파일 업로드

✅ 속성, 키는 default로 다 설정, 키 ARN 복사 후 AWS KMS 키 ARN에 붙여넣기

✅ 키 삭제는 비활성화 > 키 삭제 [ 최소 7일 걸림 ]

2. S3 생성

➜ source-bucket 버킷 생성, 기본 암호화 비활성화, 모든 퍼블릭 액세스 허용

✅ 정적 웹호스팅 : index.html

✅ index.html 업로드

<html><body><h1>Welcome to the AWS world!!</h1>

$("#get-html-from-other-s3").load("loading.html")

</script>

➜ target-bucket 버킷 생성, 기본 암호화 비활성화, 모든 퍼블릭 액세스 허용

✅ 정적 웹호스팅 활성화 : index.html

✅ loding.html 업로드

<h2>This page is from another bucket!!</h2></body></html>

[

{

"AllowedHeaders": [

"*"

"AllowedMethods": [

"GET"

"AllowedOrigins": [

"*"

"MaxAgeSeconds": 3000

}

]

✅ 객체 소유권 편집

✅ ACL(액세스 제어 목록) 편집

✅ loding.html 편집

✅ 접속 : http://target-bucket-sjh.s3-website.ap-northeast-2.amazonaws.com

✅ index.html 수정 : loading.html url 복사

✅ 다시 index.html 업로드, 권한 다시 다 변경

➜ CORS ""에 index.html url 복붙

2. 결과 확인

[ 14 ] - 보안 모니터링

zhuxiclover — Thu, 10 Oct 2024 14:47:43 +0900

1. 개념

➜ cognito

✅ AWS Cognito는 웹 및 모바일 앱에 대한 인증과 권한 부여 그리고 사용자 관리를 제공하고 기존의 아이디, 패스워드 방식 이외에도 Facebook, Amazon, Google 그리고 Apple과 같은 여러 회사의 소셜 로그인 기능을 제공하는 서비스

✅ Cognito는 사용자 풀(user pool)과 자격 증명 풀(identity pool)으로 구성되어 있는데, 이 둘을 조합하거나 또는 각각 별개의 형태로 사용할 수 있음

✅ 사용자 풀 [ 사용자의 가입과 로그인을 제공하는 사용자 저장소 ], 자격 증명 풀 [ 사용자 풀에 저장된 정보를 바탕으로 로그인 또는 회원가입에 성공한 사용자에게 AWS 인프라의 여러 서비스에 대한 권한을 부여할 수 있는 서비스 ]의 두 가지 역할이 있음

➜ Managed policy

✅ AWS계정에 속한 (User,Group,Role)에게 연결할 수 있는 자격 증명 기반 정책

➜ Customer policy

✅ 사용자가 자신의 AWS 계정에서 생성 및 관리하는 관리형 정책

➜ Inline policy

✅ User나 Group 을 생성할때 직접 Policy를 심어주는 것

✅ 중요한 점은 User, Group, Policy는 1대1 관계여야 한다는 것

✅ 꼭 하나의 Inline Policy는 하나의 개체에만 존재해야하며, User나 Group을 삭제하면 Inline Policy도 같이 삭제됨

➜ WIF [ Web Identity Federation ] : 제 3자 인증 토큰

✅ 외부 ID로 GCP 단기 액세스 토큰을 발급받고 서비스 계정을 가장하여 GCP 리소스에 접속하는 개념

✅ WIF 풀에서 인증된 공급자만 단기 액세스 토큰이 살아있는 시간에 접속이 가능

✅ GCP의 WIF 풀 공급 업체는 AWS, OICD, Azure 등을 지원

2. Amazon Cognito 실습

➜ 사용자 풀 이름 : cognito_pool, 앱 클라이언트 이름 : cognito_app_client, 클라이언트 보안키 생성, 고급 앱 클라이언트 설정 : ALLOW_CUSTOM_AUTH 추가

➜ 생성 확인

➜ Cognito 도메인 생성

✅ https://juhee23.auth.ap-northeast-3.amazoncognito.com

➜ 앱 클라이언트 및 분석

✅ cognito_app_client 호스팅 UI 편집

➜ 이미지 업로드

✅ client ID 복사 : 71ulk50okdmgaq426akvnr7eaf

✅ cognito 도메인 복사 : https://juhee23.auth.ap-northeast-3.amazoncognito.com

✅ 주소 : https://juhee23.auth.ap-northeast-3.amazoncognito.com/login?response_type=token&client_id=71ulk50okdmgaq426akvnr7eaf&redirect_uri=https://example.com

** 참고 **

https://docs.aws.amazon.com/ko_kr/aazondynamodb/latest/developerguide/WIF.html

** 실제 적용 사례 **

https://www.youtube.com/watch?v=BqgCJzSOT2k

[ 13 ] - Karpenter 모니터링

zhuxiclover — Tue, 8 Oct 2024 16:12:41 +0900

1. 설치 확인

➜ kubectl get all -n karpenter

➜ kubectl get crd | grep karpenter

2. Karpenter를 사용하여 Kubernetes 클러스터에서 노드를 프로비저닝하기 위한 설정을 정의

cat <<EOF | kubectl apply -f -

apiVersion: karpenter.sh/v1alpha5
kind: Provisioner
metadata:
  name: default
spec:
  requirements:
    - key: karpenter.sh/capacity-type
      operator: In
      values: ["spot"]
  limits:
    resources:
      cpu: "10000"  # 문자열로 감싸야 할 수 있습니다.
  providerRef:
    name: default
  ttlSecondsAfterEmpty: 30  # 노드에 파드가 없는 비어있는 상태가 30초 이면 노드 삭제, -> deprovisioning

---
apiVersion: karpenter.k8s.aws/v1alpha1
kind: AWSNodeTemplate
metadata:
  name: default
spec:
  subnetSelector:
    karpenter.sh/discovery: ${CLUSTER_NAME}
  securityGroupSelector:
    karpenter.sh/discovery: ${CLUSTER_NAME}

EOF

➜ 확인

✅ kubectl get awsnodetemplates,provisioners

3. Test Deploy 배포

cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: inflate
spec:
  replicas: 0
  selector:
    matchLabels:
      app: inflate
  template:
    metadata:
      labels:
        app: inflate
    spec:
      terminationGracePeriodSeconds: 0
      containers:
        - name: inflate
          image: public.ecr.aws/eks-distro/kubernetes/pause:3.7
          resources:
            requests:
              cpu: 1
EOF

➜ Deployment 확인

✅ kubectl get deploy

✅ kubectl scale deployment inflate --replicas=3

✅ http://ac4583f9111424c7ba4fabaf362d1246-1624474523.ap-northeast-3.elb.amazonaws.com:8080

➜ kubectl get node --label-columns=eks.amazonaws.com/capacityType,karpenter.sh/capacity-type,no

➜ inflate 배포의 모든 pod 삭제 ✅ kubectl scale deployment inflate --replicas=0

✅ kubectl delete provisioners default

➜ up-karpenter

cat <<EOF | kubectl apply -f -
apiVersion: karpenter.sh/v1alpha5
kind: Provisioner
metadata:
  name: default
spec:
  consolidation:
    enabled: true
  labels:
    type: karpenter
  limits:
    resources:
      cpu: 1000
      memory: 1000Gi
  providerRef:
    name: default
  requirements:
    - key: karpenter.sh/capacity-type
      operator: In
      values:
        - on-demand
    - key: node.kubernetes.io/instance-type
      operator: In
      values:
        - c5.large
        - m5.large
        - m5.xlarge
EOF

✅ 최종적으로 리소스를 스스로 만들어줌 [ 인스턴스 ]

** 지우기 **

helm uninstall -n kube-system kube-ops-view
helm uninstall karpenter --namespace karpenter

// karpenter 관련 cloudformation 스택 삭제
aws cloudformation delete-stack --stack-name "Karpenter-${CLUSTER_NAME}"

// 기본 cloudformation 스택 삭제
aws cloudformation delete-stack --stack-name ${CLUSTER_NAME}

aws cloudformation delete-stack --stack-name myeks2

eksctl delete cluster --name $CLUSTER_NAME \ && aws cloudformation delete-stack --stack-name $CLUSTER_NAME

[ 12 ] - karpenter 배포

zhuxiclover — Mon, 7 Oct 2024 16:26:09 +0900

1. yaml 파일 올리기 > 1007 최종 YAML 파일

2. setup > mobaXterm EC2 접속

declare -x ACCOUNT_ID="039612877023"
declare -x AWS_ACCOUNT_ID="039612877023"
declare -x AWS_DEFAULT_REGION="ap-northeast-2"
declare -x AWS_PAGER=""
declare -x AWS_REGION="ap-northeast-3"
declare -x CLUSTER_NAME="myeks2"  ←– 이 이름이 서로 달라야 role 이름도 달라진다

➜ echo $CLUSTER_NAME root-karpenter-demo

➜ export KARPENTER_VERSION=v0.30.0

➜ export CLUSTER_NAME=myeks2

➜ export TEMPOUT=$(mktemp)

➜ export KARPENTER_NAMESPACE=karpenter

➜ echo $KARPENTER_VERSION; echo $CLUSTER_NAME; echo $AWS_DEFAULT_REGION; echo $AWS_ACCOUNT_ID $TEMPOUT

➜ curl -fsSL https://raw.githubusercontent.com/aws/karpenter/"${KARPENTER_VERSION}"/website/content/en/preview/getting-started/getting-started-with-karpenter/cloudformation.yaml > $TEMPOUT \
&& aws cloudformation deploy \
--stack-name "Karpenter-${CLUSTER_NAME}" \
--template-file "${TEMPOUT}" \
--capabilities CAPABILITY_NAMED_IAM \
--parameter-overrides "ClusterName=${CLUSTER_NAME}"

✅ rollback 뜬 스택 yaml 템플릿 이름 수정 후 다시 스택 올리기 > 23 붙이기

3. Karpenter-myeks2 스택 올리기 > 바탕화면 Karpenter-myeks2 최종 파일

4. eks 배포 > 이대로 명령어 입력

eksctl create cluster -f - <<EOF
---
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: ${CLUSTER_NAME}
  region: ${AWS_DEFAULT_REGION}
  version: "1.27"
  tags:
    karpenter.sh/discovery: ${CLUSTER_NAME}

iam:
  withOIDC: true
  serviceAccounts:
  - metadata:
      name: karpenter
      namespace: karpenter
    roleName: ${CLUSTER_NAME}23-karpenter
    attachPolicyARNs:
    - arn:aws:iam::${AWS_ACCOUNT_ID}:policy/KarpenterControllerPolicy-${CLUSTER_NAME}23
    roleOnly: true

iamIdentityMappings:
- arn: "arn:aws:iam::${AWS_ACCOUNT_ID}:role/KarpenterNodeRole-${CLUSTER_NAME}23"
  username: system:node:{{EC2PrivateDNSName}}
  groups:
  - system:bootstrappers
  - system:nodes

managedNodeGroups:
- instanceType: m5.large
  amiFamily: AmazonLinux2
  name: ${CLUSTER_NAME}-ng
  desiredCapacity: 2
  minSize: 1
  maxSize: 10
  iam:
    withAddonPolicies:
      externalDNS: true
EOF

➜ 올라간 스택 확인

➜ go install github.com/awslabs/eks-node-viewer/cmd/eks-node-viewer@v0.5.0

➜ cd ~/go/bin && ./eks-node-viewer

➜ MyDomain=sjh-thrillionx.click
➜ MyDnsHostedZoneId=$(aws route53 list-hosted-zones-by-name --dns-name "${MyDomain}." --query "HostedZones[0].Id" --output text)
✅ echo $MyDomain, $MyDnsHostedZoneId

➜ nano externaldns.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: external-dns
  namespace: kube-system
  labels:
    app.kubernetes.io/name: external-dns
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: external-dns
  labels:
    app.kubernetes.io/name: external-dns
rules:
  - apiGroups: [""]
    resources: ["services","endpoints","pods","nodes"]
    verbs: ["get","watch","list"]
  - apiGroups: ["extensions","networking.k8s.io"]
    resources: ["ingresses"]
    verbs: ["get","watch","list"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: external-dns-viewer
  labels:
    app.kubernetes.io/name: external-dns
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: external-dns
subjects:
  - kind: ServiceAccount
    name: external-dns
    namespace: kube-system # change to desired namespace: externaldns, kube-addons
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: external-dns
  namespace: kube-system
  labels:
    app.kubernetes.io/name: external-dns
spec:
  strategy:
    type: RollingUpdate
  selector:
    matchLabels:
      app.kubernetes.io/name: external-dns
  template:
    metadata:
      labels:
        app.kubernetes.io/name: external-dns
    spec:
      serviceAccountName: external-dns
      containers:
        - name: external-dns
          image: registry.k8s.io/external-dns/external-dns:v0.13.4
          args:
            - --source=service
            - --source=ingress
            - --domain-filter=thrillionx.click # will make ExternalDNS see only the hosted zones matching provided domain, omit to process all available hosted zones
            - --provider=aws
            - --policy=upsert-only # would prevent ExternalDNS from deleting any records, omit to enable full synchronization
            - --aws-zone-type=public # only look at public hosted zones (valid values are public, private or no value for both)
            - --registry=txt
            - --txt-owner-id=Z03277773PBC0HOIVXLL5
          env:
            - name: AWS_DEFAULT_REGION
              value: ap-northeast-2 # change to region where EKS is installed

✅ MyDomain=$MyDomain MyDnsHostedZoneId=$MyDnsHostedZoneId envsubst < externaldns.yaml | kubectl apply -f -

5. Set up

ops-view
helm repo add geek-cookbook https://geek-cookbook.github.io/charts/
helm repo update
helm install kube-ops-view geek-cookbook/kube-ops-view --version 1.2.2 --set env.TZ="Asia/Seoul" --namespace kube-system
kubectl patch svc -n kube-system kube-ops-view -p '{"spec":{"type":"LoadBalancer"}}'

➜ kubectl get svc -n kube-system

➜ eks 클러스터 api 서버 엔드포인트 변수로 선언해두기

✅ export CLUSTER_ENDPOINT=https://76F613261E9BBE3064BB8F8DC934F784.sk1.ap-northeast-3.eks.amazonaws.com

✅ endpoint 주소는 EKS > cluster > API 서버 엔드포인트 주소로 확인 가능

➜ export KARPENTER_IAM_ROLE_ARN=arn:aws:iam::050451371827:role/KarpenterNodeRole-myeks223

✅ ARN은 IAM > 역할 > KarpenterNodeRole::myeks223에서 확인 가능

➜ export KARPENTER_IAM_ROLE_ARN="arn:aws:iam::${AWS_ACCOUNT_ID}:role/${CLUSTER_NAME}-karpenter"

➜ echo $CLUSTER_ENDPOINT; echo $KARPENTER_IAM_ROLE_ARN

6. karpenter 설치

aws iam create-service-linked-role --aws-service-name spot.amazonaws.com || true

helm registry logout public.ecr.aws
  
helm upgrade --install karpenter oci://public.ecr.aws/karpenter/karpenter --version "${KARPENTER_VERSION}" --namespace "${KARPENTER_NAMESPACE}" --create-namespace \
  --set "settings.aws.clusterName=${CLUSTER_NAME}" \
  --set "settings.clusterName=${CLUSTER_NAME}" \
  --set "settings.interruptionQueue=${CLUSTER_NAME}" \
  --set controller.resources.requests.cpu=1 \
  --set controller.resources.requests.memory=1Gi \
  --set controller.resources.limits.cpu=1 \
  --set controller.resources.limits.memory=1Gi \
  --wait

➜ T.S

✅ 들어있는 변수가 달랐던 문제

# 확인

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# echo $CLUSTER_NAME
root-karpenter-demo
(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# export CLUSTER_NAME=myeks2
(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# echo $CLUSTER_NAME
myeks2
(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# echo $KARPENTER_VERSION
1.0.6
(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# export KARPENTER_VERSION=v0.30.0
(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# echo $KARPENTER_VERSION
v0.30.0
(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# echo $KARPENTER_NAMESPACE
kube-system
(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# export KARPENTER_NAMESPACE=karpenter
(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# echo $KARPENTER_NAMESPACE
karpenter

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl get pod -n karpenter
No resources found in karpenter namespace.
(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl get pod
No resources found in default namespace.

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl get ns
NAME              STATUS   AGE
default           Active   58m
kube-node-lease   Active   58m
kube-public       Active   58m
kube-system       Active   58m

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl get deploy
No resources found in default namespace.

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl get pod -n karpenter
No resources found in karpenter namespace.
(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl get pod
No resources found in default namespace.

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl get ns
NAME              STATUS   AGE
default           Active   58m
kube-node-lease   Active   58m
kube-public       Active   58m
kube-system       Active   58m

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl get deploy
No resources found in default namespace.

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl get clusterrole karpenter-admin -o yaml

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# helm uninstall karpenter --namespace kube-system
release "karpenter" uninstalled

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl delete clusterrole karpenter-admin
Error from server (NotFound): clusterroles.rbac.authorization.k8s.io "karpenter-admin" not found

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl delete clusterrolebinding karpenter-admin
Error from server (NotFound): clusterrolebindings.rbac.authorization.k8s.io "karpenter-admin" not found

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# helm upgrade --install karpenter oci://public.ecr.aws/karpenter/karpenter --version "${KARPENTER_VERSION}" --namespace "${KARPENTER_NAMESPACE}" --create-namespace \
> --set "settings.aws.clusterName=${CLUSTER_NAME}" \
> --set "settings.clusterName=${CLUSTER_NAME}" \
> --set "settings.interruptionQueue=${CLUSTER_NAME}" \
> --set controller.resources.requests.cpu=1 \
> --set controller.resources.requests.memory=1Gi \
> --set controller.resources.limits.cpu=1 \
> --set controller.resources.limits.memory=1Gi \
> --wait
Release "karpenter" does not exist. Installing it now.
Pulled: public.ecr.aws/karpenter/karpenter:v0.30.0
Digest: sha256:6ee7bdbb99510b9037a648ef6fe405f7683a450d47cfda0ea97e24b1416867f0
NAME: karpenter
LAST DEPLOYED: Mon Oct  7 06:42:31 2024
NAMESPACE: karpenter
STATUS: deployed
REVISION: 1
TEST SUITE: None

(bs-sa-user4@myeks2:N/A) [root@myeks2-bastion-EC2 ~]# kubectl get pod -n karpenter
NAME                         READY   STATUS    RESTARTS   AGE
karpenter-7bbf548c8c-4kx4b   1/1     Running   0          39s
karpenter-7bbf548c8c-7xpjh   1/1     Running   0          39s

cat <<EOF | kubectl apply -f -
apiVersion: karpenter.sh/v1alpha5
kind: Provisioner
metadata:
  name: default
spec:
  requirements:
    - key: karpenter.sh/capacity-type
      operator: In
      values: ["spot"]
  limits:
    resources:
      cpu: 10000
  providerRef:
    name: default
  ttlSecondsAfterEmpty: 30  # 노드가 비어 있는 상태가 30초 이면 노드 삭제

---
apiVersion: karpenter.k8s.aws/v1alpha1
kind: AWSNodeTemplate
metadata:
  name: default
spec:
  subnetSelector:
    karpenter.sh/discovery: ${CLUSTER_NAME}  # 클러스터 이름으로 대체
  securityGroupSelector:
    karpenter.sh/discovery: ${CLUSTER_NAME}  # 클러스터 이름으로 대체
EOF

✅ 참고 :

https://karpenter.sh/docs/getting-started/getting-started-with-karpenter/

Getting Started with Karpenter

Set up a cluster and add Karpenter

karpenter.sh

** 지우기 **

eksctl delete cluster --name $CLUSTER_NAME \ && aws cloudformation delete-stack --stack-name $CLUSTER_NAME

**참고**

https://techblog.gccompany.co.kr/karpenter-7170ae9fb677

Karpenter

안녕하세요. 여기어때컴퍼니 인프라개발팀에서 EKS(Elastic Kubernetes Service, AWS의 관리형 Kubernetes 서비스)를 담당하고 있는 젠슨입니다. 여기어때에서는 WorkerNode의 AutoScaling 도구로…

techblog.gccompany.co.kr

[ 11 ] - AWS EKS - Autoscaling

zhuxiclover — Fri, 4 Oct 2024 15:58:51 +0900

1. EKS node viewer

yum install -y go 
go install github.com/awslabs/eks-node-viewer/cmd/eks-node-viewer@v0.5.0
cd ~/go/bin
./eks-node-viewer

✅ 최종 실행 화면

2. 개념

➜ 파드에 대한 오토스케일링 기법 - HPA, VPA

➜ 노드에 대한 오토스케일링 기법 - CA, karpenter

➜ 스케일링의 판단기준이 되는 지표는 수집된 metric

✅ HPA(horizontal pod autoscaler) - 수평 스케일링 (수량을 확장, 축소 scale out/in)

✅ k8s의 pod 오토스케일링 기능으로 수평적 스케일링을 동적으로 수행

✅ VPA(vertical pod autoscler) - 수직 스케일링 (용량을 확장, 축소 scale up/down)

✅ k8s의 pod 오토스케일링 기능으로 수직적 스케일링을 동적으로 수행

3. TEST

curl -s -O https://raw.githubusercontent.com/kubernetes/website/main/content/en/examples/application/php-apache.yaml

cat php-apache.yaml | yh

kubectl apply -f php-apache.yaml

➜ kubectl exec -it deploy/php-apache -- cat /var/www/html/index.php

✅ 실행 화면

➜ Watch mode 실행 (터미널 새로 open)

kubectl get hpa,pod
kubectl top pod 
kubectl top node

watch -d ‘kubectl get hpa,pod;echo;kubectl get top pod ;echo;kubectl get top node’

➜ 다른 터미널에 아래 명령어 입력

(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# curl -s 192.168.1.10;echo
OK!

(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl get hpa

➜ prometheus

✅ Kubernetes / Horizontal Pod Autoscaler ID : 17125

kubectl run -i \
    --tty load-generator \
    --rm --image=busybox \
    --restart=Never \
    -- /bin/sh -c "while sleep 0.01; do wget -q -O- http://php-apache; done"

✅ 지우기 : kubectl delete deploy,svc,hpa,pod --all

4. Vertical Pod Autoscaler를 사용하여 포드 리소스 조정

(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl create ns vpa
namespace/vpa created
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# helm repo add fairwinds-stable https://charts.fairwinds.com/stable
"fairwinds-stable" has been added to your repositories
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# helm install vpa fairwinds-stable/vpa --namespace vpa
NAME: vpa
LAST DEPLOYED: Fri Oct  4 04:46:03 2024
NAMESPACE: vpa
STATUS: deployed
REVISION: 1
NOTES:
Congratulations on installing the Vertical Pod Autoscaler!

Components Installed:
  - recommender
  - updater
  - admission-controller

To verify functionality, you can try running 'helm -n vpa test vpa'
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# helm repo update
Hang tight while we grab the latest from your chart repositories...
...Successfully got an update from the "eks" chart repository
...Successfully got an update from the "fairwinds-stable" chart repository
...Successfully got an update from the "prometheus-community" chart repository
...Successfully got an update from the "geek-cookbook" chart repository
...Successfully got an update from the "stable" chart repository
...Successfully got an update from the "bitnami" chart repository
Update Complete. ⎈Happy Helming!⎈
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl get pod -n vpa
NAME                                        READY   STATUS    RESTARTS   AGE
vpa-admission-controller-56484bb8cd-gl6fr   1/1     Running   0          20s
vpa-recommender-855ddb7454-cwpt9            1/1     Running   0          20s
vpa-updater-69878b9879-q6t8s                1/1     Running   0          20s

➜ nano hamster.yaml

apiVersion: "autoscaling.k8s.io/v1"
kind: VerticalPodAutoscaler # VPA
metadata:
  name: hamster-vpa
spec:

  targetRef:
    apiVersion: "apps/v1"
    kind: Deployment
    name: hamster
  resourcePolicy:
    containerPolicies:
      - containerName: '*'
        minAllowed:
          cpu: 100m
          memory: 50Mi
        maxAllowed:
          cpu: 1
          memory: 500Mi
        controlledResources: ["cpu", "memory"]
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: hamster
spec:
  selector:
    matchLabels:
      app: hamster
  replicas: 2
  template:
    metadata:
      labels:
        app: hamster
    spec:
      securityContext:
        runAsNonRoot: true
        runAsUser: 65534 # nobody
      containers:
        - name: hamster
          image: registry.k8s.io/ubuntu-slim:0.1
          resources:
            requests:
              cpu: 100m
              memory: 50Mi
          command: ["/bin/sh"]
          args:
            - "-c"
            - "while true; do timeout 0.5s yes >/dev/null; sleep 0.5s; done"

✅ kubectl apply -f hamster.yaml

➜ 새로운 터미널

[hamster apply 후]

kubectl get vpa

kubectl get vpa -w # hamster watch mode

kubectl get hpa,pod
kubectl top pod 
kubectl top node

watch -d ‘kubectl get hpa,pod;echo;kubectl top pod ;echo;kubectl top node’

✅ 실행 결과

➜ VPC 문제 파악

 kubectl get events --sort-by=".metadata.creationTimestamp" | grep VPA

✅ Kubernetes 클러스터에서 발생한 모든 이벤트를 시간 순서대로 정렬한 후, 그 중에서 VPA와 관련된 이벤트만을 추출하여 보여줌

➜ auto scaling

aws autoscaling \
  update-auto-scaling-group \
  --auto-scaling-group-name eks-ng1-aac92a7e-a0c4-e39b-99c2-b0ac410d0ac4  \
  --min-size 3 \
  --max-size 6 \
  --desired-capacity 3

➜ curl -s -O https://raw.githubusercontent.com/kubernetes/autoscaler/master/cluster-autoscaler/cloudprovider/aws/examples/cluster-autoscaler-autodiscover.yaml

✅ cluster 이름만 myeks로 변경

➜ (bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl apply -f cluster-autoscaler-autodiscover.yaml

➜ (bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl get pod -n kube-system | grep cluster-autoscaler

**T.S**

➜ cluster-autoscaler이 cashloofbackoff 된 상태

➜ nano nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-to-scaleout
  labels:
    app: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx-to-scaleout
        image: nginx
        resources:
          limits:
            cpu: 500m
            memory: 512Mi
          requests:
            cpu: 500m
            memory: 512Mi

✅ kubectl apply -f nano.yaml

** 지우기 **

eksctl delete cluster --name $CLUSTER_NAME \ && aws cloudformation delete-stack --stack-name $CLUSTER_NAME

** 참고 **

https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/vertical-pod-autoscaler.html

Vertical Pod Autoscaler를 사용하여 포드 리소스 조정 - Amazon EKS

노드에 registry.k8s.io 컨테이너 레지스트리에 대한 노드에 인터넷 액세스 권한이 없는 경우, 다음 이미지를 가져와 자체 개인 리포지토리로 푸시해야 합니다. 이미지 가져오기, 자체 개인 리포지

docs.aws.amazon.com

[ 10 ] - prometheus

zhuxiclover — Wed, 2 Oct 2024 16:40:50 +0900

1. prometheus 설치

envsubst < monitor-values.yaml | helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack27.2 --set prometheus.prometheusSpec.scrapeInterval='15s' --set prometheus.prometheusSpec.evaluationInterval='15s' -f - --namespace monitoring

➜ kubectl get ingress -n monitoring

2. External Dns

➜ nano externaldns.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: external-dns
  namespace: kube-system
  labels:
    app.kubernetes.io/name: external-dns
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: external-dns
  labels:
    app.kubernetes.io/name: external-dns
rules:
  - apiGroups: [""]
    resources: ["services","endpoints","pods","nodes"]
    verbs: ["get","watch","list"]
  - apiGroups: ["extensions","networking.k8s.io"]
    resources: ["ingresses"]
    verbs: ["get","watch","list"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: external-dns-viewer
  labels:
    app.kubernetes.io/name: external-dns
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: external-dns
subjects:
  - kind: ServiceAccount
    name: external-dns
    namespace: kube-system # change to desired namespace: externaldns, kube-addons
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: external-dns
  namespace: kube-system
  labels:
    app.kubernetes.io/name: external-dns
spec:
  strategy:
    type: RollingUpdate
  selector:
    matchLabels:
      app.kubernetes.io/name: external-dns
  template:
    metadata:
      labels:
        app.kubernetes.io/name: external-dns
    spec:
      serviceAccountName: external-dns
      containers:
        - name: external-dns
          image: registry.k8s.io/external-dns/external-dns:v0.13.4
          args:
            - --source=service
            - --source=ingress
            - --domain-filter=thrillionx.click # will make ExternalDNS see only the hosted zones matching provided domain, omit to process all available hosted zones
            - --provider=aws
            - --policy=upsert-only # would prevent ExternalDNS from deleting any records, omit to enable full synchronization
            - --aws-zone-type=public # only look at public hosted zones (valid values are public, private or no value for both)
            - --registry=txt
            - --txt-owner-id=Z03277773PBC0HOIVXLL5
          env:
            - name: AWS_DEFAULT_REGION
              value: ap-northeast-2 # change to region where EKS is installed

✅ kubectl apply -f externaldns.yaml

➜ kubectl get po -n kube-system | grep external

➜ kubectl get ingress -n monitoring

➜ 레코드 확인

3. Monitoring

➜ nano netshoot.yaml [ 아래 코드 명령어에 그대로 연결하면 ok ]

cat <<EOF | kubectl create -f -
apiVersion: v1
kind: Pod
metadata:
  name: netshoot-pod
spec:
  containers:
  - name: netshoot-pod
    image: nicolaka/netshoot
    command: ["tail"]
    args: ["-f", "/dev/null"]
  terminationGracePeriodSeconds: 0
EOF
pod/netshoot-pod created

➜ kubectl exec -it netshoot-pod -- nslookup kube-prometheus-stack-prometheus.monitoring

➜ kubectl get pod netshoot-pod

➜ curl -s http://192.168.1.187:8080/metrics | head

➜ nginx 올리기

cat <<EOT > nginx-values.yaml
service:
    type: NodePort

ingress:
  enabled: true
  ingressClassName: alb
  hostname: nginx.$MyDomain
  path: /*
  annotations: 
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/target-type: ip
    alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'
    alb.ingress.kubernetes.io/certificate-arn: $CERT_ARN
    alb.ingress.kubernetes.io/success-codes: 200-399
    alb.ingress.kubernetes.io/load-balancer-name: $CLUSTER_NAME-ingress-alb
    alb.ingress.kubernetes.io/group.name: study
    alb.ingress.kubernetes.io/ssl-redirect: '443'

metrics:
  enabled: true

  service:
    port: 9113

  serviceMonitor:
    enabled: true
    namespace: monitoring
    interval: 10s
EOT

✅ helm install nginx bitnami/nginx --version 14.1.0 -f nginx-values.yaml --namespace <namespace>

➜ kubectl get all,ingress -n monitoring

➜ kubectl get svc,ep -n monitoring kube-prometheus-stack-prometheus-node-exporter

➜ echo ">>>monitoring NS<<<"; kubectl get ep -n monitoring; \ echo ">>>kube-system NS<<<"; kubectl get ep -n kube-system; \ echo ">>>default NS<<<"; kubectl get ep

➜ kubectl exec -it -n monitoring sts/prometheus-kube-prometheus-stack-prometheus -- cat /etc/prometheus/config_out/prometheus.env.yaml | head

➜ helm repo add bitnami https://charts.bitnami.com/bitnami

➜ helm repo update

➜ yum install -y httpd

➜ ab -c 500 -n 30000 https://nginx.song-73.click

** 지우기 **

eksctl delete cluster --name $CLUSTER_NAME \ && aws cloudformation delete-stack --stack-name $CLUSTER_NAME

[ 9 ] - 모니터링

zhuxiclover — Mon, 30 Sep 2024 16:51:02 +0900

1. 개요

➜ [ what, when ] 무엇이 문제이고, 언제 발생했고, 이상현상 감지하고 알람을 일으키는 것

➜ 모놀리식 구조

➜ observability

✅ [ how, why ] 어떻게 발생했고, 왜 발생했는지 이슈의 근본 이유 파악이 목적

✅ MSA 구조

** 참고 **

=> https://insight.infograb.net/blog/2024/06/05/011y-trends/

지금 주목해야 할 옵저버빌리티 트렌드 5가지

IT 업계에서는 2024년 옵저버빌리티 트렌드로 옵저버빌리티 ‘도구’로서 AI 영향력 확대, 옵저버빌리티 ‘대상’으로서 AI 관측 중요성 증가, 옵저버빌리티 비용 절감 노력, 오픈 소스와 OpenTelemet

insight.infograb.net

=> https://newrelic.com/kr/blog/best-practices/what-is-observability

옵저버빌리티(Observability)란? 옵저버빌리티가 비즈니스 목표 달성에 어떻게 도움이 되는지 알아

옵저버빌리티를 사용하면 모든 메트릭, 이벤트, 로그 및 트레이스를 사전에 수집, 시각화 및 분석하여 애플리케이션의 상태를 이해하고 복잡한 시스템에 대한 인사이트를 얻을 수 있습니다.

newrelic.com

2. 인증서

➜ AWS Certificate Manager 관련 작업

# 이 명령어로 확인하면 인증서가 처음에 없다. 다음 명령어로 생성하고 나서 다시 출력시키면 인증서가 출력
aws acm list-certificates

aws acm request-certificate \
--domain-name thrillionx.click \
--validation-method DNS \
--options CertificateTransparencyLoggingPreference=DISABLED

# 인증서 삭제하려는 경우
aws acm list-certificates => arn 확인

# 삭제
aws acm delete-certificate --certificate-arn arn:aws:acm:ap-northeast-3:050451371827:certificate/51a156eb-89ed-43a8-a284-03de60df0a50

# 추가
export CERT_ARN=$(aws acm request-certificate \
   --domain-name example.com \
   --subject-alternative-names "sjh-nginx.thrillionx.click" \
   --validation-method DNS \
   --options CertificateTransparencyLoggingPreference=DISABLED \
   --query CertificateArn --output text
)

✅ 확인

✅ aws acm list-certificates

➜ aws eks logging

✅ control plane logging : aws managed vpc

✅ application logging : pod, container

✅ node logging : 노드자체, 워크 노드

➜ ARN 확인

(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# CERT_ARN=`aws acm list-certificates --query 'CertificateSummaryList[].CertificateArn[]' --output text`; echo $CERT_ARN
arn:aws:acm:ap-northeast-3:050451371827:certificate/b93696c6-327b-42a5-89b9-ba44390fb511
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# echo $CERT_ARN
arn:aws:acm:ap-northeast-3:050451371827:certificate/b93696c6-327b-42a5-89b9-ba44390fb511

# 실수했을 경우
unset CERT_ARN 후 다시 명령어 입력

➜ EKS > 클러스터 > 관찰성 > 로깅 관리 on

➜ CloudWatch > 로그 > 로그 그룹

✅ 확인

✅ 로그 찾기 ( 로그 인사이트로 보기 > 코드 수정 )

fields @timestamp, @message
| filter @message like "UserAgent"
| parse @message /"UserAgent":"(?<UserAgent>[^"]+)"/
| stats count() by UserAgent
| sort count desc


fields @timestamp, @message
| filter @logStream ~= "kube-apiserver"
| sort @timestamp desc


fields @timestamp, @message
| filter @logStream ~= "authenticator"
| sort @timestamp desc

✅ Deleting log 확인

➜ helm 설치

helm repo add stable https://charts.helm.sh/stable
helm repo update
helm repo add bitnami https://charts.bitnami.com/bitnami
helm install nginx bitnami/nginx

✅ kubectl get svc,pod,deploy

** T.S **

➜ loadbalancing에서 externalip가 pending인 경우

✅ 프라이빗 서브넷과 퍼블릭 서브넷에 태그를 붙임

✅ 수동 할당 : 서브넷 > 태그 > kubernetes.io/role/interal-elb, 1 [프라이빗, 서브넷 동일하게 추가]

** 참고 **

=> https://docs.aws.amazon.com/cli/latest/reference/acm/request-certificate.html

request-certificate — AWS CLI 1.34.29 Command Reference

Note: You are viewing the documentation for an older major version of the AWS CLI (version 1). AWS CLI version 2, the latest major version of AWS CLI, is now stable and recommended for general use. To view this page for the AWS CLI version 2, click here. F

docs.aws.amazon.com

➜ ssh ec2-user@$N1 sudo tree -C /var/log/containers

✅ 링크 걸려 있는 것 확인

➜ ssh ec2-user@$N1 sudo ls -l /var/log/

➜ ssh ec2-user@$N1 sudo ls -al

3. 로드밸런서 올리기

➜ yaml 올리기

helm uninstall nginx

cat <<EOT > nginx-values.yaml
service:
    type: NodePort

ingress:
  enabled: true
  ingressClassName: alb
  hostname: nginx-shinjh.thrillionx.click
  path: /*
  annotations: 
    alb.ingress.kubernetes.io/scheme: internet-facing
    alb.ingress.kubernetes.io/target-type: ip
    alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'
    alb.ingress.kubernetes.io/certificate-arn: arn:aws:acm:ap-northeast-3:050451371827:certificate/b93696c6-327b-42a5-89b9-ba44390fb511
    alb.ingress.kubernetes.io/success-codes: 200-399
    alb.ingress.kubernetes.io/load-balancer-name: myeks-ingress-alb
    alb.ingress.kubernetes.io/group.name: study
    alb.ingress.kubernetes.io/ssl-redirect: '443'
EOT

helm install nginx-shinjh bitnami/nginx --version 14.1.0 -f nginx-values.yaml

➜ 확인

✅ 로드밸런서

✅ 대상 그룹

✅ kubectl get ingress

✅ kubectl get ingress nginx-shinjh

➜ control plane 로깅과 application 로깅 : host 로그, dataplane 로그

✅ eks에서

https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/monitoring/Container-Insights-setup-logs-FluentBit.html

Fluent Bit를 DaemonSet로 설정하여 CloudWatch Logs에 로그 전송 - Amazon CloudWatch

Container Insights에 이미 FluentD가 구성되어 있고 FluentD DaemonSet가 예상대로 실행되지 않는 경우(containerd 런타임을 사용하는 경우 발생할 수 있음), Fluent Bit를 설치하기 전에 Fluent Bit를 제거해야 Fluent

docs.aws.amazon.com

➜ fluentbit의 로그 위치

✅ application log => /aws/containsights/XXX/application

✅ host log => /aws/containerinsights/XXX/host

✅ dataplane => /aws/containerinsights/XXX/dataplane

[ 8 ] - External DNS

zhuxiclover — Fri, 27 Sep 2024 16:54:29 +0900

1. 0927 yaml 스택 생성

2. myeks-host 인스턴스 - mobaxterm 접속

3. 실습

➜ 도메인

✅ 도메인 : thrillionx.click

✅ 도메인 ID : Z03277773PBC0HOIVXLL5

aws route53 list-hosted-zones-by-name --dns-name thrillionx.click | jq
echo "export Mydomain=thrillionx.click" >> /etc/profile
echo $Mydomain

MyDnsHostedZoneId=`aws route53 list-hosted-zones-by-name --dns-name thrillionx.click --query "HostedZones[0].Id" --output text`
echo "export MyDnsHostedZoneId=Z03277773PBC0HOIVXLL5" >> /etc/profile
echo $MyDnsHostedZoneId

➜ nano externaldns.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: external-dns
  namespace: kube-system
  labels:
    app.kubernetes.io/name: external-dns
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: external-dns
  labels:
    app.kubernetes.io/name: external-dns
rules:
  - apiGroups: [""]
    resources: ["services","endpoints","pods","nodes"]
    verbs: ["get","watch","list"]
  - apiGroups: ["extensions","networking.k8s.io"]
    resources: ["ingresses"]
    verbs: ["get","watch","list"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: external-dns-viewer
  labels:
    app.kubernetes.io/name: external-dns
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: external-dns
subjects:
  - kind: ServiceAccount
    name: external-dns
    namespace: kube-system # change to desired namespace: externaldns, kube-addons
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: external-dns
  namespace: kube-system
  labels:
    app.kubernetes.io/name: external-dns
spec:
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app.kubernetes.io/name: external-dns
  template:
    metadata:
      labels:
        app.kubernetes.io/name: external-dns
    spec:
      serviceAccountName: external-dns
      containers:
        - name: external-dns
          image: registry.k8s.io/external-dns/external-dns:v0.13.4
          args:
            - --source=service
            - --source=ingress
            - --domain-filter=thrillionx.click # will make ExternalDNS see only the hosted zones matching provided domain, omit to process all available hosted zones
            - --provider=aws
            #- --policy=upsert-only # would prevent ExternalDNS from deleting any records, omit to enable full synchronization
            - --aws-zone-type=public # only look at public hosted zones (valid values are public, private or no value for both)
            - --registry=txt
            - --txt-owner-id=Z03277773PBC0HOIVXLL5
          env:
            - name: AWS_DEFAULT_REGION
              value: ap-northeast-3 # change to region where EKS is installed

✅ kubectl apply -f externaldns.yaml

✅ kubectl get pod -l app.kubernetes.io/name=external-dns -n kube-system

➜ nano tetris.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: tetris
  labels:
    app: tetris
spec:
  replicas: 2
  selector:
    matchLabels:
      app: tetris
  template:
    metadata:
      labels:
        app: tetris
    spec:
      containers:
      - name: tetris
        image: bsord/tetris
---
apiVersion: v1
kind: Service
metadata:
  name: tetris
  annotations:
    service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ip
    service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing
    service.beta.kubernetes.io/aws-load-balancer-cross-zone-load-balancing-enabled: "true"
    service.beta.kubernetes.io/aws-load-balancer-backend-protocol: "http"
    #service.beta.kubernetes.io/aws-load-balancer-healthcheck-port "80"
spec:
  selector:
    app: tetris
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  type: LoadBalancer
  loadBalancerClass: service.k8s.aws/nlb

✅ kubectl apply -f tetris.yaml

✅ kubectl get svc

(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# dig +short tetris.thrillionx.click
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl annotate service tetris "external-dns.alpha.kubernetes.io/hostname=SJH.thrillionx.click"
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubeopsview.thrillionx.click

✅ 결과 확인

✅ 테트리스 연결 확인 : 크롬 시크릿창에 sjh.thrillionx.click 입력

4. T.S

➜ 계속해서 레코드가 올라갔다 내려가는 문제

helm repo add bitnami https://charts.bitnami.com/bitnami

helm repo update

helm install external-dns bitnami/external-dns -n kube-system --set provider=aws --set aws.region=us-east-1

kubectl annotate service khtetris external-dns.alpha.kubernetes.io/hostname=khtetris.thrillionx.click

dig +short khtetris.thrillionx.click

kubectl annotate service khtetris "external-dns.alpha.kubernetes.io/hostname=khtetris.$mydns"

kubectl annotate service kube-ops-view -n kube-system "external-dns.alpha.kubernetes.io/hostname=kubeopsview.$mydns"

dig +trace tetris1.thrillionx.click

** 지우기 **

eksctl delete cluster --name $CLUSTER_NAME \ && aws cloudformation delete-stack --stack-name $CLUSTER_NAME

** 참고 **
https://repost.aws/ko/knowledge-center/eks-set-up-externaldns

Amazon EKS로 ExternalDNS 설정

Amazon Elastic Kubernetes Service(Amazon EKS)를 사용하여 ExternalDNS를 설정하고 싶습니다.

repost.aws

https://github.com/kubernetes-sigs/external-dns

GitHub - kubernetes-sigs/external-dns: Configure external DNS servers (AWS Route53, Google CloudDNS and others) for Kubernetes I

Configure external DNS servers (AWS Route53, Google CloudDNS and others) for Kubernetes Ingresses and Services - kubernetes-sigs/external-dns

github.com

[ 7 ] - EKS Storage Monitoring

zhuxiclover — Thu, 26 Sep 2024 15:02:36 +0900

1. eks 스토리지

➜ Kubernetes 리소스 중 가장 기본단위인 Pod는 언제든 죽을 수 있는 Stateless 리소스

✅ 따라서 Pod 내부에 저장되어 있는 데이터들은 파드가 죽게되면 모두 소실이 되므로 이러한 데이터 유실 방지를 위해 k8s에서는 PV, PVC 방식으로 Storage 사용

2. Storage 종류
➜ 임시 파일 시스템 (컨테이너와 같은 생명주기)

➜ 임시 볼륨 (emptydir, 파드와 같은 생명주기)

✅ 말 그대로 비어있는 디렉토리를 Volume으로 사용하는데, Pod가 사라지면 데이터도 같이 사라지는 특징

✅ emptyDir이 배포가 되면, 기본적으로는 클러스터의 환경에 따라 노드의 Disk, SSD, Network Storage 등에 데이터가 저장

✅ sizeLimit 을 설정할 수 도 있고, emptyDir.medium: Memory를 통해 노드의 tmpfs(RAM based filesystem)에 할당하여 속도를 빠르게 만들기도 가능

➜ hostpath (파드, 컨테이너와 생명주기 무관) : 노드

✅ Pod의 Volume을 Node에 매핑시키는 방식

✅ Pod가 죽고 다시 살아나면 데이터가 유실되지 않고 남아있게 되는데, 원래 Pod가 존재하던 Node에 생성되어야지 의미가 있음

➜ AWS EBS CSI driver

➜ AWS EFS CSI driver

AWS EFS <--> AWS EFS CSI driver <--> EKS cluster

3. AWS EFS

➜ EFS는 aws에서 제공하는 파일 스토리지

➜ 스토리지 용량을 탄력적으로 구성하는 서버리스 파일 스토리지이며 aws 관리형 서비스이므로 별도의 스토리지 용량과 성능을 프로비저닝하지 않음

➜ EFS는 다수의 가용영역에 걸처 데이터를 저장하고 다수의 자원이 접근 가능한 공유 스토리지

4. AWS EFS CSI driver

➜ AWS EFS CSI driver가 EKS 클러스터와 EFS 파일 시스템에 연결되어 관리

➜ AWS EFS CSI driver를 설치하면 EFS-CSI-controller와 EFS-CSI-NODE가 생성

➜ EFS는 EBS와 다르게 대상 컨테이너가 필요하지 않음

➜ PV와 PVC의 access mode 설정은 아무것이나 (once, many 무관), 다수의 가용영역에 위치해서 파드가 어느 가용영역이든 상관없음

5. EKS cluster

➜ aws eks클러스터에 영구 볼륨 환경인 PV를 구성할 수 있고, 대상 스토리지를 EFS 파일시스템에 연결 가능

6. 실습

➜ 아래 코드 실패 시 스택에서 롤백상태 확인하고 삭제 후 재실행

aws eks describe-addon-versions \
    --addon-name aws-efs-csi-driver \
    --kubernetes-version 1.27 \
    --output text

eksctl create iamserviceaccount \
    --name efs-csi-controller-sa \
    --namespace kube-system \
    --cluster myeks \
    --role-name AmazonEKS_EFS_CSI_DriverRole23 \
    --role-only \
    --attach-policy-arn arn:aws:iam::aws:policy/service-role/AmazonEFSCSIDriverPolicy \
    --approve

➜ IRSA 생성 확인

✅ eksctl get iamserviceaccount --cluster myeks

eksctl create addon --name aws-efs-csi-driver\
 --cluster ${CLUSTER_NAME}\
 --service-account-role-arn arn:aws:iam::${ACCOUNT_ID}:role/AmazonEKS_EFS_CSI_DriverRole\
 --force

➜ 클러스터 확인

✅ eksctl get addon --cluster ${CLUSTER_NAME}

➜ PVC와 POD 생성

✅ nano efs_dp_pvc_pod.yaml

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: efs-dp-claim
spec:
  accessModes:
    - ReadWriteMany     #####  다수가 공유 스토리지로 사용할 수 있다 
  storageClassName: efs-dp-sc
  resources:
    requests:
      storage: 5Gi
---

apiVersion: v1
kind: Pod
metadata:
  name: efs-dp-app
spec:
  containers:
    - name: app
      image: centos
      command: ["/bin/sh"]
      args: ["-c", "while true; do echo $(date -u) >> /data/out.txt; sleep 10; done"]
      volumeMounts:
        - name: persistent-storage
          mountPath: /data
  volumes:
    - name: persistent-storage
      persistentVolumeClaim:
        claimName: efs-dp-claim    ### volume영역에서 참조할 pvc는 efs-dp-claim

✅ kubectl apply -f efs_dp_pvc_pod.yaml

✅ nano efs_dp_sc.yaml

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: efs-dp-sc
provisioner: efs.csi.aws.com
parameters:
  provisioningMode: efs-ap
  fileSystemId: fs-0686c59d89f9b95aa
  directoryPerms: "700"

✅ kubectl apply -f efs_dp_sc.yaml

✅ kubectl get pv,pvc,sc

➜ ECR

✅ 버지니아 북부에서 인증받기 : aws ecr-public get-login-password --region us-east-1 | docker login --username AWS --password-stdin public.ecr.aws

✅ aws ecr-public describe-registries --region us-east-1

➜ 위의 것이 퍼블릭 리포지토리에 반영이 안돼서 강제로 생성

✅ NICKNAME=juhee17

✅ aws ecr-public create-repository --repository-name $NICKNAME/nginx --region us-east-1

✅ 확인

✅ docker pull nginx:alpine

✅ docker tag nginx:alpine public.ecr.aws/n0h2y7b3/juhee17/nginx

✅ docker images

✅ kubectl get pod

➜ 올라간 image, repo 지우기

ws ecr-public batch-delete-image \
      --repository-name $NICKNAME/nginx \
      --image-ids imageTag=latest \
      --region us-east-1

aws ecr-public delete-repository \
      --repository-name $NICKNAME/nginx \
      --force \
      --region us-east-1

** 참고 **

1. https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/efs-csi.html

Amazon EFS를 사용한 탄력적 파일 시스템 저장 - Amazon EKS

AWS Fargate에는 이 단계가 필요하지 않습니다. Fargate에서 실행되는 Pod은(는) Amazon EFS 파일 시스템을 자동으로 탑재합니다.

docs.aws.amazon.com

2. https://docs.aws.amazon.com/ko_kr/AmazonECR/latest/public/public-repositories.html

Amazon ECR public repositories - Amazon ECR Public

Thanks for letting us know this page needs work. We're sorry we let you down. If you've got a moment, please tell us how we can make the documentation better.

docs.aws.amazon.com

3. https://docs.aws.amazon.com/ko_kr/AmazonECR/latest/public/getting-started-cli.html

Moving an image through its lifecycle in Amazon ECR Public - Amazon ECR Public

Moving an image through its lifecycle in Amazon ECR Public This quick start guide walks you through the steps needed to create a Docker image, publish the image to a public repository, pull the image down from the Amazon ECR Public Gallery, and then clean

docs.aws.amazon.com

[ 6 ] - EKS Storage : Snapshot Controller

zhuxiclover — Wed, 25 Sep 2024 17:17:54 +0900

1. EBS Volume Snapshot Controller

➜ PV로 사용하고 있는 중요한 EBS를 EKS에서 바로 Snapshot으로 백업할 수 있는 서비스

➜ 설치

✅ CRD 설치

curl -s -O https://raw.githubusercontent.com/kubernetes-csi/external-snapshotter/master/client/config/crd/snapshot.storage.k8s.io_volumesnapshots.yaml
curl -s -O https://raw.githubusercontent.com/kubernetes-csi/external-snapshotter/master/client/config/crd/snapshot.storage.k8s.io_volumesnapshotclasses.yaml
curl -s -O https://raw.githubusercontent.com/kubernetes-csi/external-snapshotter/master/client/config/crd/snapshot.storage.k8s.io_volumesnapshotcontents.yaml

✅ CRD 리소스 확인

kubectl get crd | grep snapshot
kubectl api-resources  | grep snapshot

✅ Snapshot Controller 설치

curl -s -O https://raw.githubusercontent.com/kubernetes-csi/external-snapshotter/master/deploy/kubernetes/snapshot-controller/rbac-snapshot-controller.yaml
curl -s -O https://raw.githubusercontent.com/kubernetes-csi/external-snapshotter/master/deploy/kubernetes/snapshot-controller/setup-snapshot-controller.yaml
kubectl apply -f rbac-snapshot-controller.yaml,setup-snapshot-controller.yaml

➜ Test Pod 배포

✅ curl -s -O https://raw.githubusercontent.com/kubernetes-sigs/aws-ebs-csi-driver/master/examples/kubernetes/snapshot/manifests/classes/snapshotclass.yaml

✅ kubectl apply -f snapshotclass.yaml

✅ kubectl get pv,pvc

✅ kubectl exec ebs-dp-app -- tail -f /data/out.txt

✅ nano ebs_vol_snapshot.yaml

apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
  name: ebs-volume-snapshot
spec:
  volumeSnapshotClassName: csi-aws-vsc
  source:
    persistentVolumeClaimName: ebs-dp-claim

✅ kubectl apply -f ebs_vol_snapshot.yaml

✅ kubectl get volumesnapshot

✅ AWS volume 생성된 것 확인

➜ 파드와 PVC 강제 삭제 => 지금까지 설정한 reclaim policy는 delete 이므로 PVC삭제되면 PV도 삭제됨

✅ kubectl delete pod ebs-dp-app

✅ kubectl delete pvc ebs-dp-claim

➜ ebs 볼륨 스냅샷 복원

✅ 스냅샷 복원 용도의 PVC와 파드 생성

✅ ebs_snapshot_restore_pvc.yaml 파일 생성

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
    name: ebs-snapshot-restored-claim
spec:
  accessModes:
  - ReadWriteOnce
  storageClassName: ebs-dp-sc
  resources:
    requests:
      storage: 4Gi
  dataSource:
    kind: VolumeSnapshot
    name: ebs-volume-snapshot
    apiGroup: snapshot.storage.k8s.io

✅ kubectl apply -f ebs_snapshot_restore_pvc.yaml

✅ nano ebs_snapshot_restore_pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: ebs-dp-app
spec:
  containers:
  - name: app
    image: centos
    command: ["/bin/sh"]
    args: ["-c", "while true; do echo $(date -u) >> /data/out.txt; sleep 10; done"]
    volumeMounts:
    - name: persistent-storage
      mountPath: /data
  volumes:
  - name: persistent-storage
    persistentVolumeClaim:  
      claimName: ebs-snapshot-restored-claim

✅ kubectl apply -f ebs_snapshot_restore_pod.yaml

✅ kubectl get pv,pvc,sc

✅ kubectl exec ebs-dp-app --head /data/out.txt

✅ kubectl exec ebs-dp-app -- tail -f /data/out.txt

✅ 참고

https://kubernetes.io/docs/concepts/storage/volume-pvc-datasource/

CSI Volume Cloning

This document describes the concept of cloning existing CSI Volumes in Kubernetes. Familiarity with Volumes is suggested. Introduction The CSI Volume Cloning feature adds support for specifying existing PVCs in the dataSource field to indicate a user would

kubernetes.io

[ 5 ] - pv, pvc 관련 실습

zhuxiclover — Wed, 25 Sep 2024 16:16:25 +0900

1. 그대로 따라하기 (최최종 yaml 파일)

➜ 스택에 yaml 올리기
➜ aws configure

(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl describe sc ebs-dp-sc
Name:            ebs-dp-sc
IsDefaultClass:  No
Annotations:     kubectl.kubernetes.io/last-applied-configuration={"allowVolumeExpansion":true,"apiVersion":"storage.k8s.io/v1","kind":"StorageClass","metadata":{"annotations":{},"name":"ebs-dp-sc"},"parameters":{"allowAutoIOPSPerGBIncrease":"true","encrypted":"true","type":"gp3"},"provisioner":"ebs.csi.aws.com","volumeBindingMode":"WaitForFirstConsumer"}

Provisioner:           ebs.csi.aws.com
Parameters:            allowAutoIOPSPerGBIncrease=true,encrypted=true,type=gp3
AllowVolumeExpansion:  True
MountOptions:          <none>
ReclaimPolicy:         Delete
VolumeBindingMode:     WaitForFirstConsumer
Events:                <none>
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl get pvc,sc
NAME                                 STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/ebs-dp-claim   Pending                                      ebs-dp-sc      2m42s

NAME                                        PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
storageclass.storage.k8s.io/ebs-dp-sc       ebs.csi.aws.com         Delete          WaitForFirstConsumer   true                   6m13s
storageclass.storage.k8s.io/gp2 (default)   kubernetes.io/aws-ebs   Delete          WaitForFirstConsumer   false                  83m
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# nano ebs_dp_pod.yaml
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# cat ebs_dp_pod.yaml
apiVersion: v1
kind: Pod
metadata:
  name: ebs-dp-app
spec:
  terminationGracePeriodSeconds: 3
  containers:
  - name: app
    image: centos
    command: ["/bin/sh"]
    args: ["-c", "while true; do echo $(date -u) >> /data/out.txt; sleep 10; done"]
    volumeMounts:
    - name: persistent-storage
      mountPath: /data
  volumes:
  - name: persistent-storage
    persistentVolumeClaim:
      claimName: ebs-dp-claim
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl apply -f ebs_dp_pod.yamnl
error: the path "ebs_dp_pod.yamnl" does not exist
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl apply -f ebs_dp_pod.yaml
pod/ebs-dp-app created
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl get pod -n kube--system | grep ebs-csi
No resources found in kube--system namespace.
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl get pod -n kube-system | grep ebs-csi
ebs-csi-controller-85d7448f6d-5pt6h            6/6     Running   0          41m
ebs-csi-controller-85d7448f6d-vp67w            6/6     Running   0          41m
ebs-csi-node-6lrtz                             3/3     Running   0          41m
ebs-csi-node-bb4nb                             3/3     Running   0          41m
ebs-csi-node-q79hk                             3/3     Running   0          41m
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl get pod -n kube-system | grep ebs-csi-controller
ebs-csi-controller-85d7448f6d-5pt6h            6/6     Running   0          41m
ebs-csi-controller-85d7448f6d-vp67w            6/6     Running   0          41m
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl logs ^C
(bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl logs ebs-csi-controller-85d7448f6d-5pt6h -n kube-system
Defaulted container "ebs-plugin" out of: ebs-plugin, csi-provisioner, csi-attacher, csi-snapshotter, csi-resizer, liveness-probe
I0925 05:52:11.901650       1 main.go:151] "Region provided via AWS_REGION environment variable" region="ap-northeast-3"
I0925 05:52:11.903213       1 driver.go:69] "Driver Information" Driver="ebs.csi.aws.com" Version="v1.35.0"

➜ (bs-sa-user4@myeks:default) [root@myeks-bastion-EC2 ~]# kubectl get volumeattachment

✅ 생성된 볼륨 이름과 같음

➜ StorageClass 생성

✅ nano ebs_dp_sc.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ebs-dp-sc
allowVolumeExpansion: true
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
parameters:
  type: gp3
  allowAutoIOPSPerGBIncrease: 'true'
  encrypted: 'true'

✅ kubectl apply -f ebs_dp_sc.yaml
✅ kubectl describe sc ebs-dp-sc

➜ pvc 생성

✅ nano ebs_dp_pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: ebs-dp-claim
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 4Gi
  storageClassName: ebs-dp-sc

✅ kubectl apply -f ebs_dp_pvc.yaml
✅ kubectl get pvc,sc

➜ 파드 생성

✅ nano ebs_dp_pod.yaml

apiVersion: v1
kind: Pod
metadata:
  name: ebs-dp-app
spec:
  terminationGracePeriodSeconds: 3
  containers:
  - name: app
    image: centos
    command: ["/bin/sh"]
    args: ["-c", "while true; do echo $(date -u) >> /data/out.txt; sleep 10; done"]
    volumeMounts:
    - name: persistent-storage
      mountPath: /data
  volumes:
  - name: persistent-storage
    persistentVolumeClaim:
      claimName: ebs-dp-claim

✅ kubectl apply -f ebs_dp_pod.yaml

➜ ebs-sci-controller 파드가 2개 생성

➜ kubectl get pod -n kube-system

➜ kubectl logs ebs-csi-controller-[본인 할당] -n kube-system

✅ 로그 확인

➜ kubectl get volumeattachment

[ 네트워크 관리사 실기 공부 ]

zhuxiclover — Thu, 19 Sep 2024 20:16:34 +0900

< 범위 >

- 케이블 제작 : 6.5점 / 1개 / 10분 / 우선순위 4

- 윈도우 : 8문제 / 5.5점 / 우선순위 1

- 신경향 및 보안 : 범위 광범위함 / 우선순위 5 / 1문제 / 5.5점

- TCP/IP : 기출문제 3개년 공부 / 3개 / 5.5점 / 우선순위 2

- 리눅스 : 기출문제 위주로 암기 / 2문제 / 5.5점 / 우선순위 3

- 라우터 : 명령어 암기 : 3문제 / 5.5점 / 우선순위 2 / 20분

1. 케이블 유형 문제 (피복 탈피기, 랜툴) : 다이렉트 or 크로스 케이블 만들기 문제가 출제됨, 대부분 다이렉

- 하루에 한 번씩 만들어보기 : 6~7분 이내로

- 다이렉트 케이블 제작

=> https://youtu.be/VUG_i4DHPKs

- 크로스 케이블 제작

=> https://www.youtube.com/watch?v=WkdtW4mpdIg

> 랜툴은 고시장에서 지급 / 스트리퍼는 안 줌

> 랜툴세트 구매해서 랜툴, 스트리퍼 고시장에 가져가는 거 추천

> 마지막으로 제출 전 색깔 순서 확인

> 커넥터에 케이블 잘 고정됐나 확인

2. 작업형 유형

- 작업형 문제는 예제프로그램 다운로드하여 실습

=> https://www.icqa.or.kr/cn/board/dataroom?sca=%EB%84%A4%ED%8A%B8%EC%9B%8C%ED%81%AC%EA%B4%80%EB%A6%AC%EC%82%AC

자료실 1 페이지 | (사)한국정보통신자격협회

www.icqa.or.kr

3. 라우터 유형 기출문제 (매회 3문제 출제)

- 아래 사이트에서 수험생 실습용 Router Emulator 다운받고 실습 진행 (2019 3회차 ~ 2022 3회차)

- https://www.icqa.or.kr/cn/board/dataroom/21?sca=%EB%84%A4%ED%8A%B8%EC%9B%8C%ED%81%AC%EA%B4%80%EB%A6%AC%EC%82%AC

Router Emulator 프로그램 - 수험생 실습용 > 자료실 | (사)한국정보통신자격협회

*라우터 실습용 에뮬레이터 첨부파일을 다운받고 압축을 풀어서 router.exe 파일을 실행하시면 됩니다. - 컴퓨터는 현재날짜로 세팅되어야합니다. 현재날짜가 아닐 경우 '정상적인 접근이 아닙

www.icqa.or.kr

4. 햄릿슈 유튜브

- https://www.youtube.com/watch?v=hQog2YiJ0fg&list=PLrTFeWWAg1cgwM-iu2fD3lclojap8OPQv

- 입문 > 2017 > 2018 > 2019 > 2020 > 2021 > 2022

* 참고 *

https://on2022.notion.site/2-0a64e8f2a3074d04be804d0f219afd32

네트워크 관리사 2급 실기 공부법/자료 | Notion

네관사실기.zip

on2022.notion.site

2. https://chojinyoung.tistory.com/172

네트워크 관리사 2급 실기 벼락치기

" 네트워크 관리사 2급 실기 기출문제들을 기반으로 작성한 벼락치기용 요약본 "기본적인 네트워크 및 컴퓨터 지식이 있고 대충 합격만 하고 싶다 → 암기 항목에서 모르는 부분만 암기, 보험

chojinyoung.tistory.com

3. https://blog.naver.com/suneue7/223410093664

네트워크관리사 2급 합격 후기 :: 책 한 권 없이 필기/실기 합격하는 방법

안녕하세요. 동털입니다. 2022년에 정보처리기사와 SQLD를 취득하고.. 자격증을 더 이상 취득할 일 없...

blog.naver.com

[ 4 ]

zhuxiclover — Fri, 13 Sep 2024 16:40:02 +0900

1. mobaxterm 접속 [ 13.208.241.85, username : ec2-user, keypair : nana ]

➜ (bs-sa-user4@myeks:N/A) [root@myeks-bastion-EC2 ~]# kubectl krew list

➜ (bs-sa-user4@myeks:N/A) [root@myeks-bastion-EC2 ~]# eksctl get nodegroup --cluster myeks

➜ (bs-sa-user4@myeks:N/A) [root@myeks-bastion-EC2 ~]# kubectl get node --show-labels | grep node.kubernetes

➜ (bs-sa-user4@myeks:N/A) [root@myeks-bastion-EC2 ~]# cat /root/.kube/config | yh

✅ cat을 사용하여 Kubernetes의 kubeconfig 파일을 출력하고, 그 결과를 yh라는 프로그램이나 명령어로 파이프하여 보내는 것

➜ (bs-sa-user4@myeks:N/A) [root@myeks-bastion-EC2 ~]# eksctl get addon --cluster myeks

✅ AWS EKS 클러스터에서 설치된 애드온(addon) 목록을 조회하는 명령

➜ aws ec2 describe-instances --query "Reservations[*].Instances[*].{PublicIPAdd:PublicIpAddress,PrivateIPAdd:PrivateIpAddress,InstanceName:Tags[?Key=='Name']|[0].Value,Status:State.Name}" --filters Name=instance-state-name,Values=running --output table

2. 3대의 워커노드의 Private IP 주소 변수 저장

➜ N1=$(kubectl get node --label-columns=topology.kubernetes.io/zone --selector=topology.kubernetes.io/zone=ap-northeast-3a -o jsonpath={.items[0].status.addresses[0].address})

➜ N2=$(kubectl get node --label-columns=topology.kubernetes.io/zone --selector=topology.kubernetes.io/zone=ap-northeast-3b -o jsonpath={.items[0].status.addresses[0].address})

➜ N3=$(kubectl get node --label-columns=topology.kubernetes.io/zone --selector=topology.kubernetes.io/zone=ap-northeast-3c -o jsonpath={.items[0].status.addresses[0].address})

3. 3대의 워커노드의 Private IP 주소 전역 변수로 선언 및 확인

➜ echo "export N1=$N1" >> /etc/profile

➜ echo "export N2=$N2" >> /etc/profile

➜ echo "export N3=$N3" >> /etc/profile

➜ echo $N1, $N2, $N3

➜ export N1=$(kubectl get node -o jsonpath={.items[0].status.addresses[0].address})
export N2=$(kubectl get node -o jsonpath={.items[1].status.addresses[0].address})
export N3=$(kubectl get node -o jsonpath={.items[2].status.addresses[0].address})

✅ IP 주소 찾기

4. 노드 그룹에 대한 보안 그룹에 관리 인스턴스 추가하기

➜ NGSGID=$(aws ec2 describe-security-groups --filters Name=group-name,Values=*ng1* --query "SecurityGroups[*].[GroupId]" --output text)

➜ 특정 보안 그룹 이름을 포함하는 보안 그룹을 필터링하여 그 ID를 출력

aws ec2 describe-security-groups \
 --filters Name=group-name,Values=*ng1* \
 --query "SecurityGroups[*].[GroupId]" \
 --output text

➜ 특정 IP 주소에 대해 모든 프로토콜을 허용하는 규칙을 추가

aws ec2 authorize-security-group-ingress \
  --group-id $NGSGID \
  --cidr 192.168.1.53/32 \
  --protocol '-1' \

➜ ssh 접속

✅ S3 버킷에 keypair 파일 업로드

✅ chmod 400 /home/ec2-user/nana.pem

✅ ssh -i /home/ec2-user/nana.pem ec2-user@$N1

➜ ssh ec2-user@N1 hostname

➜ ssh ec2-user@$N1 ip addr

➜ ssh ec2-user@$N1 ifconfig

➜ ssh ec2-user@$N1 id

➜ ssh ec2-user@N2 hostname

➜ ssh ec2-user@$N2 ip addr

➜ ssh ec2-user@$N2 ifconfig

➜ ssh ec2-user@$N2 id

➜ ssh ec2-user@N3 hostname

➜ ssh ec2-user@$N3 ip addr

➜ ssh ec2-user@$N3 ifconfig

➜ ssh ec2-user@$N3 id

➜ ssh ec2-user@N1 sudo yum install links tree jq tcpdump -y

➜ ssh ec2-user@N2 sudo yum install links tree jq tcpdump -y

➜ ssh ec2-user@N3 sudo yum install links tree jq tcpdump -y

[ 3 ]

zhuxiclover — Thu, 12 Sep 2024 15:00:22 +0900

1. MobaXterm 접속 후 확인

➜ 인스턴스 퍼블릭 IP, 사용자 이름 : ec2-user, 키 페어 넣기

➜ 명령어 입력하여 확인

aws configure 설정 

변수 설정
export CLUSTER_NAME=myeks
echo $CLUSTER_NAME

export VPCID=$(aws ec2 describe-vpcs --filters "Name=tag:Name,Values=$CLUSTER_NAME-VPC" | jq -r .Vpcs[].VpcId)
echo "export VPCID=$VPCID" >> /etc/profile

export PubSubnet1=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet1" --query "Subnets[0].[SubnetId]" --output text)
export PubSubnet2=$(aws ec2 describe-subnets --filters Name=tag:Name,Values="$CLUSTER_NAME-PublicSubnet2" --query "Subnets[0].[SubnetId]" --output text)

echo "export PubSubnet1=$PubSubnet1" >> /etc/profile
echo "export PubSubnet2=$PubSubnet2" >> /etc/profile

echo "export AWS_DEFAULT_REGION=ap-northeast-2" >> /etc/profile
echo $AWS_DEFAULT_REGION

echo $CLUSTER_NAME
echo $VPCID
echo $PubSubnet1
echo $PubSubnet2


설치 유틸들 확인 
kubectl version --client=true -o yaml | yh 
eksctl version
docker info
aws ec2 describe-instances
aws ec2 describe-vpcs
aws ec2 describe-subnets

명령어로 eks 설정 

eksctl create cluster \
  --name $CLUSTER_NAME \    
  --region=$AWS_DEFAULT_REGION \
  --nodegroup-name=$CLUSTER_NAME-nodegroup \
  --node-type=t3.medium \
  --node-volume-size=30 \
  --vpc-public-subnets "$PubSubnet1,$PubSubnet2" \
  --version 1.27 \
  --ssh-access \
  --external-dns-access \
  --verbose 4

➜ 노드 확인

✅ 인스턴스 > 네트워킹

✅ kubectl get node

✅ kubectl get node -o wide

✅ curl -ks https://784916454242ADBCBD5AF3166AF1CECD.gr7.ap-northeast-2.eks.amazonaws.com

✅ curl -ks https://784916454242ADBCBD5AF3166AF1CECD.gr7.ap-northeast-2.eks.amazonaws.com/version

✅ kubectl get node -o wide -v=6

➜ 통신 확인

✅ kubectl cluster-info

➜ 변수 선언

✅ kubectl get node -o jsonpath={.items[0].status.addresses[0].address}

✅ kubectl get node -o jsonpath={.items[1].status.addresses[0].address}

✅ export N1=$(kubectl get node -o jsonpath={.items[0].status.addresses[0].address})

✅ export N2=$(kubectl get node -o jsonpath={.items[1].status.addresses[0].address})

✅ echo "export N1=$N1" >> /etc/profile

✅ echo "export N2=$N2" >> /etc/profile

✅ echo $N1

✅ echo $N2

➜ eksctl delete cluster --name myeks

✅ 모두 지우는 명령어

2. 새로운 실습

➜ YAML 파일로 스택 생성하여 기본만 구축

AWSTemplateFormatVersion: '2010-09-09'

Description: CloudFormation template to create a VPC, Subnets, Internet Gateway, Route Tables, Security Group, and a configured EC2 instance.

Parameters:

ClusterBaseName:

Type: String

Description: The base name for the EKS cluster.

Default: myeks # 기본값 설정 (필요시 변경 가능)

LatestAmazonLinux2023AmiId:

Type: AWS::SSM::Parameter::Value<AWS::EC2::Image::Id>

Default: "/aws/service/ami-amazon-linux-latest/al2023-ami-kernel-default-x86_64"

Description: "The latest Amazon Linux 2023 AMI ID from SSM Parameter Store"

Resources:

# VPC

MyVPC:

Type: AWS::EC2::VPC

Properties:

CidrBlock: 192.168.0.0/16

EnableDnsSupport: true

EnableDnsHostnames: true

Tags:

- Key: Name

Value: myeks-VPC

# Public Subnets

MyPublicSubnet1:

Type: AWS::EC2::Subnet

Properties:

VpcId: !Ref MyVPC

CidrBlock: 192.168.1.0/24

AvailabilityZone: ap-northeast-3a

MapPublicIpOnLaunch: true

Tags:

- Key: Name

Value: myeks-PublicSubnet1

MyPublicSubnet2:

Type: AWS::EC2::Subnet

Properties:

VpcId: !Ref MyVPC

CidrBlock: 192.168.2.0/24

AvailabilityZone: ap-northeast-3b

MapPublicIpOnLaunch: true

Tags:

- Key: Name

Value: myeks-PublicSubnet2

MyPublicSubnet3:

Type: AWS::EC2::Subnet

Properties:

VpcId: !Ref MyVPC

CidrBlock: 192.168.3.0/24

AvailabilityZone: ap-northeast-3c

MapPublicIpOnLaunch: true

Tags:

- Key: Name

Value: myeks-PublicSubnet3

# Private Subnets

MyPrivateSubnet1:

Type: AWS::EC2::Subnet

Properties:

VpcId: !Ref MyVPC

CidrBlock: 192.168.11.0/24

AvailabilityZone: ap-northeast-3a

Tags:

- Key: Name

Value: myeks-PrivateSubnet1

MyPrivateSubnet2:

Type: AWS::EC2::Subnet

Properties:

VpcId: !Ref MyVPC

CidrBlock: 192.168.12.0/24

AvailabilityZone: ap-northeast-3b

Tags:

- Key: Name

Value: myeks-PrivateSubnet2

MyPrivateSubnet3:

Type: AWS::EC2::Subnet

Properties:

VpcId: !Ref MyVPC

CidrBlock: 192.168.13.0/24

AvailabilityZone: ap-northeast-3c

Tags:

- Key: Name

Value: myeks-PrivateSubnet3

# Internet Gateway

MyInternetGateway:

Type: AWS::EC2::InternetGateway

Properties:

Tags:

- Key: Name

Value: myeks-IGW

MyVPCGatewayAttachment:

Type: AWS::EC2::VPCGatewayAttachment

Properties:

VpcId: !Ref MyVPC

InternetGatewayId: !Ref MyInternetGateway

# Route Tables for Public and Private Subnets

MyPublicRouteTable:

Type: AWS::EC2::RouteTable

Properties:

VpcId: !Ref MyVPC

Tags:

- Key: Name

Value: myeks-PublicSubnetRT

MyPrivateRouteTable:

Type: AWS::EC2::RouteTable

Properties:

VpcId: !Ref MyVPC

Tags:

- Key: Name

Value: myeks-PrivateSubnetRT

# Public Route for Internet Gateway

MyPublicRoute:

Type: AWS::EC2::Route

Properties:

RouteTableId: !Ref MyPublicRouteTable

DestinationCidrBlock: 0.0.0.0/0

GatewayId: !Ref MyInternetGateway

# Associate Public Subnets with Public Route Table

PublicSubnet1RouteTableAssociation: