AWS Summit Seoul 2024 후기

0. AWS Summit Seoul

코엑스에서 진행하는 AWS Summit Seoul을 다녀왔다.

https://aws.amazon.com/ko/events/summits/seoul/

AWS Summit Seoul

 

AWS Summit은 매년 AWS에서 주최하는 컨퍼런스로 다양한 클라우드 세션을 볼 수 있다.

이번에 진행된 세션은 다음 링크에서 확인 할 수 있다.

(작년 행사를 참가하지 못해서 기억나지 않지만 이번 행사의 테마는 클라우드 + Ai 인거 같다.)

https://pages.awscloud.com/rs/112-TZM-766/images/aws_summit_seoul_2024_agenda_v16.pdf?version=0

 

1. 첫 오프라인 행사

클라우드와 Ai 에 대한 지식 전무하던 나였지만, 오프라인 세션을 한번도 참가하지 않았기 때문에 어떻게든 참가하고 싶었다. (사실 행사 핑계로 공부 하기 싫었다.)

Ai 보단 클라우드에 관심이 많았고 클라우드 관련 세션은 전날인 05/17에 많았는데 이때는 학교 일정 때문에 참석하지 못했다. 금요일 혼자 갈 계획인데 다행히 같이 가는 친구가 있어서 같이 갔다.

입장은 오전9시 반까지 였는데, 점심 제공을 선착순으로 해준다는 공지가 있어서 조금 서둘러 9시에 도착하였다.

사원증을 즉석으로 만들어 주는 것 같던데 신기했다.

AWS 윤석환님을 시작으로 행사가 시작되었다. 현재 AWS의 생태계에 대해서 설명해주셨고, 기업에서의 올바른 AWS 사용을 예시로 들면서 각각 기업의 실무자들과 대화를 통해 세션이 진행되었다.(항상 영상으로만 보던 인프런의 이동욱님도 보았다)

 

2. AWS로 구현하는 혁신적 애플리케이션을 위한 인프라 전략

기조연설이 끝나고 본격적으로 세션들이 시작되었다. 각각의 세션에는 L100, L200, L300, L400 와 같이 세션의 난이도가 명시되어 있었는데, 본 행사가 현직자용이라는 점에서 친구와 나는 가장 낮은 난이도의 세션을 듣자고 했다. "AWS로 구현하는 혁신적 애플리케이션을 위한 인프라 전략"가 이에 해당했다.

해당 세션에서는 AWS에 대한 전반적인 설명을 들을 수 있었다.

on_premise 방식에서는 고려할게 많다는 것과, aws와 같은 클라우드를 사용했을때 가져오는 이점에 대해 소개되었다.

또한 EC2의 역사(?)에 대해 소계되었는데, 성능항상을 위해 등장하여 보안을 담당하고 있는 AWS nitro system과 AWS에서 지원하는 스토리지 암호화(https 기반이라고 한다)에 대해 소개되었다.

https://aws.amazon.com/ko/ec2/nitro/

AWS Nitro System

 

모니터링을 지원하는 Amaozn Cloud watch와 IAM + 퍼블릭 엑세스 관리로 인한 권한 관리, amazon S3 express one zone 에 대해 소개되었다. 

비용 절감 및 성능 향상을 위한 자체 칩셋 개발과 ML 워크로드를 위한 칩셋 개발에 대해서도 언급되었다.

Amazon S3 Express One Zone 고성능 스토리지 클래스 정식 출시 | Amazon Web Services

Amazon S3 Express One Zone 고성능 스토리지 클래스 정식 출시 | Amazon Web Services

 

AWS에서 제공하는 챗봇인 Amazon Q도 언급되었다.(거이 모든 세션에서 홍보하고 있었다...)

세션중 기억에 남았 던 것은 AWS에서는 데이터 복구을 제공하는데 재해를 대비하여 AWS elastic disaster recovery이라는 시스템이 존재한다고 한다.

재해 복구 시스템과 솔루션 | Amazon Web Services

재해 복구 시스템과 솔루션 | Amazon Web Services

 

 

3. 기업 홍보 부스

첫번째 세션이 끝난후 점심시간으로 런치 박스를 받았다. 사람들 모두 길에 앉아서 식사하고 있길래 친구랑 눈에 보이는 자리에 않아서 점심을 먹었다. 음식이 맛있고, 양이 많아서 좋았다.

점심을 먹고 남은 시간에는 기업 홍보부스를 돌았다. 홍보부스에서는 다양한 행사를 진행하고 있었다. 개인적으로 스티커 모으는 것을 좋아하는데, 스티커를 주는 곳이 많이 없어서 아쉬웠다. 클라우드 회사들은 거이 몰라서 더 그런 느낌도 있었다. Ai 관련된 체험부스도 있었는데 사람이 너무 많아서 패스했다.

가방을 줘서 들고 다니기 편했다.

 

4. AWS 스토리지로 AI 워크로드 혁신 과속화

오후 세션으로는 "AWS 스토리지로 AI 워크로드 혁신 과속화"을 들었다. AI를 잘 모르지만 단순 호기심에 들었다. 세션 장소가 가장 가까운 곳에 있기도 했다.

해당 세션에서는 ML 엔지니어말고 인프라 운영자 관점에서 ML은 prepare, build, train, deploy 이외에 스토리지를 가장 중요하게 본다는 것과 ML 워크로드에서의 스토리지의 역활에 대해 설명했다. ML 기술이 발전하면서 Model은 점점 커지고 이에 따라 높은 용량의 스토리지를 요구하게 되는데 AWS에서는 이를 어떻게 해결할 수 있는지 소개되었다. 

만약 데이터 로딩 지연시, GPU는 성능적 비용적으로 비효율적이고, 가용률이 낮은 컴퓨팅 리소스는 비용이 많이 발생하는데, 처리량 병목 현상으로 학습 시간도 증가한다.(엎친데 덮친격이다)

amazion sagemaker라는 ML 환경도 소개했다.

ML에서 체크 포인트를 통한 스토리지 IO 성능 비교에 대해 강조했다(일종의 타겟 네트워크와 비슷한 개념으로 이해했다.)

 

클라우드를 사용하기 위해서는 리프트.시프트 파일 시스템 또는 Amazon S3 데이터 레이크를 사용하는 방법이 있다고 한다.

리프트 시프트 파일 시스템은 리소스를 모두 옮기는 것 (FSx)으로 lustre(고성능 파일 시스템)을 통해 s3(persistent storage) 데이터를 lustre에게 넘기는 방식으로 진행된다.

데이터 레이크는 s3는 엑사바이트 규모의 데이터로 segamakcer, ec2에서 사용할 수 있고 segamakcer에서는

filer mode(데이터를 클러스터로 변환 (segamaker에서 sdk로 설정할 수 있음)) 또는 fast filter mode로 사용할수 있다

 

ec2에서 다음과 같은 모듈 사용을 추천하였다.

1. pytorch 용 amazon s3 커넥터 (로컬 스토리지를 우회한다.) from s3torch import S3IterableDataset
2. mountpoint for s3: s3를 로컬 파일 시스템으로 사용 mount-s3 mountpoint-demo—usw2-az2—x-s3 /busket (리눅스만 지원합니다)
3. mount point for s3 로컬 caching:

5. exit()

이후 한개의 세션을 듣고 복귀했다. 세션이 6시까지 있었는데, 친구가 이후에 일정이 있었고, 피곤하기도 해서 복귀하였다. 그래서 예상보다는 어느정도 세션을 이해할 수 있어서 다행이였고, AWS에서 그렇게 많은 서비스를 제공하는지 이번에 처음 알게되었다. 그리고 역시 클라우드와 Ai는 너무 어렵다...

나중에 다른 행사가 있으면 참가하고 싶다. 개인적으로 작년에 티켓팅 실패했던 인프콘을 올해 가고 싶다.