토스ㅣSLASH 22 - 물 흐르듯 자연스러운 ML 서비스 만들기

안녕하세요.

 

SLASH 22 Day3 머신러닝 팀의 고석현님의 강연을 보고 정리하도록 하겠습니다.

 

토스

금융 서비스 -> 안정성 있는 서비스

보안

빠른 속도

 

어떻게 파이프라인을 잡았는가?

 

기술의 스택은 일정 부분 문화에 해당하는 속성을 가지고 있고 문화와 여건에 맞는 기술을 고르는 것이 중요하다.

 

모델을 서빙을 위한 기본적인 것

 

모델(MLOps) - 모델 저장소(S3 , HDFS) - 실제 서버 자원

 

• 오픈 소스의 도입과 걷어낼 시기를 먼저 계획해야한다.
• 토스는 MLflow의 일부를 토스는 채용

• 사내 라이브러리로 래핑하는 방법이 오픈소스를 도입하는 데에 도움이 된다.

• ONNX 사용시에 오류를 줄이기 위해 표준에 맞는 구현을 실시한다.

ONNX란?
ONNX(Open Neural Network Exchange)는 Tensorflow, PyTorch 와 같이 서로 다른 DNN 프레임워크 환경에서 만들어진 모델들을,서로 호환해서 사용할 수 있도록 도와주는 공유 플랫폼입니다.

 

결과

서비스 안정성 : Production Grade 수준 보장

코어 덤프, 데이터 누수(leakage)가 없음

JVM 생태계 운용

JVM?
Java Virtual Machine 의 줄임말 이며 Java Byte Code를 OS에 맞게 해석 해주는 역할을 합니다