다시 이음

안녕하세요. 이번에는 토스 Data Engineer 윤아서님의 강연을 정리하겠습니다. Data Engineer의 고민 1. 효율적인 테이블 검색방법 2. 테이블의 사용처 혹은 생성장소 3. 데이터 품질의 효율적 관리 ---> 토스는 테이블 센터(테이블 정보를 제공하는 서비스)를 통해 해결 테이블 센터의 검색 기능 키워드 검색, 드릴다운 검색(DB타입,서버호스트,테이블스키마,테이블 순으로 점진적 검색), 태그 검색 - 우선순위 적용 테이블명 완전 일치 - 태그/태그 동의어 매칭 - 테이블 설명 매칭 - 테이블 명 매칭 - 칼럼 명/ 설명 매칭 테이블 정보를 가져오는 곳(저장소) 1. 라이브 테이블 정보 수집 - 토스 서비스에서 사용되는 테이블 2. 데이터 웨어하우스 분석 - 하둡 영향도 검색 - DB명과 ..

안녕하세요. 오늘은 데이터 엔지니어링의 기초인 터미널, CLI, Git을 사용하는 방법을 알아보려고 합니다. 이번 한 달은 이론이 아닌 실습이나 Trouble이 생긴 사례를 공유하는 걸 위주로 해야할 거 같아요. 그래도 이해를 위해 짧은 설명을 하면서 진행을 해볼게요. CLI 란? 명령 줄 인터페이스(Command-line interface, CLI, 커맨드 라인 인터페이스) 또는 명령어 인터페이스는 가상 터미널 또는 터미널을 통해 사용자와 컴퓨터가 상호 작용하는 방식을 뜻합니다. 즉, 작업 명령은 사용자가 컴퓨터 키보드 등을 통해 문자열의 형태로 입력하며, 컴퓨터로부터의 출력 역시 문자열의 형태로 주어집니다. 콘솔, 터미널 그리고 쉘 콘솔 서버의 로컬 장치에서 직접 명령어를 작성할 수 있는 입출력 장치..