본문 바로가기

전체 글

DB? DBMS? DBS? 이 글에서는 데이터베이스의 기본 개념 중 하나인 DB, DBMS, DBS의 용어를 간단하게 정리해보겠습니다. ※ 필자가 공부하면서 혼용되는 개념을 정리했기 때문에 사견이 들어가 틀린 부분도 있을 수 있습니다. ※ DB (Database) 데이터들이 구조적으로 모여있는 하나의 집합, 즉 .db 확장자를 가지고 있는 순수 파일 그 자체를 의미합니다. DBMS (Database Management System) 사용자가 DB를 만들고, 관리할 수 있는 등의 기능을 제공하는 하나의 시스템입니다. (e.g.Mysql, PostgreSQL, SQLite 등등) DBS (Database System) 위에서 정리한 DB, DBMS보다는 조금 생소할 수도 있습니다. 어려운 개념은 아니고 DB + DBMS + 관련된 A.. 더보기
데이터 엔지니어는 무슨 일을 하나요? ※ 필자도 현재 공부하고 있는 사람 중에 하나로서 개인적인 견해가 포함되어 있을 수 있습니다. 최근 데이터 분석가, 엔지니어, 사이언티스트 등 데이터 직군에 대한 관심이 뜨겁습니다. 아마도 여러 산업에서 AI의 관심이 높아지면서 많은 데이터들을 필요로 하고, 많은 데이터들을 다룰 수 있는 데이터 직군에 대한 수요가 올라간 것 같습니다. 글의 주제인 데이터 엔지니어에 대해서 알아보기 전에 먼저 데이터 직군에는 어떤 것들이 있는지 알아보겠습니다. 데이터 직군에는 무엇이 있나요? 우리가 보통 듣게 되는 데이터 직군은 크게 데이터 분석가(Data Analyst, 이하 DA), 데이터 엔지니어(Data Engineer, 이하 DE), 데이터 사이언티스트(Data Scientist, [MLE, DLE 모두 포함하겠.. 더보기
[Git] VCS? CVCS? DVCS? 개발이나 데이터 관련 공부를 하는 사람들이나 직군에 있는 사람들이라면 너무나도 자주 사용하는 소프트웨어가 있습니다. 바로 Git! Git은 우리가 자주 사용하는 대표적인 버전 관리 시스템(Version Control System)입니다. Git과 같은 소프트웨어들을 VCS라고 하는데 VCS 종류에는 어떤 것들이 있는지 어떤 역할을 하는지 다뤄보고자 합니다. (또는 소프트웨어 형상 관리(SCM, Software Configuation Management)라고도 불리기도 합니다.) VCS(Version Control System)이란? 먼저, Git의 공식 문서에서는 VCS를 '파일 변화를 시간에 따라 기록했다가 나중에 특정 시점의 버전을 다시 꺼내올 수 있는 시스템'이라고 정의하고 있습니다. 이렇게 이야기.. 더보기
MLOps = ML + DevOps 저번 글에서는 MLOps가 등장하게 된 배경에 대해서 알아보았고, 이번 글에서는 DevOps의 어떤 점을 ML에 접목시켰는지 알아보겠습니다. 그 전에 DevOps으로 인해서 기존 Software 개발 분야에 어떤 영향을 주었는지 가볍게 살펴보겠습니다. 기존 Software 개발 방식 기존의 ML Project의 진행 방식에서 발생하는 다양한 문제에 대한 비슷한 고민을 해왔던 분야가 있습니다. 바로 소프트웨어 개발 분야입니다. 전통적인 소프트웨어 개발 방식은 아래와 같았습니다. 단 방향 방식의 개발 방식 프로젝트 계획 => 설계 => 구현 => 테스트 => 배포 DevOps의 탄생 하지만 시간이 지나면서 점차 개발 단계에서도 단순히 코드 구현만 하는 것이 아닌 Planning, Build 자동화, Test.. 더보기
MLOps는 왜 등장했을까?? DevOps나 Data Engineer, AI에 대해서 관심이 있으신 분들은 어쩌면 한 번쯤은 MLOps라는 단어를 들어봤을 수도 있을 것 같습니다. 아직은 MLOps가 DevOps나 다른 AI, Data 직군에 비해서 많이 알려지지는 않았지만 앞으로 AI가 여러 기업들에서 많이 사용된다면 중요하게 대두되지 않을까 하는 기대가 있습니다. 이 글에서는 우선 MLOps가 등장하게 된 배경에 대해서 간단하게 알아보겠습니다. 먼저, MLOps가 무엇인지 알아보기 전에 우리가 지금까지 진행했던 ML(머신러닝) 프로젝트 중에서 한 가지를 떠올려 보면서 아래의 질문에 답을 생각해 보세요. ※※ ML 프로젝트를 해봤던 경험이 있다면 이 글을 이해하는 데 많은 도움이 됩니다. (만약에 경험이 없다면 Kaggle의 Tit.. 더보기