본문 바로가기

MLOps

(2)
파이썬 프로젝트를 위한 가상환경 설정 1 : conda, venv 가상환경의 필요성 가상환경이란 Python 프로젝트 별로 독립적인 실행 환경을 만드는 도구입니다. 가상환경을 통해 서로 다른 파이썬 버전과 패키지 조합을 가진 프로젝트를 여러 개 관리할 수 있습니다. 처음 데이터 분석을 배우게 되면 설치된 파이썬 버전에 맞춰 패키지를 설치하게 되는데요. 이후 여러 프로젝트를 진행하다보면 프로젝트에서 요구하는 특정 라이브러리에 따라 파이썬 버전도 다르게 설치해야 하고, 라이브러리와 종속된 패키지 버전을 따로 관리해줘야 합니다.  예시 그림과 같이 프로젝트 A에서 필요한 pandas 라이브러리를 1.3 버전으로 설치했고, 그에 따라 numpy 라이브러리가 1.20.3 버전으로 설치되었을 때, 이후 프로젝트 B에서 필요한 라이브러리의 종속된 numpy 버전이 기존 설치된 Nu..
[LLM] GCP 이용해 LLM 환경 구축하기 ChatGPT의 등장으로 대규모 언어 모델, LLM(Large Language Model)이 주목받으면서 LLM 관련 공모전과 사이드 프로젝트가 점차 많아지고 있다. LLM에 대한 관심은 DACON 기준 참여인원수를 통해서도 확인할 수 있다. 정형데이터를 이용한 회귀와 분류모델 관련 공모전에도 보통 1,000~1,500여 명 정도 참가하는데, 2024년 진행했던 '도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회'에는 1,454명이 참여하였고, '재정정보 AI 검색 알고리즘 경진대회'도 1,060명이 참여하였다. 이러한 수치는 새로운 기술에 대한 관심이 그만큼 뜨겁다는 것을 보여준다.  올해 LLM에 관심이 생겨 위에 언급된 두 공모전에 참가하게 되었는데, 그때마다 LLM을 Fine-tunin..