웹 개발자가 바라본 AI 개발이란?

AI 개발이 핫하다. AI 개발이 어떻게 돌아가는지는 알아야 새로운 소식을 듣고 쫓아갈 텐데... 웹 개발자 시선으로 AI 개발에 대해 정리해보자.

요즘 여러 LLM 이 출시되면서 AI 개발이 궁금해졌다.

트렌드에 쫓아가야 하는데 한 번도 경험하지 않은 개발이다 보니 뉴스레터를 통해 접해도 잘 이해되지 않는다.

이에 대해 기초적인 내용을 정리해보자. 1:1 매칭은 안되겠지만 웹 개발자 시선으로 맵핑해서 다른 개발자도 이해하기 쉽도록 정리해보자.

개념 정리

caution

얕게 살펴본 개념이며 틀릴 수 있습니다.

• Model
  • 라이브러리? 같은 것으로 볼 수 있음 왜냐면 어디든지 붙여서 사용할 수 있으니까
  • 하나의 구현체임
  • 여러 Model이 있지만 가장 각광 받고 있는 형태는 LLM 임
  • LLM은 여러 언어를 학습한 것이기 때문에 AI로 뭔가 만들 때 챗봇 이런 언어적인 것들이 많이 등장하는 것이었음
• Hugging Face (허깅 페이스)
  • Model 올리고 공유하는 곳인데 하나의 인스턴스가 올라간다는 점에서 Docker Hub와 유사하다고 볼 수 있음
• LangChain (랭체인)
  • 프레임워크? 같은 것으로 볼 수 있음
  • 더 나아가면 interface라고도 볼 수 있을 듯
  • 왜냐면 여러 도구 체인을 묶어서 하나로 연결해주기 때문임
  • 각광받는 LLM에 여러 정보를 넣고 싶을 때 해당 도구를 사용하면 손쉽게 할 수 있어서 각광 받는 중
• Ollama (올라마)
  • 플랫폼, 런타임 환경이라고 생각할 수 있음
  • 모델을 로컬에서 실행할 수 있도록 만들어줌
• 메타의 라마(LLaMA) 모델
  • 여러 LLM 모델 중 성능이 좋고 오픈된 것이라 인기가 많음

요약

정말 단순하게 AI 개발이라고 하면

• 처리할 데이터를 정하고
• 모델을 만들 수 있으면 모델을 만드는 것이고
• 모델을 사용한다면 모델이 잘 처리할 수 있도록 데이터 전처리 과정을 거쳐서 여러 모델과 랭체인으로 연결하여 하나의 목표(비즈니스)를 위한 AI를 만든다라고 볼 수 있다.

AI 를 사람이라고 생각한다면 그 사람에게 어떤 일을 시킬지 디테일하게 조정하는 작업이라고도 볼 수 있다.

사실 더 심오하게 들어가면 모델 만드는 방법, 파인튜닝 등 많지만 아주 얕게 살펴보았다.