DeepSeek보다 더 나은 모델과 이를 로컬에 설치하는 방법

로컬에 설치할 수 있는 일부 AI 모델

며칠 전 내 파트너 Pablinux 그들에게 말했다 최신 인공지능 모델을 로컬에 설치하는 방법. 이 글에서는 DeepSeek보다 더 나은 모델이라고 생각되는 것들을 나열하고, 이를 컴퓨터에 설치하고 실행하는 방법을 설명하겠습니다.

어떠한 정치적 동조나 반감을 제쳐두더라도 중국 정부의 움직임은 손자병법 수준의 외교적 마케팅의 걸작이었습니다. 도널드 트럼프의 "도자기 속 코끼리" 스타일과는 대조적으로, 그들은 ChatGPT와 동일한 기능을 무료로 제공하고 더 적은 리소스를 소모하는 모델을 발표했습니다. 이 주제를 따르는 우리들만이 알고 있습니다. 오랫동안 다른 오픈소스 모델(Meta와 같은 북미 회사의 모델도 있음)이 많이 있었지만, DeepSeek의 성능은 가장 일반적인 5%의 사용 범위에서만 ChatGPT와 비교할 수 있습니다.

대규모 언어 모델

ChatGPT, DeepSeek 및 기타 모델은 대규모 언어 모델이라고 합니다. 원래 사용자는 이를 통해 다른 사람과 소통하는 데 사용하는 것과 유사한 언어로 컴퓨터와 상호 작용할 수 있습니다. 이를 달성하기 위해, 그들은 방대한 양의 텍스트와 규칙을 통해 훈련을 받으며, 이를 통해 이미 가지고 있는 정보에서 새로운 정보를 만들어낼 수 있습니다.
주된 용도는 질문에 답하고, 텍스트를 요약하고, 번역하고, 내용을 재생성하는 것입니다.

DeepSeek보다 더 나은 모델과 이를 로컬에 설치하는 방법

Pablinux와 마찬가지로 Ollama를 사용할 것입니다. 이는 Linux 터미널에서 다양한 오픈 소스 모델을 설치, 제거 및 사용할 수 있게 해주는 도구입니다. 어떤 경우에는 브라우저를 그래픽 인터페이스로 사용할 수도 있지만, 이 글에서는 이에 대해 다루지 않겠습니다.

Ollama가 적절한 사용자 경험을 제공하려면 전용 GPU를 사용하는 것이 가장 좋습니다.특히 매개변수가 더 많은 모델에서 그렇습니다. 하지만 성능이 낮은 모델도 Raspberry Pi에서 사용할 수 있으며, 전용 GPU가 없고 7GB 메모리가 있는 컴퓨터에서 6억 개의 매개변수가 있는 모델을 테스트했을 때, 컴퓨터는 아무런 문제 없이 작동했습니다. 13억 중 XNUMX명에게는 같은 일이 일어나지 않았습니다.

매개변수는 모델이 데이터 간의 관계를 구축하고 패턴을 구성하는 데 사용하는 규칙입니다. 매개변수와 데이터가 많을수록 모델은 더욱 강력해지고, 매개변수가 적은 모델은 타잔처럼 스페인어를 구사합니다.

다음 명령어를 사용하여 Ollama를 설치할 수 있습니다.
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh

다음 명령으로 모델을 설치할 수 있습니다.
ollama pull nombre_del modelo
다음을 사용하여 실행합니다.
ollama run nombre_del_modelo
다음을 사용하여 제거합니다.
ollama rm nombre_del_modelo
다음을 입력하면 설치된 모델을 볼 수 있습니다.
ollama list

다음은 내가 가장 흥미롭게 생각하는 모델의 간단한 목록입니다. 사용 가능한 모델의 전체 목록은 여기에서 확인할 수 있습니다. 여기에:

llama2-검열되지 않음

라마는 Meta가 만든 범용 모델입니다. 이 버전에서는 원래 프로젝트 개발자가 법적 또는 정치적 이유로 도입한 모든 제한이 제거되었습니다.. 이 제품에는 8GB로 관리하는 가벼운 버전과 64GB가 필요한 전체 버전의 두 가지가 있습니다. 질문에 답하거나, 텍스트를 쓰거나, 코딩 작업에 사용할 수 있습니다.
다음과 함께 설치:
ollama pull llama2-uncensored
그리고 이것은 다음과 같이 실행됩니다:
ollama run llama2-uncensored

코드젬마

CodeGemma는 다양한 프로그래밍 작업을 수행할 수 있는 가볍지만 강력한 템플릿 모음입니다. 코드를 완성하는 방법 또는 처음부터 작성하는 방법. 자연어를 이해하고, 지시를 따르고 수학적 추론이 가능합니다.

이 제품은 3가지 변형으로 제공됩니다.

  • 지시: 자연어를 코드로 변환하고 다음과 같은 지침을 따를 수 있습니다.
  • 암호:  기존 코드의 일부를 완성하고 코드를 생성합니다.
  • 2b : 더 빠른 코드 완성 작업.

티닐라마

이름에서 알 수 있듯이, 원래 Meta 모델의 소규모 버전입니다.. 따라서 좋은 결과는 나오지 않겠지만, 인공 지능 모델이 적당한 하드웨어에서 어떻게 작동하는지 알아보고 싶다면 시도해 볼 만한 가치가 있습니다. 매개변수는 1100억 개에 불과합니다.

모델을 지역적으로 사용하면 개인정보 보호와 검열되지 않고 편파적이지 않은 버전에 대한 접근이라는 장점이 있지만, 어떤 경우에는 터무니없는 결과로 끝나는 경우가 있습니다. 마이크로소프트의 AI는 "bitch"라는 용어가 모욕적이라고 여겨져 닥스훈트 이미지를 만들어 주는 것을 거부했습니다. 가장 큰 단점은 하드웨어 요구 사항입니다. 여러 모델을 시험해 보고, 필요에 맞고 보유한 장비에서 작동할 수 있는 모델을 찾는 것이 중요합니다.


코멘트를 남겨주세요

귀하의 이메일 주소는 공개되지 않습니다. 필수 필드가 표시되어 있습니다 *

*

*

  1. 데이터 책임자 : Miguel Ángel Gatón
  2. 데이터의 목적 : 스팸 제어, 댓글 관리.
  3. 합법성 : 귀하의 동의
  4. 데이터 전달 : 법적 의무에 의한 경우를 제외하고 데이터는 제 XNUMX 자에게 전달되지 않습니다.
  5. 데이터 저장소 : Occentus Networks (EU)에서 호스팅하는 데이터베이스
  6. 권리 : 귀하는 언제든지 귀하의 정보를 제한, 복구 및 삭제할 수 있습니다.