최근 몇 주 사이 IT 뉴스를 보면 “거대 AI”보다 “작은 AI”가 자주 눈에 띕니다. 대형 언어모델(LLM) 경쟁이 한창인 와중에, 정작 실무에 더 가까이 다가온 것은 스마트폰이나 노트북, 사내 서버에서 인터넷 연결 없이도 돌아가는 소형 언어모델, 이른바 sLM입니다. sLM 온디바이스 AI 중소기업 도입을 이제는 막연한 미래 이야기가 아니라 올해 안에 검토해볼 만한 선택지로 보는 시각이 늘고 있습니다. 이번 글에서는 이 흐름이 왜 지금 주목받는지, 그리고 픽셀앤코드처럼 B2B·B2G 업무를 하는 중소기업 입장에서 어떤 점을 먼저 점검해야 하는지 정리해보겠습니다.
sLM이 뭔가요, LLM과 뭐가 다른가요
sLM은 대략 수억에서 백억 단위 매개변수를 가진 경량 언어모델로, 스마트폰이나 노트북, 사내 서버처럼 상대적으로 작은 컴퓨팅 자원에서 인터넷 연결 없이 직접 실행할 수 있다는 점이 가장 큰 차이입니다. 반면 지금까지 익숙한 ChatGPT나 Claude 같은 대형 LLM은 데이터센터급 고성능 GPU가 있어야 돌아가고, 우리가 입력한 데이터는 외부 서버로 전송되어 처리됩니다. sLM은 그 반대로, 모델을 기기 안에 내려받아 두면 이후로는 인터넷 연결이나 외부 서버 없이 로컬에서 추론이 이루어집니다.
최근 발표된 모델들의 성능을 보면 이 격차가 빠르게 좁혀지고 있습니다. 마이크로소프트의 경량 모델은 자기보다 훨씬 큰 모델을 수학과 코딩 영역에서 앞서는 결과를 보였고, 구글의 경량 모델 역시 이전 세대의 훨씬 큰 모델과 비슷한 수준의 성능을 학습 벤치마크에서 보여주었습니다. 업계에서는 3B~8B 파라미터 규모가 온디바이스의 실질적인 표준으로 자리잡고 있으며, 문서 요약이나 번역, 코드 검토 같은 일상 업무는 이 수준으로도 충분하다고 보는 분위기입니다. 국내에서도 통신사와 가전업체들이 자체 경량 모델을 스마트폰, 냉장고, 로봇 청소기 등에 탑재하는 사례가 늘고 있고, 실제로 한 스마트폰 제조사는 최근 900MB 용량에 한국어를 지원하는 초경량 추론 모델을 공개하기도 했습니다.
sLM 온디바이스 AI 중소기업 도입, 왜 지금 얘기가 나올까요
핵심은 비용과 데이터 보안입니다. 클라우드 API 요금은 사용량에 따라 매달 달라지고 예측이 어려운 반면, sLM은 한 번 도입하면 사용량이 늘어도 추가 비용이 거의 발생하지 않습니다. 또한 고객 정보나 제안서 초안, 계약서 같은 민감한 자료를 외부 서버로 보내지 않고 회사 내부에서 처리할 수 있다는 점이 중소기업 실무자에게 특히 매력적으로 다가옵니다.
2026년 1월 시행된 AI기본법 이후 국내 기업들의 AI 데이터 처리 관련 규제 준수 부담이 커지면서, 민감 정보를 다루는 조직일수록 온디바이스 전환을 검토하는 사례가 늘고 있다는 분석도 나옵니다. 특히 B2G 업무처럼 공공기관 데이터나 개인정보를 다루는 경우, 클라우드로 데이터가 나가지 않는다는 점 자체가 보안 심사에서 유리한 조건이 될 수 있습니다. 실제로 병원처럼 환자 데이터가 외부로 나가면 안 되는 업종에서는 sLM을 내부 서버에서 돌려 규제 준수와 AI 활용을 동시에 달성하려는 시도가 이어지고 있습니다.
클라우드 AI는 이제 필요 없나요
아닙니다. sLM이 만능은 아닙니다. 복잡한 추론이나 방대한 문서를 종합해 전략 보고서를 작성하는 일, 여러 단계를 거치는 에이전트형 작업은 여전히 클라우드의 대형 모델이 훨씬 낫습니다. sLM은 특정 업무에 특화된 반복 작업, 예를 들어 정형화된 문서 초안 작성이나 간단한 분류, 요약처럼 좁고 명확한 범위의 일에서 강점을 보입니다. 실무에서는 두 가지를 함께 쓰는 하이브리드 구조가 현실적인 답이 될 가능성이 큽니다. 민감하지 않은 복잡한 분석은 클라우드 LLM에, 민감한 정형 업무는 로컬 sLM에 나눠 맡기는 방식입니다.
이런 판단을 하기 전에 회사 내부적으로 AI 도구 전반에 대한 기준을 세워두는 것도 중요합니다. 사내 AI 사용 가이드라인 만드는 법에서 다룬 것처럼 데이터 등급별로 어떤 도구를 쓸지 미리 정해두면, sLM 도입 여부를 판단할 때도 기준이 명확해집니다. 또한 최근 확산된 섀도우 AI 회사 대응 방법에서 지적했던 것처럼, 직원들이 개인적으로 외부 AI 도구에 민감한 자료를 입력하는 문제도 온디바이스 AI가 부분적인 해법이 될 수 있습니다.
실무에서 확인할 도입 체크포인트
막상 sLM 도입을 검토하려면 몇 가지 현실적인 질문에 먼저 답해야 합니다.
첫째, 우리 회사에서 반복되는 업무 중 “민감하지만 단순한” 업무가 있는가입니다. 예를 들어 매번 비슷한 형식의 견적서 초안을 작성하거나, 내부 문서를 요약해 보고서로 만드는 일처럼 패턴이 정해진 업무라면 sLM이 잘 맞습니다.
둘째, 하드웨어 준비 상태입니다. 최근 노트북과 PC에는 NPU(신경망 처리장치)가 탑재된 이른바 AI PC가 늘고 있는데, sLM을 원활하게 돌리려면 이런 하드웨어 지원이 필요합니다. 기존 장비로 무리해서 돌리면 속도가 느려 실무에 오히려 방해가 될 수 있습니다. AI PC 지금 바꿔야 할까요에서 다룬 판단 기준을 참고하면 교체 시점을 가늠하는 데 도움이 됩니다.
셋째, 유지보수 인력입니다. 클라우드 API는 공급사가 모델을 계속 업데이트해주지만, 로컬에 설치한 sLM은 회사가 직접 모델을 교체하고 관리해야 합니다. 별도 개발 인력 없이 도입하면 얼마 지나지 않아 구버전 모델을 방치하게 되는 경우가 많습니다.
# 로컬 sLM 실행 예시 (Ollama 활용, 개념적 예시)
# 1. 모델 다운로드
ollama pull phi4-mini
# 2. 로컬에서 프롬프트 실행 (인터넷 연결 불필요)
ollama run phi4-mini "다음 견적서 초안을 표준 양식으로 정리해줘: ..."위 예시처럼 실제로는 오픈소스 런타임을 활용해 사내 서버나 개인 PC에 모델을 내려받아 실행하는 방식이 일반적입니다. 다만 이런 환경을 구축하고 운영하려면 초기 세팅과 이후 관리를 담당할 주체를 정해두어야 실제 업무에 안정적으로 쓸 수 있습니다.
정리하며
sLM 온디바이스 AI 중소기업 도입은 아직 이르다고 느껴질 수도 있지만, 데이터 보안과 비용 예측 가능성이라는 두 가지 이유만으로도 검토할 가치가 충분합니다. 다만 모든 업무를 sLM으로 옮기려 하기보다는, 우리 회사의 어떤 반복 업무가 “민감하면서도 단순한” 성격을 가지고 있는지부터 파악하는 것이 먼저입니다. 픽셀앤코드는 맞춤형 소프트웨어 개발과 데이터 가공 업무를 하면서 이런 온디바이스 AI 환경 구축과 사내 업무 자동화를 함께 고민하고 있으며, 필요하신 기업이 있다면 현재 업무 환경에 맞는 도입 범위를 함께 점검해드릴 수 있습니다.