Noema: Local AI & Offline LLM

Noema는 대규모 언어 모델의 지능을 모든 기기에서 완전히 오프라인으로 사용할 수 있게 해줍니다. Hugging Face에서 경량 모델을 직접 다운로드하고, 지원되는 원격 엔드포인트에 연결하며, 엄선된 교과서와 자신의 PDF 또는 EPUB 파일을 모델과 함께 활용할 수 있습니다. 개인정보 보호를 우선하는 설계 덕분에, 로컬에서 실행할 때는 iPhone, Mac, visionOS 어디에서든 데이터가 기기 밖으로 나가지 않습니다.

- 네이티브 macOS 앱: macOS에 자연스럽게 어울리도록 새롭게 구성된 인터페이스로 데스크톱에서 완전한 Noema 경험을 실행하세요.

- visionOS 지원: 공간 컴퓨팅 환경에서 Noema를 사용하고, 작업 공간 곳곳에 창을 배치할 수 있습니다.

- Noema Relay: CloudKit을 통해 iPhone을 Mac에 연결하여 로컬 Wi-Fi 없이도 한 기기는 모델을 호스팅하고 다른 기기는 클라이언트가 될 수 있습니다.

- 모델 비전 지원: 프롬프트에 사진을 첨부하고 멀티모달 모델을 사용해 온디바이스 이미지 이해와 분석을 수행할 수 있습니다.

- Open Textbook Library 통합: 내장된 Explore 보기에서 전체 교과서를 탐색하고 가져올 수 있으며, Noema가 이를 로컬에 인덱싱하여 필요할 때 관련 구절을 검색하고 불러올 수 있습니다.

- 나만의 데이터 추가: PDF 또는 EPUB 형식의 개인 문서를 추가하면, 온디바이스에서 임베딩 및 인덱싱되어 검색 증강 생성에 활용됩니다.

- 통합 Hugging Face 검색: Hugging Face Hub에서 양자화된 모델을 찾아 설치할 수 있으며, 원탭 설치, 자동 의존성 관리, 실시간 다운로드 진행 상황을 제공합니다.

- 원격 모델 지원: OpenRouter와 LM Studio를 포함한 지원되는 원격 엔드포인트에 연결할 수 있으며, LM Studio REST v1 호환성 업데이트와 Explore를 통한 더 매끄러운 모델 다운로드 흐름을 제공합니다.

- 확장된 모델 런타임 지원: GGUF, MLX, ExecuTorch, CoreML, 그리고 Apple Foundation Model 지원을 통해 모델을 실행할 수 있어 Apple 하드웨어에서 더욱 유연한 온디바이스 옵션을 제공합니다.

- RAM 확인 및 모델 크기 도우미: 내장 도우미가 각 모델의 메모리 사용량을 추정하고 기기 예산에 맞는지 보여주며, RAM에 맞는 최대 컨텍스트 길이도 추정할 수 있습니다.

- 고급 사용자를 위한 설정: 컨텍스트 길이, 양자화, GPU 가속을 세밀하게 조정하고, 내장 검색 및 기타 기능을 위한 도구 호출을 활성화하며, 최적의 성능을 위해 모델 매개변수를 맞춤 설정할 수 있습니다.

- 내장 도구 호출 및 Python 지원: Python을 포함한 통합 도구를 사용하여 더 고급 워크플로를 위한 모델 기능을 확장할 수 있습니다.

- 내장 검색 및 RAG: 통합 검색 도구와 검색 증강 생성을 사용해 컨텍스트 한도에 부딪히지 않고 자신의 데이터를 질의할 수 있습니다.

- 현지화 업그레이드: Noema를 10개 언어로 경험할 수 있어, 국제 팀도 자신에게 맞는 인터페이스에서 작업할 수 있습니다.

- 기본적으로 비공개 및 오프라인: 로컬 모델은 전적으로 기기에서 실행되며, 연결된 원격 제공자를 직접 선택하지 않는 한 대화와 파일은 기기 안에 머무릅니다.