Development
-
Qwen3.8-27B MTP(Multi-Token Prediction) 서빙 최적화 및 벤치마크 분석
안내: 본 벤치마크 결과는 테스트에 사용된 특정 하드웨어 구성 및 서빙 엔진 버전에 기반한 측정치이다. 실제 구동 환경, 네트워크 인터커넥트 및 워크로드 특성에 따라 성능 수치와 최적 파라미터가 달라질 수 있으므로 참고용 데이터로 활용하는 것을 권장함. 1. 테스트 환경 및 평가 구성 Qwen3.8-27B 모델을 대상으로 정밀도별 추론 성능과 MTP(Multi-Token Prediction) 투기적 디코딩(Speculative Decoding) 적용 시의… Continue reading
-
OpenCode V2 Auto-Compaction 메커니즘과 Buffer 설정 가이드
OpenCode V2는 장시간 이어지는 코딩 세션에서 컨텍스트 윈도우 한도를 초과하지 않도록 자동 압축(Auto-Compaction) 기능을 기본 제공한다. 이전 대화 기록을 손실 없이 영구 저장하면서도 모델이 바라보는 활성 컨텍스트를 구조화된 요약본(Checkpoint)으로 치환하여 가용 토큰을 확보하는 방식이다. 본 글에서는 OpenCode V2의 컴팩션 동작 원리와 통합 트리거 수식을 살펴보고, 컨텍스트 관리 및 오버플로우 방지의 기준점이 되는 buffer와 limit.input의 역할… Continue reading
-
OpenCode에서 Qwen3.8 27B xhigh 추론 토큰 한계와 Auto-Compaction 최적화 설정
OpenCode 환경에서 vLLM 기반 OpenAI 호환 엔드포인트를 연결하여 사용할 때, 모델의 추론(Reasoning/Thinking) 강도와 토큰 제한 설정에 따라 예기치 않은 중단 현상이 발생할 수 있다. 특히 Qwen3.8 27B 모델의 xhigh reasoning 모드를 활용하여 복잡한 코드 수정을 요청할 경우, 60,000 토큰 이상의 대규모 추론 연산이 발생한다. 본 글에서는 기존 32k 출력 제한 환경에서 발생한 무응답 대기 문제의… Continue reading
-
opencode에서 vLLM Reasoning Effort(variants) 설정 및 TUI 단축키(Ctrl+T) 전환 가이드
OpenCode는 터미널 환경에서 대규모 언어 모델(LLM)을 활용할 수 있도록 지원하는 AI 코딩 CLI 도구다. 최근 DeepSeek-R1, DeepSeek V4 Flash, Qwen3.8 등 추론(Reasoning / Thinking) 특화 모델의 활용이 보편화되면서, 수행하려는 작업 난이도에 맞춰 추론 강도(Thinking Budget, 사고 예산)를 유연하게 조절해야 할 필요성이 커졌다. 단순한 코드 포맷팅이나 사소한 오타 수정 시에는 추론 강도를 낮춰 토큰 소모와 응답… Continue reading
-
C# async/await — ConfigureAwait, SynchronizationContext, ContinueWith
WPF 앱에서 Task.ContinueWith + Unwrap()으로 짜여있던 비동기 커맨드 체인을 async/await로 리팩터링하다가, Application.Current.Dispatcher.Invoke를 왜 지워도 되는지, ConfigureAwait(false)가 정확히 어디까지 영향을 주는지 헷갈려서 정리한 내용이다. 나중에 다시 헷갈릴 때 이 글부터 다시 읽는다. 1. ContinueWith + Unwrap이 필요했던 이유 아래처럼 커맨드 하나가 여러 비동기 작업을 순서대로 거치는 코드가 있었다. 장비 상태를 확인하고, 통과하면 다음 상태를 확인하고, 그것도… Continue reading
-
자체 호스팅 Redis(TCP)에서 Upstash(REST)로 마이그레이션하기
기존 Docker 환경의 자체 호스팅 Redis(node-redis v4 기반 영속 TCP 연결)에서 서버리스 환경에 최적화된 Upstash Redis(REST API 기반)로의 마이그레이션 과정과 주요 주의사항을 다룬다. 1. 개요 및 배경 bad-goose 백엔드는 redis(node-redis v4) 라이브러리를 통해 도커 컴포즈 내부의 Redis 컨테이너에 TCP 연결을 유지하며 크롤링된 차트 데이터를 저장 및 조회했다. 서버리스 함수 환경에서는 영속 TCP 연결 유지가 불가능하며… Continue reading
-
NestJS 애플리케이션을 Vercel Serverless Functions로 배포하기
기존 Docker 및 단일 서버 환경에서 상시 구동되던 NestJS 백엔드 애플리케이션을 Vercel Serverless Functions 환경으로 전환 배포하면서 해결한 구조적 제약 사항과 설정 방법을 다룬다. 1. 개요 및 배경 기존에는 docker-compose 또는 독립 VM 환경에서 app.listen(4000) 형태로 프로세스가 상시 구동되며, @nestjs/schedule의 @Cron 데코레이터를 활용해 주기적인 배치 작업을 수행하는 아키텍처가 일반적이었다. 이를 Vercel Serverless Functions 환경으로 이전하는… Continue reading
-
opencode에 vLLM Provider 추가하기: 커스텀 OpenAI-호환 엔드포인트 설정 가이드
opencode는 provider를 models.dev 카탈로그에 등록된 목록 안에서만 대화형 로그인(opencode providers login)으로 추가할 수 있다. vLLM처럼 직접 띄운 OpenAI-호환(OpenAI-compatible) 엔드포인트는 이 카탈로그에 없기 때문에 로그인 명령만으로는 등록되지 않는다. 이 글에서는 opencode에 vLLM provider를 등록하는 전체 과정을, curl로 서버 정보를 미리 수집하는 단계부터 정리한다. 1. 왜 providers login 커맨드로는 안 되는가 opencode CLI 바이너리를 뜯어보면 provider 선택… Continue reading
-
WordPress.com 무료 플랜을 위한 MCP 대체 포스팅 자동화 스킬 구축 전략
WordPress.com 무료 플랜을 위한 MCP 대체 포스팅 자동화 스킬 구축 전략 1. 개요 및 배경 LLM 에이전트 환경에서 외부 도구를 연동할 때 MCP(Model Context Protocol) 표준 서버를 활용하는 방식이 많이 사용된다. 그러나 WordPress.com 무료 플랜 환경에서는 무거운 MCP 서버를 직접 호스팅하거나 관리하는 데 인프라 비용 및 복잡성이 발생한다. 본 포스트에서는 전용 MCP 서버를 구동하는 대신,… Continue reading
