AI 4건 · 일반 1건
과거 LLM 성능 향상에 필수처럼 여겨졌던 'Think step by step' 프롬프트 기법이 최신 모델에서는 더 이상 효과가 없다. 최신 LLM은 복잡한 추론을 내재화하여, 명시적인 단계별 사고를 요구하는 프롬프트에 오히려 성능 저하를 보인다. 따라서 LLM 활용 시 과거의 프롬프트 전략을 재검토하고 최신 모델의 특성에 맞는 새로운 접근법을 모색해야 한다. 이는 LLM의 발전 속도를 반영하는 중요한 변화점이다.
Microsoft 주도로 235개 기업이 '오픈 웨이트' AI 모델 지지를 표명한다. 이는 미국 정부의 오픈소스 모델 규제 움직임에 대한 반박 성명이다. 안전을 이유로 폐쇄형 모델만 고집하면 오히려 단일 실패 지점이 늘어나고 경쟁이 약화된다는 주장이다. 오픈 웨이트 모델은 커뮤니티가 함께 검증하며 AI 기술 발전을 촉진한다는 점에서 의미 있다.
개인 머신에서 Kimi K3 모델을 구동하기 위한 C99 기반 추론 엔진이 개발되었다. 이 엔진은 8GB RAM 환경에서 Kimi K3 모델을 실행하며, NVMe에서 필요한 전문가(expert)를 온디맨드 로딩하는 방식으로 메모리 사용량을 최소화한다. 8.24GB RSS에서 초당 33토큰, 128GB RAM에서 초당 20토큰의 성능을 보여준다. 이는 대규모 서비스 환경은 아니지만, 아키텍처 이해를 위한 목적으로 제작되었다.
Claude Code의 숨겨진 설정을 사용하면 개발자들이 코드를 더 효율적으로 작성하고 관리할 수 있다. 이 설정은 코드의 가독성을 높이고, 오류를 줄일 수 있다. 또한, 개발자들은 이 설정을 사용하여 코드를 자동으로 생성하고, 테스트할 수 있다. 이 설정은 개발자들이 코드를 더 빠르고, 효율적으로 작성할 수 있도록 도와준다. 개발자들은 이 설정을 사용하여 코드를 최적화하고, 성능을 개선할 수 있다.
Floodgap lab에서 오래된 Apple Workgroup Server 9150을 재구축하기 시작했다. 이 독특한 워크그룹 서버는 Apple Network Server의 이전 모델이다. 시스템 불안정성을 해결하고 MkLinux를 설치하며 커스텀 최적화 과정을 거쳤다. 이는 구형 하드웨어의 잠재력을 재발견하고 특정 운영체제에 맞춰 성능을 극대화하는 사례를 보여준다.