AI 3건 · 일반 1건
Hugging Face TRL 라이브러리가 v1.14.0으로 업데이트되면서 `trl.losses` 모듈이 완전히 제거되었다. 이전 버전에서 DPO, KTO, GRPO의 손실 계산 로직을 별도로 구현하며 발생했던 버그와 중복을 해결하기 위함이다. 이제 각 트레이너는 자체 손실 함수 코드 내에서 Per-token log-probs를 직접 스트리밍하여 처리하며, 이는 코드 중복을 없애고 잠재적 오류를 방지한다. 이 변경은 코드베이스의 유지보수성을 높이고, 모델 훈련 시 정확성을 보장한다.
영국 정부가 공무원 대상 AI 사용 지침을 발표했다. Gemini Flash를 Pro 대신 사용하고, 프롬프트는 짧게 유지하며, AI에게 감사 표현을 금지하도록 권고한다. 이는 AI 활용의 효율성과 환경 영향을 고려한 결정으로 보인다. AI 기술 발전과 더불어 정부 기관의 책임 있는 AI 사용 방안 모색이 중요해지고 있다.
Qwen3.5-0.8B 모델에 Qwen3.8 Flash-Next의 N-gram 메모리를 이식하여 'Qwengram-0.8B'를 개발한다. 백본과 메모리를 동결한 채 소형 리더만 학습시켜 검증 perplexity를 5.05% 낮춘다. 이는 모델의 기본적인 언어 이해 능력을 향상시키는 방법론이다. 백본 파인튜닝 없이 이뤄진 실험 결과다.
Open source가 단순히 소프트웨어를 제공하는 행위가 아니라, 개발자와 사용자 간 복잡하고 암묵적인 관계를 형성한다는 주장이 제기되었다. 기존의 '오픈소스는 너를 위한 것이 아니다'는 주장에 반박하며, 유지보수자와 이용자 양측의 상호 기대와 책임에 대한 윤리적 논의를 촉구한다. 이는 오픈소스의 비용, 이득, 그리고 윤리적 함의를 명확히 이해할 것을 강조한다.