[Feature] Chat에 WebLLM혹은 Prompt API 방식 제공.

[SimYunSup]

헤더의 Chat버튼을 누르면 OpenRouter 외에 WebLLM이나 Prompt API를 사용하는 방식으로 제공할 수 있으면 좋겠습니다.

예시 시나리오

• 헤더의 Chat 버튼 클릭
• Select로 방식을 선택 후 주의사항 안내 후 확인
• JS를 통해 WebLLM or Prompt API를 호출.

[rkttu]

모두 다 흥미로운 접근 방법이라고 생각합니다. 다만 아래와 같은 이유로 OpenRouter를 우선으로 택하게 되었는데, 향후에 개선되는 점이 명확해지면 채택을 도입해보려 합니다.

• WebLLM: 초기에 모델을 불러오는 과정에서 네트워크 대역폭 소비, 메모리 소비 등이 큰 편이라 범용성이 떨어진다고 봤습니다.
• Prompt API: 제가 이해하기로 제안해주신 내용은 Google Chrome 독점 기능인 것으로 알고 있습니다. Chromium의 경우 호환되는 기능을 제공하긴 하지만 기본적으로 옵션이 비활성화되어있어, Edge, Opera, Vivaldi 등의 Chromium 기반 브라우저 제조사들이 이 API를 각 개발자들의 사정에 따라 채택하지 않을 가능성이 높아 역시 범용성이 떨어진다고 봤습니다. (추가로 Firefox 지원 가능성까지 생각하면 더욱 채택하기 어렵다고 생각했습니다.)

[rkttu]

Disclaimer/주의 사항 고지 부분의 경우, 현재 고지하고 있는 방식에 추가로 버튼을 클릭했을 때 한 번 더 warning window를 띄워서 알리는 방식을 추가해보겠습니다. 👍