log weekly april 2024 microsoft ai

Microsoft AI Tour in Seoul 참여기

2024년 4월 30일 화요일

Today I Learned

날짜

2024년 4월 30일 화요일

내용

1

너그러운 샐러드랩의 관용덕에 양재에서 열린 마이크로소프트 AI 투어에 다녀왔습니다.

2

아침 8시 30분에 양재 aT센터에 도착했습니다.

3

회사 이름을 넣을줄은 몰랐어요.

img

아침을 주길래 먹었습니다.

가자마자 뭔가 주길래 봤더니 코파일럿 잘 쓰는 법입니다. 참고하세용

img img

img

9시 30분부터 키노트세션이 열렸습니다. 한 4~5천명 온 것 같아요.

img

저 Scott Hanselman님은 마이크로소프트 개발자 커뮤니티의 부사장이십니다. 다행히 각 자리마다 동시통역 오디오가 제공되서 알아듣는데는 성공했습니다. 이 날(4월 30일)부터 코파일럿에 공식적으로 한국어가 지원된다면서 시연을 해주었지만, AI가 100% 헛소리를 해버리는 바람에 대환장파티긴 했습니다. Copilot in Microsoft 365가 공식적으로 한국어 지원을 한다고 하니 엑셀이나 워드, 파포 작업하실 때 쓰시면 좋겠습니다.

SK 이노베이션, LG, NVIDIA에서 오신 분들도 각 회사에 AI를 도입한 방식에 대해 이야기해주었는데 별다른 깊은 얘기는 없었습니다.

한가지 얻은것은 Open Ko-LLM Leaderboard 라는 사이트인데, 한국어를 지원하는 LLM 모델들의 성능 순위를 측정한 사이트라고 합니다. 후술하겠지만 microsoft copilot studio를 사용하실 계획이라면 참고하면 좋습니다.

세션

img

키노트 이후로 처음으로 참여한 세션입니다.

이 세션에서 하는 말은, AI가 B2C가 아닌, B2B로 나아가며 활용되고 있단 이야기였습니다. 예를 들어, AI를 이용해 고객의 고민을 타로를 활용해 답변해주는 서비스를 만든다고 생각해봅시다. 꽤 많은 사람들이 생각하는 AI의 역할은 AI가 질문을 분석하고 답변하는 것이라고 생각합니다. 실제로, ChatGPT로 대화형 AI가 많이 쓰이게 된 이후로 많은 서비스들이 AI가 고객과 맞닿도록 사용해왔습니다. 하지만 마이크로소프트에서 내린 결론은 “생각보다 많은 Use Case들이 나오고 있지 않다”는 것이었습니다.

그 근거로는

  1. AI만으로는 모든 유저 경험을 만들기가 어렵다.
  2. Hallucination 이슈 해소가 어렵다.
  3. 대답이 뻔하다
  4. Fine Tuning에 시간, 돈이 많이 필요하다.
  5. RAG도 한계가 있다.

등이 있습니다.

그래서 B2B가 실제로는 더 많은 효과를 내고 있고 더 적합하다는 평가입니다. 더 구체적으로 말하면 AI가 고민을 해결해주는 것이 아니라, 고민 해결 서비스를 만드는 개발자(사람)가 AI를 사용하는 것이 더 좋다는 의미입니다. 우리가 Copilot, ChatGPT나 Gemini등을 프로그래밍, 기획, 디자인에 활용하는 방식으로 말이죠. 이 세션에서는 AI를 “완벽하지는 않지만 똑똑하고 손빠른 주니어”라고 표현했습니다. 따라서 AI가 상용화된 지금 상황은, 똑똑한 주니어(혹은 알바)를 무제한으로 뽑을 수 있는 환경이 되버렸다고 말했습니다.

인지적 AI는 AI를 사람(회사)이 일 할 때 도움을 주는 형태로 사용한다면, 어떻게 더 잘 도울 수 있을까에 대한 고민에서 출발한 이야기입니다. 인지적 AI는

  1. 어디에 어떤 문제가 있는지 “인지”하는 것에서부터 시작하여
  2. 사람과 조직의 인지적 차원에서의 숨겨진 전문성을 찾아내 AI로 증강시킴으로서
  3. AI와 사람과 코드가 서로 시너지를 낼 수 있는 시스템을 설계

하는게 목적입니다. 사람만 하던 일을, AI를 활용할 수 있도록 개선한다는 의미입니다. 실제로 Microsoft 내에는 Tool smith 조직이 존재하는데, 이 팀은 여러 팀들의 업무 프로세스를 검토하여 AI를 활용할 수 있도록 개선하는 역할이라고 합니다. 15분짜리 짧은 세션인지라, 구체적인 인지적 프롬프팅에 관한 이야기는 유튜브를 참고하시면 더 확실히 이해될거라 생각합니다.

주는 점심 먹고 다른 것 들었습니다. 나만의 코파일럿 만들기를 듣고 싶었는데 선착순에 짤려서 못들었습니다…

img

img

세션 2

img

이 세션은 마이크로소프트 코파일럿 스튜디오의 사용에 관한 세션이었습니다. 대중적으로 많이 쓰이는 ChatGPT도 플러스를 구독하면 나만의 것을 만들수 있지만, 웹에서 스크립트로 직접 제공해야하니 여러모로 불편했습니다. 이 시스템에선 이미지, PDF, 문서 등을 첨부하여 훈련할 수 있습니다. 일례로, 교육공무원에 관한 법령 pdf를 넣고 “초임 교사에 관한 질문”을 하면 이 PDF에서 해당 내용을 알아서 찾아 대답해주고, 어디서 찾았는지도 제공해줍니다. 길들이는데는 ChatGPT보다 훨씬 편해보였습니다. 이 스튜디오를 이용하면 수십가지가 넘는 모델 중 하나를 선택해서 사용할 수도 있고(한국어 모델 있음), 모델을 받아 사용하면 네트워크 연결 없이 비행기 모드에서도 이용할 수 있습니다. 모델은 이미 훈련되어 있는 상태라 웹을 탐색하지 않기 때문입니다. 슬랙이나 다른 플랫폼으로 export 해서 사용할 수도 있구요. 한국어를 사용하고 싶다면

Open Ko-LLM Learderboard를 참고해서 모델을 사용하시면 될듯 합니다.

정말 좋아보여서 저도 사용해보려고 했는데, 링크에서 보니 가격이 27만원이네요..

  • 세션 PPT 사진

    img

    img

    img

    img

    img

    img

느낀점

1. 영어와 한국어는 생각보다 차이가 많이난다.

이미 LLM을 사용하면서 느껴왔던 부분이긴 하지만 확실히 영어로 질문을 작성했을 때가 평균적인 성능이 뛰어났습니다. 심지어 한국어 모델을 지원한다며 시연했던 이 날 세션들에서조차 그게 증명되버렸습니다.. 당분간은 최대한 영어로 질문하고, 그 대답을 한국어로 번역해달라고 2번 요청하는게 더 활용성이 좋을 듯합니다.

LLM이 입력받는 질문은 토큰 단위로 이루어져 있는데, 이 토큰은 구체적인 글자나 형태소라기 보다 더 추상적인 개념입니다. 토큰 수는 LLM이 질문을 받아들이는 데도 영향을 끼치지만 사용하기 위한 가격에도 영향을 끼칩니다. 알파리뷰 글로벌에 있는 AI 리뷰 요약도 비용은 토큰 단위로 발생합니다.

문제는 똑같은 의미의 문장을 작성하기 위해 영어에 비해 한국어가 더 많은 토큰을 소모한다는 것입니다. 마이크로소프트 아시아 팀이 같은 의미를 표현하기 위한 토큰 사용 수를 영어와 비교하는 연구를 진행헀느데 한국어가 약 2.5배 정도로 가장 높았다고 합니다. 예를 들어서, “주말에 놀거리를 추천해줘”라는 질문을 AI에게 할 때 영어가 토큰을 10개를 사용한다면 한국어는 25개를 소모한다는 의미입니다. 심지어 이것도 많은 연구와 노력으로 줄어든 결과라고 합니다. 구체적인 토큰에 관한 내부 로직은 모르겠습니다. 앞으로 더욱 줄이기 위해 노력할거라고 하지만, 당분간은 영어로 쓰는게…

2. 마이크로소프트 시연도 버그가 난다. 많이.

이 날 봤던 모든 세션과 시연에서 의도치 않은 버그나 오작동을 많이 봤습니다. 실망했다, 보기 안좋다 이런 느낌보다는 “저 똑똑하고 대단한 사람들도 예측못한 어려움을 겪는구나”라는 느낌이였달까…

마이크로소프트와 코파일럿에 대해 많이 배울 수 있는 시간이었습니다. 내년에 또 참여한다면 올해와는 더 많이 바뀐 내용이 가득할 듯 싶습니다!

CATALOG
    weekly