'Study/AI' 카테고리의 글 목록

Study/AI (9)

[개발자의 시선으로 보는 머신러닝 2-1편] 랜덤 포레스트로 예측, 분류 한번씩 해보기

Study/AI 마이쮸(mychew__) 2020. 7. 13. 00:57

들어가기 전에 지난 포스팅에서 의사결정나무와 랜덤포레스트를 이용한 분류 모델을 만들었습니다. 트리 형태의 머신러닝 모델이 분류에서만 사용될 것 같이 보이나 예측에도 충분히 사용될 수 있다는 사실! 데이터의 특성에 따라 어떨 때는 타 모델보다 높은 성능을 보여줄 때도 있습니다. 이번 포스팅에서는 실제 사용되는 데이터를 가지고 랜덤포레스트 모델을 활용한 예측 및 분류를 해볼 텐데요. 더미 데이터가 아니라 실제 데이터이기 때문에 업무에서 머신러닝이 어떻게 사용될 수 있는지 알아볼 수 있는 기회가 될 수 있으면 좋겠습니다. 데이터 살펴보기 AI 업무를 할 때 가장 중요한 데이터를 먼저 살펴보겠습니다. 데이터와 소스는 github에 올려놨습니다. https://github.com/tkdlek11112/AI_by_..

[개발자의 시선으로 보는 머신러닝 2편] 의사결정나무, 랜덤포레스트를 이용한 분류

Study/AI 마이쮸(mychew__) 2020. 6. 21. 00:54

유튜브 - 자세한 설명은 유튜브에~ 빠르게 보고싶은 분은 영상 생략 가능~! 들어가기 전에 1편보다 2편을 먼저 쓰는 신기한 포스팅입니다. ㅋㅋㅋ 1편은 나중에 쓸라고... 참고로 1편 내용은 선형 회귀와 로지스틱 회귀. AI를 사용하는 사람들이 하는 고민중에 하나는 AI 모델들이 너무 블랙박스라는 점입니다. 내부의 모델이 어떻게 되어있는지 명시적으로 알지 못하고, 학습을 진행한 모델이 알아서 예측해주는 값을 이용하기 때문에 도대체 왜 이런 값들을 이렇게 예측했지?라는 의문점이 들 때가 많아요. 예를 들어 선형회귀 모델은 y = ax + b라는 공식을 만들고 사용자가 수많은 (x, y) 데이터를 집어넣어서 최적화된 a, b값을 찾습니다. 모델이 a = 3, b = 4라고 학습했다면 x = 4라는 값을 집..

FAQ 챗봇 만들기 [4] - 실제 서비스 구현해보기

Study/AI 마이쮸(mychew__) 2020. 2. 15. 19:27

들어가기 전에 지난 3개의 포스팅에서 FAQ 챗봇을 만들기 위해 질문이 들어오면 그에 대해 알맞은 답을 찾아주는 모델을 만들어보았습니다. 모델만 만들다 보니 실제적으로 챗봇은 어떻게 구현되는지, 서비스를 어떻게 만드는지, 정말 챗봇을 만들 수 있긴 한 건지라는 생각이 들 수 있습니다. ㅎ_ㅎ 개발자가 머신러닝(ML)이나 딥러닝(DL)을 배울 때 가장 어려운 부분이라고 저는 생각하는데, 기본적으로 ML/DL로 모델을 만드시는 분들은 모델의 성능을 중요시하지 그 모델로 뭔가 인풋 아웃풋이 있는 서비스를 생각하지 않습니다. 하지만 개발자들은 인풋 아웃풋이 명확한 프로그램을 만드는 것을 목적으로 하죠. 따라서 개발자인 분들이 AI수업을 들으면 기대한 수업의 흐름이 원하는 것과 달라서 많이 혼돈스러워합니다. 저도..

프로그래머즈 Dev-Matching - 머신러닝(자연어처리) 개발자 챌린지 해보기

Study/AI 마이쮸(mychew__) 2020. 2. 1. 17:20

들어가기 전에 예전에 알고리즘 문제풀이만 제공했던 프로그래머즈라는 사이트가 채용 서비스를 지원하면서 이런 저런 과제를 제공해 과제 해결 능력을 보고 사람을 뽑는 채용 방법이 새로 생겼다. 최근 몇 개의 과제들을 살펴봤는데 서버쪽의 경우 대부분 API서버를 만들어서 제출하는 것이었고, 클라이언트의 경우 제공되는 API서버를 이용해 클라이언트 앱을 만들어 제출하면 된다. 과제 난이도는 그렇게 어렵지 않게 보였는데, 얼마나 지원하는지, 어떻게 채점하는지가 투명하지 않아 잘 모르겠다. ㅋㅋㅋ 이번에 머신러닝 채용 챌린지가 생겨서 신청해 봤는데 뭔가 문제가 어설프게 보이는 이유는 뭘까... 과연 이 문제를 누가 냈으며 과제 설명 페이지를 누가 만들었고 검토는 한건지 의문이 든다. 사실 돈을 내고 이용하는 서비스도..

FAQ 챗봇 만들기 [3] - 많은 데이터로 실험해보기

Study/AI 마이쮸(mychew__) 2019. 11. 22. 23:33

들어가기 전에 지난 시간에 한국전력공사의 FAQ데이터를 가지고 모델을 만들어 보았습니다. 그런데 생각보다 성능이 구렸(?)어요 ㅠㅠ 모델의 문제인지 데이터의 문제인지.. 일단 데이터가 너무 적다고 생각해서 이번엔 많은~! 영어문장을 이용해 FAQ모델을 만들어 볼 예정입니다. 데이터는 지난 시간에 소개해드렸던 영어 농답 Q&A데이터 입니다. (feat. kaggle) 이전글 - 2019/10/22 - [Study/AI] - FAQ 챗봇 만들기 [1] - 모델만들기 2019/10/24 - [Study/AI] - FAQ 챗봇 만들기 [2] - 모델다듬기 github - https://github.com/tkdlek11112/faq_chatbot_learning 유튜브 - 데이터 살펴보기 일단 캐글에서 FAQ데..

FAQ 챗봇 만들기 [2] - 모델다듬기

Study/AI 마이쮸(mychew__) 2019. 10. 24. 17:29

들어가기 전에 지난 시간에는 5개의 문장으로 모델을 만들어서 유사 문장을 검색해 보았습니다. 생각보다 정확도가 그렇게 높지는 않았습니다. 이번 포스팅에서는 학습 데이터의 량도 늘려보고 모델 파라미터 값도 바꿔보면서 정확도를 더 높여보도록 하겠습니다. github - https://github.com/tkdlek11112/faq_chatbot_learning youtube - 목차 2019/10/22 - [Study/AI] - FAQ 챗봇 만들기 [1] - 모델만들기 2019/10/24 - [Study/AI] - FAQ 챗봇 만들기 [2] - 모델다듬기 FAQ 데이터 늘리기 일단 학습 데이터를 늘리기 위해서 어디 좋은 데이터 없나 찾아봤습니다. 영어 말고 한글로 찾으려니 더 없더라구요. 그래서 공공데이터넷..

FAQ 챗봇 만들기 [1] - 모델만들기

Study/AI 마이쮸(mychew__) 2019. 10. 22. 00:04

요즘 챗봇이 대세이기는 한데, 실제로 일상적인 대화를 하는 챗봇보다는 뚜렷한 목적을 가진 챗봇이 업무에서 더 많이 사용되는 것 같아요. 물론 일상적인 대화도 되고 특정 목적에도 적합한 완벽한(?) 챗봇이 있다면 좋겠지만 아직 AI 기술이 거기까지는 안될 것 같습니다. ㅎㅎㅎ아무튼 이번에는 FAQ 챗봇을 만들어 볼 건데, 회사에서 진행했던 프로젝트를 기반으로 처음부터 시작합니다! 목차 -- 2019/10/08 FAQ 챗봇 만들기 [1] - 모델만들기 github - https://github.com/tkdlek11112/faq_chatbot_learning 유튜브 - https://youtu.be/q9D8jd2723w FAQ 챗봇 쉽게 만들어보기! doc2vec를 이용해 FAQ 기능을 하는 챗봇을 만들어 ..

문자열 데이터 CNN vs RNN 어떤 모델이 더 좋을까?

Study/AI 마이쮸(mychew__) 2019. 8. 7. 12:20

CNN vs RNN, Which model is better at TEXT? AI와 관련하여 여러 가지 공부를 하고 있는 중, 텍스트 데이터 분류에 대해 모델을 만들어야 하는 일이 생겼습니다. 여태 제가 배운 내용을 되돌아서 생각하면 당연히 RNN 모델을 사용해서 학습하는 게 좋을 것 같다고 생각했는데, 생각보다 CNN도 효율이 좋다는 연구결과가 많습니다. 이번 기회에 텍스트 데이터에 대한 RNN과 CNN에 대해 정리하려고 합니다. CNN? 일단 각 모델에 대한 기본적인 개념을 알아야 합니다. CNN(Convolution Nerural Network)는 영상처리에서 많이 사용되는 개념으로 공간(Space) 위주의 특장점을 추출하는데 효과적입니다.라고 아마 대부분 설명할 텐데, 좀 더 쉽게 설명해보도록 하..

[머신러닝 무작정 따라하기] 1.머신러닝 시작하기 ~ 이진 분류기 만들기

Study/AI 마이쮸(mychew__) 2018. 9. 10. 12:40

최근 AI나 블록체인과 같은 신기술이 많이 등장해서 공부할 게 너무 많아졌습니다 @_@ 저도 공부를 좋아해서 이것저것 많이 팠는데요.석사 때 NLP전공이여서 word2vec같은 라이브러리를 활용해 챗봇도 만들어보고, 번역도 해보고 여러 가지 접해봤습니다. 하지만 이런 생각이 들더군요. '나는 AI/ML에 대해서 잘 알고 있는가?' 현재 하는 업무는 Linux에서 C로 서버 어플리케이션 개발입니다. AI나 ML은 따로 공부하고 있는 것이기는 한데, 제 생각에는 그냥 존재하는 라이브러리나 이미 잘 만들어진 모델로 흉내만 내고 있지 않나 생각이 들었습니다. 그러다가 '만약 내가 AI 분야로 이직을 할 수 있을까?'라는 질문을 저에게 해보고, 제대로 공부해보자는 생각이 들었죠. 가장 최근에 LINE에서 AI 개..

1

IT, I Think