sain0722 / ai_nlp

AI 자연어 고급 과정 : 릴레이 온라인 특강

수업 시간표

<오후>
02:00 ~ 02:45
03:00 ~ 03:45
04:00 ~ 04:45
05:00 ~ 05:40

AI 자연어 고급 강의 일정

[총 40시간 (10일간) : 2020.11.17 ~ 11.30]

• 01일차 (화) : 신경망기본
• 02일차 (수) : Word2Vec, 임베딩
• 03일차 (목) : RNN과 LSTM 구현
• 04일차 (금) : Seq2Seq 구현
• 05일차 (월) : Attention 구현
• 06일차 (화) : NLTK/KoNLPy
• 07일차 (수) : 텍스트 분류 모델 구현
• 08일차 (목) : 감성분석 모델 구현
• 09일차 (금) : 토픽모델링 구현
• 10일차 (월) : 질답시스템 구현

강사: 고병화

E-mail : [e-mail]

git 주소 : https://github.com/digicope/ai_basic

(git 사용기간 : 2020.11.17 ~ 2020.11.30 , 이후에는 접속 불가)

참고 사이트

Kaggle
https://www.kaggle.com/

UCI Machine Learning Repository (머신러닝 데이터)
https://archive.ics.uci.edu/ml/index.php

데이콘 (경진대회)
https://dacon.io/

데이터 과학 경진대회 사이트 모음
https://theorydb.github.io/dev/2019/06/23/dev-competition-list/

모두를 위한 머신러닝과 딥러닝의 강의(김성훈교수님)
https://hunkim.github.io/ml/

Andrew Ng’s and other ML tutorials
https://class.coursera.org/ml-003/lecture
http://www.holehouse.org/mlclass/

Deep Learning Tutorial
http://deeplearning.stanford.edu/tutorial/
Convolutional Neural Networks for Visual Recognition
http://cs231n.stanford.edu/syllabus.html
Deep Learning for Natural Language Processing
http://cs224d.stanford.edu/syllabus.html

Tensorflow
https://www.tensorflow.org
TensorFlow Tutorials (Simple Examples)
https://github.com/nlintz/TensorFlow-Tutorials
Another TensorFlow Tutorials
https://github.com/pkmital/tensorflow_tutorials
TensorFlow Examples
https://github.com/aymericdamien/TensorFlow-Examples

기존 코드를 TensorFlow 2.0으로 바꾸기

https://www.tensorflow.org/guide/migrate?hl=ko

Google Colab(코랩) 사용법 (GPU 무료 사용 가능)

https://theorydb.github.io/dev/2019/08/23/dev-ml-colab/

KoNLPy 설치 방법

https://konlpy-ko.readthedocs.io/ko/v0.4.3/install/#id1

점프투 파이썬 온라인 공개 URL

https://wikidocs.net/4307

[AI 기본과정 참고서적]

1. 파이썬 프로그래밍 관련 추천 서적

• 점프 투 파이썬(개정판) – 박응용 저 / 이지퍼블리싱
• 파이썬3 바이블 – 이강성 저 / 프리렉

2. 파이썬 라이브러리 사용 및 데이터 분석 관련 추천 서적

• 데이터 분석을 위한 파이썬 철저 입문 – 최은석 저 / 위키북스
• 파이썬을 이용한 데이터 분석(2/e) – 이창화 옮김 / 에이콘

3. 머신러닝 관련 추천 서적

• 파이썬 머신러닝 완벽가이드(개정판) – 권철민 저 / 위키북스

4. 딥러닝 관련 추천서적

• 밑바닥 부터 시작하는 딥러닝 (파이썬으로 익히는 딥러닝 이론과 구현)– 개앞맵시 옮김 / 한빛미디어
• 모두의 딥러닝 2판 - 조태호 저 / 길벗
• 시작하세요! 텐서플로 2.0 프로그래밍 – 김환희 저 / 위키북스

[ AI 자연어 고급과정 참고서적]

• 밑바닥 부터 시작하는 딥러닝2 (파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리) – 개앞맵시 옮김 / 한빛미디어
• 텐서플로2와 머신러닝으로 시작하는 자연어처리 - 전창욱,최태균,조중현, 신성진 저 / 위키북스
• 파이썬과 자연어처리 - 딥티초프라외 공저,유연재 옮김 / 에이콘
• 자연어처리 딥러닝 캠프 - 김기현 / 한빛미디어
• 머신러닝 딥러닝 실전개발 입문 - 쿠지라 히코우즈쿠에 저,윤인성 옮김 / 위키북스

-------------------------------------------------------------------------------------------------

Anaconda에 텐서플로 버전 2.3 설치하기

Anaconda Prompt를 관리자 권한으로 실행하고 아래 명령을 차례로 실행한다

python -m pip install --upgrade pip

pip3 install tensorflow==2.3.0

[설치 버전 확인] 쥬피터 노트북 셀에서 에서 아래 코드를 실행시켜 버전을 확인해본다

* 텐서플로 버전을 알아본다

import tensorflow as tf

tf.__version__

(주의: 언더바가 두개임)

'2.3.0' 이 출력되면 설치 성공!!

-------------------------------------------------------------------------------------------------
## Anaconda 텐서플로 설치 가상 환경 만들기

Anaconda Prompt를 관리자 권한으로 실행하고 아래 명령을 실행한다

conda create -n tf230 python=3.8 anaconda

conda activate tf230

python -m pip install --upgrade pip

pip3 install tensorflow==2.3.0

[설치 버전 확인] 쥬피터 노트북 셀에서 에서 아래 코드를 실행시켜 버전을 확인해본다

* 텐서플로 버전을 알아본다

import tensorflow as tf

tf.__version__

(주의: 언더바가 두개임)

'2.3.0' 이 출력되면 설치 성공!!

-------------------------------------------------------------------------------------------------

윈도우에 PyCharm 설치 환경에 텐서플로 설치하기

[1] python 3.7.6 설치

https://www.python.org/downloads/release/python-376/

사이트에서 하단 Files 목록에서 Windows x86-64 executable installer을 선택 클릭하여

'python-3.7.6-amd64.exe' 파일을 다운로드 받아 실행 시킨다

설치 시작 화면에서 맨 아래 'Add Python 3.7 to PATH' 를 체크해주고 'Install Now'를 선택하고

다른 옵션 선택없이 그대로 설치를 진행한다

설치가 끝나면 윈도우 시작메뉴에 Pyhon 3.7 이 새로 설치되어 추가된걸 확인 할 수 있을 것이다

[2] PyCharm 다운로드 및 설치

https://www.jetbrains.com/ko-kr/pycharm/download/#section=windows

에서 오른쪽의 'Community' 의 '다운로드' 버튼을 눌러 'pycharm-community-2020.1.exe' 파일을 다운받아 실행시킨다

일부 옵션(Path)을 선택하면서 설치해준다

[3] tensorflow 설치하기

아래 주소를 참조하여 설치한다 tensorflow를 설치 하도록 한다

https://webnautes.tistory.com/1173

PyCharm에서 세 프로젝트를 만들고 하단의 'Terminal'을 눌러 아래와 같이 설치하면 된다

python -m pip install --upgrade pip

pip3 install tensorflow==2.0.0

설치 오류가 날 경우 수업 중 강사 지시에 따라 함께 설치하도록 합니다

-------------------------------------------------------------------------------------------------

* 쥬피터 노트북에 tensorflow 설치 방법

python =3.8.x

tensoflow = 2.3.0

[1] Anaconda 파이썬 버전 변경하기(파이썬 버전이 3.7.x 아래이거나 버전이 낮아 설치 안되는경우만 실행)

(파이썬 버전이 3.8.x 이상인 분은 [2] 번 부터 시작하세요)

* Anaconda Prompt를 관리자 권한으로 실행하고

conda create -n py383 python=3.8.3 anaconda # 몇 분 소요됨

conda activate py383

* 파이썬 버전 확인 명령

python -V

* 만일 원래 파이썬 버전으로 다시 사용하고 싶을 때는 deactivate를 실행한다

conda deactivate py383

[2] Anaconda Prompt를 관리자 권한으로 실행하고 아래 명령을 실행한다

텐서플로 설치

python -m pip install --upgrade pip

pip3 install tensorflow==2.3.0

[3] 쥬피터 노트북 셀에서 에서 아래 코드를 실행시켜 버전을 확인해본다

* 파이썬 버전을 알아본다

import sys

print(sys.version)

* 텐서플로 버전을 알아본다

import tensorflow as tf

tf.__version__

(주의: 언더바가 두개임)

'2.3.0' 이 출력되면 설치 성공!!

* AVX 미지원으로 인한 "DLL 초기화 루틴을 실행할 수 없습니다." 에러 해결방법

https://datamod.tistory.com/139

* 사용하고 있는 CPU 기술 탭의 Intel(R) Advanced Vector Extensions지원 여부는

pidkor47.msi(강사 깃허브에서)

혹은 https://downloadcenter.intel.com/ko/download/28539?v=t 에서 다운로드 설치하여 확인힐 수 있다

* 파이썬 버전을 3.6.8로 추가 설치한다

* Anaconda Prompt를 관리자 권한으로 실행하고

conda create -n py368 python=3.6.8 anaconda # 몇 분 소요됨

conda activate py368

* 파이썬 버전 확인 명령

python -V

* 텐서플로를 AVX를 지원하지 않는 1.6 보다 낮은 버전(1.5.0)으로 설치 한다

python -m pip install --upgrade pip

pip3 install tensorflow==1.5.0 # 장시간 소요됨

* 아나콘다 가상환경 제거

conda env list

conda remove --name py383 --all

----------------------------------------------------------------------------------------------------------

Anaconda 텐서플로 버전 2.3.0 설치 가상 환경 만들기

Anaconda Prompt를 관리자 권한으로 실행하고 아래 명령을 실행한다

conda create -n tf230 python=3.7 anaconda

conda activate tf230

python -m pip install --upgrade pip

pip3 install tensorflow==2.3.0

설치가 완료되면 윈도우 시작메뉴의 'Anaconda3 (64-bit)' 안의 'Jupyter Notebook (tf230)'을 실행시킨다

아래 코드를 실행 시켜 버전을 확인해 본다

import sys

sys.version

import tensorflow as tf

tf.version

'2.3.0' 이 출력되면 설치 성공!!

(tensorflow 버전 1.x 용 소스코드는 버전 2.x와 호환되지 않는게 API가 많아서 실행 오류가 날 것이다)

https://www.tensorflow.org/overview/?hl=ko

의 2.x 예제 소스를 복사하여 붙여 넣어 실행 시켜본다

-------------------------------------------------------------------------------------------------

- GitHub의 쥬피터 노트북 파일 다운로드 방법

https://datascience.stackexchange.com/questions/35555/how-to-download-a-jupyter-notebook-from-github

git에서 노트북 파일을 클릭하고 --> Raw 버튼 클릭 --> Ctrl + S 로 저장 --> 저장시 확장자 .txt를 없애준다 --> 주피터노트북에서 읽어온다

쥬피터 노트북 단축키 요약

https://kkokkilkon.tistory.com/151

쥬피터 노트북 폰트 변경

https://bryan7.tistory.com/1060

------------------------------------------------------------------------------------------------------------------------

[필독] 강의 중 깃허브에서 공유되는 자료나 소스는 출판이나 인터넷 공유사이트에서의 무단 게재 시 저작권 문제가

발생될 수도 있으니 학습을 위한 개인적 용도로만 사용해주시길 부탁드립니다~