이 포스팅은 공부 목적으로 작성된 포스팅입니다. 왜곡된 내용이 포함되어 있을 수 있습니다 전처리 과정수행하려는 데이터 전처리 과정은 다음과 같다.서울 열린 데이터 광장에서 제공하는 서울시 일반음식점 인허가 정보를 데이터를 받는다(csv)각각 음식점에 대해서 음식점 사진을 3개로 가져온다(3개 이하라면 최대로)식당 메뉴 및 가격을 가져온다식당 운영시간을 가져온다.식당 좌표를 사용하는 지도 API에 맞게 수정한다.csv 파일 분리서울시 일반음식점 인허가 정보는 가지고 있는데 데이터로 해당 데이터를 여러개의 csv로 분할하는 task를 만들어보자from airflow import DAGfrom airflow.operators.python_operator import PythonOperatorfrom airfl..
이 포스팅은 공부 목적으로 작성된 포스팅 입니다. 왜곡된 내용이 포함되어 있을 수 있습니다. Airflowairflow는 배치 기반 워크플로우를 개발, 스케줄링, 모니터링하기 위한 오픈소스 플랫폼이다. python 기반으로 작성된다.airflow의 장점은 다음과 같다.파이선 기반의 파이프라인을 구성할 수 있다. (데이터 처리는 파이썬이 발달되어 있다.)데이터베이스와 클라우드와 통합이 가능하고 확장이 용이하다. 스케줄링을 활용하여 정기적으로 파이프라인을 실행할 수 있다.증분처리(변경된 데이터에 대해서만 처리하는것)를 지원한다 (아직 이해하지 못함)백필기능을 통한 데이터 재처리를 지원한다.(빅데이터 환경에서 발생하는 데이터가 제대로 처리 못하고 튀는 현상을 어느정도 보호해준다고 이해함)airflow를 사용하..
이 블로그는 개인의 공부 목적으로 작성된 블로그입니다. 왜곡된 정보가 포함되어 있을 수 있습니다. 공간정보 지난 포스팅에서 우리는 ANN을 통해 XOR과 같은 다양한 문제를 해결할 수 있다는 것을 알게 되었다. 이미지 분류 문제를 생각해보자. 이미지는 3차원정보(채널,가로,세로)를 가지고 있으므로 이것도 ANN와 같이 신경망을 통해 지도학습을 한다면 어느정도 해결 할 수 있어 보인다. 그런데 우리가 이미지를 인식할때를 생각해보자 $(0,0)~(0,n)$ 또는 $(3,0)~(3,n)$으로 이미지를 읽는가? 그렇지 않다 우리는 공간적인 정보를 사용해서 이미지를 인식한다. 그러면 ANN을 통해 학습하면 ANN도 결국에는 공간정보를 통해 인식하는 것과 같은 효과가 되지 않을까? 많은 에폭을 거치면 어느정도 가능..
이 블로그는 개인의 공부 목적으로 작성된 블로그입니다. 왜곡된 정보가 포함되어 있을 수 있습니다. 이전 포스팅에서 이어집니다~ https://bluesparrow.tistory.com/16#%EC%8B%9C%EA%B7%B8%EB%AA%A8%EC%9D%B4%EB%93%9C%20%ED%95%A8%EC%88%98(Sigmoid%20function)-1 [기계학습] Artificial Neural Network 1 이 블로그는 개인의 공부 목적으로 작성된 블로그입니다. 왜곡된 정보가 포함되어 있을 수 있습니다 0. beginning 몇년전, 알파고 부터 시작해서, 올해는 OpenAi의 ChatGPT와 같은 AI가 주목을 받고 있다 bluesparrow.tistory.com 1. Vanishing Gradient..
이 블로그는 개인의 공부 목적으로 작성된 블로그입니다. 왜곡된 정보가 포함되어 있을 수 있습니다 0. beginning 몇년전, 알파고 부터 시작해서, 올해는 OpenAi의 ChatGPT와 같은 AI가 주목을 받고 있다. 현재 대부분의 AI기술은 Deep learning 기술을 활용하고 있다. 이번 시간에 Deep learning 기술의 근간이 되는 Artificial Neural Network에 대해 알아보고 이해해보자.(Artificial Neural Network, Deep Neural Network, DNN 모두 동일한 의미로 사용되는 것 같다. 1. 퍼셉트론 Neural Network를 이해하기전에 먼저 Neural Network의 기원인 퍼셉트론의 대해서 생각해보자 퍼셉트론을 다수의 신호를 입..
https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf 이 블로그는 개인의 공부 목적으로 작성된 블로그입니다. 왜곡된 정보가 포함되어 있을 수 있습니다 Beginning 학부 수업때 강화학습 관련 수업을 듣던 와중, 논문 리뷰에 필요성을 느끼게 되었다. 그래서 가장 유명한 강화학습 논문중 하나인 DeepMind에서 발표한 "Playing Atari with Deep Reinforcement Learning" 논문에 대해 리뷰하려 한다. 실제로 구글링해보면 여러 한글 리뷰 블로그들이 검색될 정도로 유명한 논문이다. Abstract high-dimensional senory input을 control하는 정책을 성공적으로 학습하는 deep learning model 에 대해 말하..
