Daily
매일 배운것을 기록
191216
인공지능을 위한 선형대수 1~3강
행렬을 파이썬으로 어떻게 적용하는지 예시로 배웠다. over-determined system에서는 모든 해를 만족시키는 해를 구하기 힘든 경우가 있는데, 그 때는 여러번의 시뮬레이션을 통해 근사치를 구하는 것을 배웠다. (Q. over determined system에서 근사치 값을 구할 때, 리샘플링을 여러번 하면서 근사치를 구하는 것인가?) eye() 함수도 처음 보고, 실습해봄.
191213
스타트업 행사 운영 봉사
191208
확률론 Ch21 : 공분산과 상관계수
확률론 Ch22 : 변수변환과 합성곱
확률론 Ch23 : 베타분포
혼공파 Ch.8
드디어 혼공파가 끝났다! 🔥 밑바닥부터 시작하는 딥러닝이 클래스로 시작하는데, 그 전에 다시 한번 클래스를 공부할 수 있었다. 월스트리트에서 이변량 정규분포를 이용하여 기대값의 평균을 구했던 교수의 일화를 소개해주었다.
191207
확률론 Ch19 : 결합, 조건부, 주변 확률 질량함수(Joint, Conditional and Marginal Distribution)
확률론 Ch20 : 다항분포 및 코시분포(Multonomial and Cauchy)
선형대수학 2강
면접준비
칸아카데미 선형대수학 완강!! 😆 코시분포는 처음 보는데 코시 방정식을 이용한 분포인가 했지만, 아니었다.
191206
확률론 Ch13 : 정규분포 (Normal Distirubution)
확률론 Ch14 : 위치, 척도 및 무의식적인 통계학자의 법칙(Location, Scale, and Lotus)
확률론 Ch15 : review
확률론 Ch16 : 지수 분포 (Exponential Distribution)
확률론 Ch17 : 적률 생성 함수(Moment Generating Functions)
확률론 Ch18 : 적률 생성 함수 2(MGFs Continued)
지수분포 부분이 어려웠고, 지수 분포를 이용하는 적률 생성 함수도 어려웠다 :( 다음에 복습할 때는 좀 더 이해가 되길 바란다.
191205
확률론 Ch11. 포아송분포 (The Poisson distribution)
확률론 Ch12. 이산, 연속, 균등분포(Discrete vs Continuous, the Uniform)
면접 준비
191204
확률론 Ch8 : 확률변수와 확률분포 (Random Variables and Their Distribution)
확률론 Ch9 : 기댓값, 지시확률변수와 선형성(Expectation, Indicator Random Variables, Linearity)
확률론 Ch10 : 기댓값 (Expectation Continued)
선형대수학 강의 2개
191203
확률론 Ch7 : 도박꾼의 파산 문제와 확률변수 (Gambler's Ruin and Random Variables)
191202
Python for Data Analysis : Ch.13 고급 Pandas
확률론 노트 정리
191201
Python for Data Analysis : Ch.12 시계열 분석
시계열 분석은 거의 모든 산업군에서 사용하기 때문에 더 관심있게 공부했다.
191130
확률론 Ch5. 조건부 확률과 전확률 정리
확률론 Ch6. Monty Hall 문제와 심슨의 역설
심슨의 역설문제를 미리 들었다면 저번 면접때 대답할 수 있었을텐데 ㅠㅠ 아쉬움 100만번 선 대만 열심히 듣고 확률론을 소홀히 했는데....그러지 말아야겠다..ㅠㅠ
191129
선형대수학 강의 8개
행렬 벡터의 곱, 영공간과 선형독립과의 관계, 영공간과 열공간의 기저, 부분공간의 기저는 원소의 수와 같음을 배웠다
191128
Python for Data Analysis Ch10. 데이터 집계와 그룹 연산
칼럼, 인덱스별로 그룹핑하여 데이터를 통계내는 것을 배웠다. 선형회귀. 가중 평균과 상관관계, 피벗테이블을 만드는것을 예시로 배웠다
191127
Python for Data Analysis Ch9. 그래프와 시각화
산점도 등 다양한 그래프를 시각화 연습을 해보았다.
191125
Python for Data Analysis Ch.8
191123~191124
여행
191122
선형대 수학 8강
191119
SQL 첫걸음 완독
기본서를 독했다. DB설계 등 당장 데이터 분석에 필요하지 않은 내용들도 있지만, 빼먹지 않았다.
191118
SQL 레시피 23강 '추천'
처음으로 순차적으로 공부하지 않고, 관심 있는 챕터를 공부했다. user to item, item to item을 추천하기 위해 item별 유사도를 구하는 쿼리를 배웠다. 벡터 크기, 내적등 선대 내용이 나와서, 개인적으로 수학과 같이 툴을 배우는게 옳구나라는 생각을 하게 되었다^^:;; 아이템 벡터를 정규화시키는 과정은 벡터의 내적을 응용한 것인데, 왜 정규화 시키는 방법에 내적을 사용하는지는 한번 더 복습해봐야 할 것 같다.
191115
비오는 날 이사 🚚
어릴때 몰랐는데 이사가 이렇게 힘든거였구나...! 😅
191114
이사 준비. 목금토는 아마 공부를 제대로 못하지 않을까 😥
191113
프로그래머스 SQL 문제 풀었다
선형대 수학 강의 2개
프로그래머스 문제들은 기본 문제들이었고, 양이 너무 적어 아쉬웠다. SQL 문제를 풀어볼 수 있는 곳이 많으면 좋겠다.. 😂 해커랭크는 너무.....문제를 위한 문제라 ㅠㅠ
191112
SQL 레시피 14강
혼공파 Chapter 7
기상청 홈페이지에서 날씨 크롤링하는 것을 해보았다. 예전에 따르릉 정보 크롤링하는 강의 들으러 간 것이 생각났다. 트위터 같은 SNS 크롤링 가능 여부를 확인하니 search user는 disallow지만 해시태그나 검색기능은 allow인것을 확인했다. (https://twitter.com/robots.txt) 공공 데이터의 경우 페이지가 한정적이지만 트위터는 무한대이기 때문에 어떻게 가져올지(페이지를 넘길지) 고민 + 구글링을 해봤는데, 여유 있을 때 도전해봐야겠다.
모듈 다운받아 사용하는데 오류가 있을 땐, pip version을 업그레이드 하니 오류가 해결되었다^^:;;
191111
확률론 4강
조건부 확률 벡터의 내적과 외적 (6/13)
독립 사건, 조건부 확률, P(A∩B)=P(A)P(B) , pairwise independence, 베이즈 정리 벡터의 내적, 코시-슈바르츠 부등식 증명, 삼각 부등식, 점과 법선 벡터를 이용하여 R3에서 평면 정의하기
코딩은 새로운 것을 배우는 느낌이라면 수학은 잊었던것을 다시 찾는 느낌이다^^:;
191110
Python for Data Analysis - Ch.6
Python for Data Analysis - Ch.7
SQL 레시피 - Ch.5
파이썬으로 매핑과 라벨링 하는 것을 배웠다. 오늘 배운 부분중에 가장 많이 사용할 것 같은 함수다. (유저들 세분화 등) 예시에 csv , dat 파일들로 하는데 해당 데이터는 없어서 어떻게 작동하는지 책을 통해서만 확인했다. 정규표현식은 아직 감이 잘 안온다.
SQL은 전 직장에서 사용했던 방법들이 많이 나와 수월한 부분도 있었고, 해보지 않았던 분석 법도 있었다. SQL 코드만 설명하는 것이 아니라, 분석 법에 대해 설명해주면서 이 분석을 어디에 적용할 수 있는지 알려주는 것이 유용했다. 지난주 다른 산업 군에서 데이터를 분석했던 분을 만나 얘기했는데, 산업 군이 다르다 보니 분석 툴도 달랐고 분석 방법도 다른 것을 알게 되어 흥미로웠었다. 그때 깨달았던 부분을 오늘 책을 통해 다시 한번 알 수 있었다. 각 산업 군마다 목표하는 KPI 가 다르기 때문에, 분석 방법과 무엇을 중점으로 분석하는지가 달랐기 때문이다. (그래도 많은 부분이 비슷하지만... 😂 )
191109
Python for Data Analysis - Ch.5 완료
데이터 분석을 위한 SQL 레시피 - Ch4
시계열 분석은 기존에 하던 분석과 비슷했지만, 실무에서 다루지 않았던 분석들(Z 차트, 팬차트, 히스토그램)을 SQL 쿼리로 작성해보다. 야후 주가를 가져오는 것으로 공분산, 상관관계 분석을 해보았다. 데이터를 가져오는 중에 문제가 있어 구글링해서 다른 방법을 시도해서 성공했다. 데이터 가져오는 것을 해결한 방법 ↓
conda install pandas-datareader
import pandas_datareader.data as web
all_data = {ticker: web.get_data_yahoo(ticker)
for ticker in ['AAPL','IBM', 'MSFT', 'GOOG']}
#ticker key 값에 야후 주가 데이터에서 'AAPL', 'IBM', 'MSFT', 'GOOG' 주가를 가져왔다
price=pd.DataFrame ({ticker:data['Adj Close']
for ticker, data in all_data.item()})
#all_data 데이터에서 종가 데이터를 추출
volume=pd.DataFrame({ticker: data['Volume']
for ticker, data in all_data.items()})
#all_data에서 volumn 데이터 추출
returns=price.pct_change()
#price 데이터에서 퍼센트 변화율을 추출
retruns.tail()
#데이터의 하단 부분을 추출. head() 는 데이터의 상단 부분을 추출하는 메소드
#tail 과 head를 사용하면 기본적으로 5개만 나오는 것 같다(쥬피터에서는)
#tail(), head()에 숫자 인자를 써주면 그 수만큼 나온다. 가장 오래된 데이터부터 나온다(오름차순)
>>아무일도 일어나지 않았다.
책에는 2017년 버라이즌이 야후를 인수했기 때문에 야후 금융서비스가 더 이상 작동하지 않을 수 있다고 경고했다.
구글링을 해보니 그 이슈는 아니었다. 버전이 업그레이드 되면서 다른 방식으로 접근할 수 있는거였다.
191108
선형대수학 - 부분공간과 부분공간의 기저
Python for Data Analysis - Ch5.2
NumPy, Pandas를 배우면서 SQL 쿼리문과 비슷하구나를 느낀다. 또 기본 문법(자료형 함수 등)을 응용한 방법들이 많아 기초가 중요하구나를 배운다. 어느 영역이나 마찬가지겠지. 요즘 수학도 기초부터 다시 하고 있는데, 기초에 이렇게 시간을 투자해도 되나 싶은 생각을 가끔씩 하는데 ...기초부터 다시 다지는게 맞는 것 같다 😂
191107
혼공파 Ch6 - Error
Python for Data Analysis - Ch5.1 Series와 DataFrame에 대해서 공부했다. 새로운 개념일 줄 알았는 NumPy, 리스트, 딕셔너리와 유사한 개념이었다. 어제 오늘 열감기가 있는데, 내일은 병원에 가봐야겠다. 병원 가는김에 자전거 타다 넘어져서 다친 어깨가 안 낫고 있어서 물리치료 하러도 가야겠다 :(
191106 운전 연수 후 데이터, 딥러닝에 관련된 칼럼들을 찾아보았다. 오랜만에 채용공고들을 보면서 회사에서 원하는 기술들이 어떤것인지 재정리하였다. 일단 공부해야지! 🔥
191105
Python for Data Analysis - Ch4. Numpy 유니버설 함수, 배열 연산, 조건절등을 배웠다. 통계 메서드, 불리언 메서드와 조건절을 사용하여 계단 오느래리기 문제를 풀었다. 대학교때 excel vba로 주가 변동 시뮬레이션 했던것이 생각났다. 변동성을 일정 상수로 넣고 시뮬레이션을 했던 것이기 때문에 계단 스탭 을 1, -1로 했던것과 비슷했다. 통계가 시각화되니 재미가 있다. 미뤄왔던 운전 연수를 시작했다. 하고 집에 오니 긴장이 풀렸다 : ( 퇴사후로 미루었던 일들을 처리하느라 초반보다 공부에 시간을 투자하기가 쉽지 않은 요즘이다. 내일은 공부에 시간을 좀 더 쏟아야지.
191104
선형대수학 - 선형결합과 생성, 선형 종속과 독립
혼공파 Ch5-3 map() , filter () 함수를 배웠다.
191102
데이터 분석을 위한 SQL 레시피 - Ch3
혼공파 - Ch5-2 SQL 책이 PostgreSQL, Redshift, BigQuery, Hive, Spark SQL 별로 문법 설명을 각각 해준다. 이중 Big Query를 업무에서 사용해왔기 때문에 Big Query 를 중점으로 봤다. 실행은 MySql에서 했는데, 그러다 보니 문법이 맞지 않아 실행이 안되는 것들이 있었다 : ( 다른 문법들로 시도했는데도 안되어서, big query 로 사용하니 되었다(1년 무료고, 1년 후 300달라..그 전에 해지해야지) 아직까진 테이블을 만들어 사용하는 것은 MySql이 편하고, 테이블을 만들지 않고 사용하는 것은 빅쿼리가 편하다. 파이썬 재귀함수 사용을 배웠다.
191101
SQL HR 예제들을 구글링해서 풀었다. 요즘 파이썬만 하다가 혹여 SQL을 까먹지 않을까 싶어서 문제들을 풀어봤는데 다행히 안 까먹었다🙄 Error Code 1046 : No database selected Select th default DB to be used by double-clicking its name in the Chemas List in the sidebar. 에러가 났는데 테이블을 생성해서 저장할 스키마를 세팅 안해서 나는 문제였다. 빅쿼리만 2년정도 쓰다가 MySQL 쓰려니 port, server 연결하는 부분도 애를 먹었는데 이제 어느정도 정리가 된 것 같다.
191031
선형대수학 '벡터' 인강.
Python for Data Analysis - Ch4-1 선형대수를 설명하면서 튜플로 연관시켜 설명해주니, 튜플과 벡터의 연관성에 대해 어렴풋이 알 수 있었다. cos, sin 문제 푸는데 처음에 방법을 몰라 맸다. 전필로 들은게 벌써 몇년전이니... 그때보다 지금 수학이 더 재밌는것은 기분 탓일까 😅 NumPy 에서 배열 부분을 배웠다. 선형대수랑 같이 시작할 수 있어서 다행이다. 내일은 NumPy 단원을 다 끝내야지!
191030
Python for Data Analysis - Ch3 bisect (이진 탐색) 부분을 배웠다(숫자, 글자 가능). 책에 있는 예시로는 이해가 잘 되지 않아 다른 것들을 시도해보았다. 리턴 되는 부분은 0부터 len(list)까지 나온다. 중복되는 객체가 여러개 있으면, bisect는 인덱스 넘버가 가장 높은 객체를 기준으로 잡는다. 정렬이 되어 있지 않은 경우에는 수행은 되지만 정확하지 않은 값을 반환한다. 그러므로 bisect 를 쓰기 전에 정렬은 필수!!
#예e=[9,2,4,1,4,1,12]bisect.bisect(e,1)>>6bisect.insrot(e,7)e>>[9,2,4,1,4,1,7,12]191029
Python for Data Analysis - Ch2 파이썬 기본책에서 배우는 부분들을 배웠다. Ch3까지는 비슷할 것 것 같다.
혼공파 5-1. 데이터 분석을 위한 SQL 레시피 - 예제 소스를 다운받아 실행했는데 정말 코드 소스였다. 예제 테이블 데이터를 기대했는데.. 😥 혹시 몰라 문의를 넣었는데, 아직 답변이 오지 않았다. 올 때까지 일단 보류... 데이터 분석 책이랑 혼공파 내용이 함수다. 몰아서 보면 더 좋겠지?!
191028
<데이터 분석을 위한 SQL 레시피> 1~2강을 읽었다. 앞 부분부터 읽지 말고 필요한 부분(?) 부터 읽을까 하다가, 이제 시간이 있으니 처음부터 읽어야겠다 생각하고 처음부터 읽고 있다. 은행 업무로 몇시간씩 까먹으니, 진이 빠진다. 내일도 여러군데 가야하는데..
191027
공부를 하지 못했다 😥
191026
빅스비 챌린지 모각코 참여
Python for Data Analysis - p.59 빅스비 언어로 어떻게 앱을 만드는지 보았다(배웠다는 표현보다 보았다는 표현이 더 맞는 것 같다). 앞으로 내가 이 언어를 또 배울지는 모르지만, 앱을 만들때 어떤 식으로 구현이 되는지 볼 수 있었다.(UI/UX 적용 등) 데이터 분석일을 하고 싶은데 갈까 말까 했었는데 갔다오길 잘한 것 같다. ipython, jupyter notebook 쓰는 법을 배웠다. 책에서 나오는 '자기 관찰'등의 예제들을 아톰과 비쥬얼 스튜디오로 해보는데 작동하지 않아서, 책에 나와있는대로 ipython과 jupyter notebook을 사용하니 작동이 되었다. numpy, pandas, matplotilb, SciPy, scikit-learn 라이브러리를 다운받아 간단한 것을 실행해보았다. 이책으로 배울 내용들이 기대된다! (물론 안되면 답답하지만😅)
191025
혼공파 파이썬 리스트/딕셔너리 - 함수 & 반복문
확률론 기초 3강 들음
sw expert academy 빅스비 개발 1,2강 들음 <파이썬 라이브러리를 용한 데이터 석> 책을 보니 아나콘다를 설치하라고 한다. 인프런에서는 아톰, 혼공파에서는 비쥬얼스튜디오, 이제는 아나콘다... 파이썬 활용 툴들이 많은데 어떤것이 나에게 더 맞을까? 하버드 강의 확률론 인강을 듣는데, 대학때 듣던 기초통계, 확률 강의와 달라서 신기했다. 이론에 대한 백그라운드 역사부터 설명하고, 현재 어디에 응용되고 있는지 말해준다. 저렇게 강의를 들었으면 학부시절에 더 재밌게 듣지 않았을까^^:; 라는 아쉬움도 있다. Birthday problem 문제를 듣고 신기함+재미를 느꼈다. 아직 확률론 쪽은 노트필기 한 것을 깃북에 제대로 정리하고 있지 않은데, 더이상 미루지 말고 정리해야지. 문제 풀이를 파이썬으로 해봐야지 싶었다.
(가족 저녁 외식으로 예상보다 시간을 많이 뺐겨서 못했다는 변명..^^:;;)빅스비 챌린지 시즌2 일회성 스터디(?) 있길래, 요즘 배움 뽐뿌가 있어서 신청했다. 튜토리얼을 듣고 가야해서 듣는데...아 지금 파이썬도 제대로 못하는데...싶지만 그래도 누군가에게 코드를 물어볼 수 있는 기회니 가야지!!!(힘내자!!!)
191024
혼공 파이썬 리스트/딕셔너리
파이썬 알고리즘 공부 방법들을 알아보는중에, 어제 온 책들을 보다 생각이 바뀌었다. <파이썬 라이브러리를 이용한 데이터 분석> 을 하기로 결정! <밑바닥부터 시작하는 딥러닝>도 하고 싶었지만, 지금 나에게 필요한 것은 전자라고 생각했다. 오늘의 반성. 은행업무 및 이력서 및 자소서를 쓰느라 공부 시간 확보를 못했다. 내일은 더 공부해야지! 그리고 깃북에서 자꾸 글자가 안써지는 이슈가 있는데, 찾아보니 한글에서 다들 그런 것 같다 : ( 수학 스터디를 모집했다. 인원이 많은 스터디는 아니지만 꾸준히 해야지!
191023
확률론 기초 2강
혼공단 파이썬 chapter 3 복습
나열 된 숫자들 중 합 구하는 알고리즘 풀기.
문제점 1. 배열 된 숫자 중에서 sum값이 나오지 않았다면, 나오지 않았음을 확인할 수 있는 방법이 없다 알고리즘을 생각하는 것이 그냥 기본서 보는것보다 더 도움이 되긴 하지만, 맞는지 안 맞는지 확인 못하니 답답하다. 알고리즘을 공부할 수 있는 다른 방법이 있는지 알아봐야겠다.
191022
역수 구하는 알고리즘 풀기. 인터넷에서 문제를 구해서 푸는데, 따로 책을 사야하나 싶다.
혼공단 파이썬 chapter 2 복습. 자료형만 잘해도 반은 먹고 들어간다는데, 알고리즘 첫날부터 깨달았다.
문제점1. t3의 타입은 list다. t1이 음수 혹은 0으로 들어오는 경우를 생각하면 int로 출력 되어야 한다.
list > str > int 로 형 변환을 시도한 경우 : valueerror : invalid literal for int() with base 10: '[2,9.4]' 가 나온다.
list>int 로 형 변환을 시도한 경우 : typeerror : int() argument must be a string, a bytes-like object or a number, not 'list'가 나온다.
join 함수를 사용했는데도, error가 나오고 구글링을 하는데도 안되어서 일단 보류.
배움이 쌓이면서 어느 순간 다 풀리는 날이 오기를
문제점2. 역수 구하는데 변수가 3개나 들어갈 일인가? 이것도 나중에 나아지겠지..
191021
20일날 자전거를 타고 집 가는 도중에 심하게 넘어져서 (....) 병원행..
퇴사 후 서류 정리하는 것 때문에 공부 못함...
대신 <데이터 분석을 위한 SQL 레시피>, <밑바닥부터 시작하는 딥러닝>, <커리어 스킬>,<파이썬 라이브러리를 용한 데이터 석>
> 책 주문.
191020
깃북 블로그 개설
~191020
인프런 파이썬 입문 과정 인강을 다 들었다. 점프 투 파이썬을 독학 할 때보다 더 빠르게 이해가 되었다. 가르쳐주어서 쉬운것도 있겠지만, 이미 한번 본 내용이라 더 빠르게 와 닿았던 것 같다. argument 함수를 쓸 때 해멨는데 이 부분은 다시 복습 예정. https://www.inflearn.com/course/%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%B0%8D-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%9E%85%EB%AC%B8-%EC%9D%B8%ED%94%84%EB%9F%B0-%EC%98%A4%EB%A6%AC%EC%A7%80%EB%84%90
Last updated
Was this helpful?