728x90 pycharm3 [Spark] Install PySpark with PiP & 파일 읽고, 쓰기 실습 이번 포스트는 예전에 포스트했었던 spark를 설치하여 jupyter notebook 환경에서 pyspark를 사용하는 것보다 활용하기 쉬운 pip를 통해 pyspark를 다운로드하고 확인하고, 실습해보겠습니다. 예전 포스트 링크 2021.02.17 - [BigData/Spark & Spark Tuning] - [PySpark] Spark 환경 설정 with Anaconda(Jupyter Notebook) Python(Pyspark Standalone mode) on windows [PySpark] Spark 환경 설정 with Anaconda(Jupyter Notebook) Python(Pyspark Standalone mode) on windows 이번 포스트는 windows 10에 jupyter n.. 2022. 2. 24. [Python] PIP란? Virtualenv란? 개념,활용 이번 포스트는 Python 에서 중요한 부분인 패키징에 대해서 그 중에서도 PIP와 virtualenv가 무엇이고 어떻게 활용 하게 되는지에 대해 알아보겠습니다. 1. PIP란? pip는 Python Package Index (PyPI) 저장소로부터 파이썬 패키지를 받아 설치하는 패키지 관리 도구 PyPI는 third-party 파이썬 오픈소스 패키지들을 위한 저장소 PIP와 대응되는 개념은 Ruby(RubyGems), PHP(Packagist), Perl(CPAN), Node.js(NPM) 보통의 pip install (package)를 통해 package를 설치하게 되면, 아나콘다의 경우, C:\Users\유저\Anaconda3\Lib\site-packages/package 와 같은 형태로 설치가 된.. 2021. 9. 24. [python]파이썬이란? 파이썬으로 할 수 있는 것들과 할 수 없는 것들 파이썬이란 인터프리터 언어이다.(한 줄 씩 소스 코드를 해석해서 그때그때 실행해 결과를 바로 확인할 수 있는 언어.) (컴파일 언어,C언어 java) 파이썬의 특징 1. 인간다운(인간의 생각방식에 가까운)언어이다. ex) if 4 in [1,2,3,4]: print("4가 있다.") 2. 문법이 쉽다. 3. 무료이고, 강력하다. 시스템 프로그밍이나 하드웨어 제어와 같은 복잡하고 반복 연산이 많은 프로그램은 파이썬과 안 어울린다. 그래서 이러한 약점을 극복할 수 있게끔 다른 언어로 만든 프로그램을 파이썬 프로그램에 포함시킬 수 있다. (C와 찰떡궁합) 4. 간결하다. 의도적으로 간결하게 만들었기 때문에 파이썬은 가장 좋은 방법 1가지만 사용하는 것을 선호한다. ex) languages = ['python'.. 2021. 1. 3. 이전 1 다음 728x90
