본문 바로가기
728x90

전체 글334

[Security] 공개키(Public key) vs 개인키(private key), 대칭키 vs 비대칭키 공개키는 통장의 계좌번호와 유사하고 개인키는 비밀번호 PIN과 유사 공개키와 개인키를 이해하려면 대칭키와 비대칭키 부터 알아야합니다. 1. 대칭키 암호화, 복호화 할 때 사용하는 키가 동일한 경우, 1개의 키 사용 어떤 키로 암호화 했다면, 수신자도 같은 키가 있어야 복호화 가능 말 그대로 대칭시켜 봐서 맞을 시 자물쇠가 열리는 개념 2. 비대칭키 암호화 할 때 사용하는 키와 복호화할 때 사용하는 키가 다른 경우 2개의 키를 사용하며, 비밀키(개인키)와 비밀키를 토대로 만든 공개키가 쌍을 이룬 형태 공개키(public key): 사람들에게 공개된 키, 정보를 암호화 할 수 있다. 비밀키(private key): 사용자만 알고 있는 암호를 풀 수 있는 키 3. 대칭키 vs 비대칭키 대칭키 비대칭키 키 관계.. 2021. 11. 22.
[BigData] Apache Airflow 설치 및 실습하기 series (3) Airflow로 spark-submit(pyspark)하기with BashOperator 이번 포스트에는 spark-submit 실습한 파일을 가지고 설치한 airflow로 spark-submit해보도록 하겠습니다. + 헷갈리는 개념인 start_date, execution_date, schedule_interval, data interval에 대한 조작과 이해를 돕는 실습을 하겠습니다. spark-submit을 통해 만든 .py file과 실습내용은 아래의 링크에 있습니다. https://spidyweb.tistory.com/303 [Spark] spark standalone 모드로 pyspark 실습(.py spark submit)+ui확인하기 이번 포스트에서는 spark standalone 모드 즉, yarn을 이용하지 않고 local(단일 노드로) pyspark을 제출하는 .py 파일.. 2021. 11. 19.
[Spark] spark on yarn cluster에 pyspark job submit(스파크 클러스터에 잡 던지고 UI 확인하기) 이번 포스트에는 spark를 yarn을 이용하여 cluster mode로 pyspark job을 제출하고, cluster로 잘 돌았는지 확인해보겠습니다. hadoop cluster가 구성 안되신 분들은 아래의 링크를 참조해주세요. 2021.08.08 - [BigData] - [BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 1. 4개의 가상 노드 띄우기 [BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 1. 4개의 가상 노드 띄우기 이번 포스트에는 하둡 fully-distributed mode 구축을 해보도록 하겠습니다. 하둡 구성 스펙 호스트OS - windows10 home 게스트OS들 - centOS7 Hadoop -.. 2021. 11. 18.
Linux ubuntu 에서 python 기본 interpreter 변경하기 #버전 확인 python -V #경로 확인 which python #선택 옵션 추가 sudo update-alternatives --install /usr/bin/python python /usr/bin/python2.7 1 sudo update-alternatives --install /usr/bin/python python /usr/bin/python3.6 2 #interpreter 선택하기 sudo update-alternatives --config python 2021. 11. 16.
[spark] error 기록, spark write시 format에 따른 column name 형태 spark write csv format -> column에 space가 들어가도 허용O parquet format -> column에 space가 들어가면 에러O spark 문법 중 desc(column)이 있고 column.desc()가 있는데, ubuntu에서 pyspark돌릴 때 desc(column)형태의 메소드가 안먹혀서 column.desc()로 바꾼 케이스가 있음. 2021. 11. 16.
[Spark] spark standalone 모드로 pyspark 실습(.py spark submit)+ui확인하기 이번 포스트에서는 spark standalone 모드 즉, yarn을 이용하지 않고 local(단일 노드로) pyspark을 제출하는 .py 파일을 생성해 스크립트 실행을 시켜 제출해보도록 하겠습니다. 하둡 및 스파크를 설치하지 못하신 분은 아래의 링크를 참고해 주세요. 2021.04.26 - [BigData] - [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Down.. 2021. 11. 8.
[HIVE] (Hive 실습)Hadoop ETL with (HiveQL)HQL파일,HQL파일로 hadoop에 job제출하기 이번 포스트에는 standalone(pseudo distributed hadoop cluster)에 HQL파일을 생성하여 job을 제출하는 실습을 해보겠습니다. 하둡 및 하이브를 설치하지 못하신 분은 아래의 링크를 참조해주세요. 2021.04.26 - [BigData] - [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 [Hadoop] virtual box linux [ubuntu 18.04]에 하둡 설치,다운로드 1.virtualbox에 ubuntu 설치하기 1.virtual box를 다운로드한다. www.virtualbox.org/wiki/Downloads Downloads – Oracle VM Virtua.. 2021. 11. 8.
local spark job 제출 시 msvcp100dll가 없다 or ExitCodeException exitCode=-1073741515: 에러 위와 같은 에러에서 체크해봐야 될점. 1. spark-3.1.2/bin 안에 winutils가 있는가 2. c:\Windows\System32에 hadoop.dll 파일을 넣었는가 3. Latest supported Visual C++ Redistributable downloads | Microsoft Docs Latest supported Visual C++ Redistributable downloads This article lists the download links for the latest versions of Visual C++ Redistributable packages. docs.microsoft.com 위의 URL에서 Visual Studio 2010 (VC++ 10.0) SP1 (no .. 2021. 11. 8.
[BigData] 완전 분산 하둡 클러스터(hadoop cluster)(4개 노드) 에 "Spark"(Spark on Yarn cluster) 설치 및 실습 하기 저번 포스트까지는 하둡 클러스터를 구성해보았습니다. 이번 포스트에는 구성된 하둡 클러스터에 Spark를 설치해보겠습니다. 본 포스팅은 standalone모드 4개를 구축하여 spark cluster를 만드는 것이 아닌, 구축된 hadoop cluster의 yarn위에 spark을 올리는 spark on yarn(cluster mode,master(yarn))입니다. 아직 hadoop cluster 구축이 안되신 분은 아래의 링크를 참고해주세요. https://spidyweb.tistory.com/266 [BigData] 완전 분산 하둡 클러스터(hadoop cluster)구축하기(4개 노드) 1. 4개의 가상 노드 띄우기 이번 포스트에는 하둡 fully-distributed mode 구축을 해보도록 하겠.. 2021. 11. 7.
728x90

티스토리툴바