Skills 검색 결과

해당 글 99건

[Flask] Flask 사용을 위한 환경설정

Flask란? Flask는 웹 어플리케이션 개발을 위한 파이썬 프레임워크이다. Flask는 Django보다 가볍고 micro한 웹 서비스를 지향해서 초보자가 접근하기 쉽고, 확장성도 좋다. Flask 사용을 위한 환경설정 1. AWS에서 OTP설정 후 EC2 생성 - MFA 활성화를 통해 OTP를 설정하여 보안을 강화한다. - AWS에서 EC2 인스턴스를 생성한다. 아래 링크를 참조하여 생성하면 되고, ubuntu계정에 접속까지만 완료하면 된다. https://ssongblog.tistory.com/134?category=902345 [AWS]AWS를 이용하여 MySQL 환경 구축하기 과거에는 DB설치를 위해 Linus OS설치하고, IDC센터에 직접 방문하는 등 시스템엔지니어의 도움을 받았다고 한다...
Skills/Flask 2021. 11. 21. 17:37

[MongoDB] Pymongo를 통한 MongoDB 조작 (ASW, Local)

AWS 가상 서버에서 사용 - 먼저, aws에서 설정한 가상 서버에 python을 설치하고 pymongo를 설치하는 방법은 아래와 같다. ssh -i ~/Downloads/.ssh/key.pem ubuntu@퍼블릭IP sudo apt install python3 python3-pip pip3 install requests geohash2 pandas pymongo - 크롤링.py파일을 서버로 이동하여 MongoDB 접속정보로 변경한다. - python코드를 pymongo패키지를 통해 실행한다. python3 크롤링.py 그럼 크롤링된 데이터가 Mongodb에 저장되게 된다. 로컬환경에서 사용 - 먼저, conda 위의 jupyter notebook에 pymongo를 설치한다. !pip install py..
Skills/MongoDB 2021. 11. 21. 15:04

[MongoDB] MongoDB의 특징 및 사용법

MongoDB의 특징 - NoSQL 데이터베이스는 전통적인 관계형 데이터베이스 보다 덜 제한적인 일관성 모델을 이용하는 데이터의 저장 및 검색을 위한 매커니즘을 제공한다. 이런 NoSQL 중 대표적인 솔루션 중 하나가 문서 지향 데이터 저장소인 몽고DB이다. - 관계형 데이터베이스는 엄격하게 통제되는 테이블과 열에 정보를 저장하지만, 문서 저장소인 몽고DB는 컬렉션과 문서에 정보를 저장한다. 컬렉션과 문서가 비구조적이라는 특징이 있고, 이 때문에 스키마리스(schema-less)라고 불리우며, 몽고DB의 인스턴스 구조는 저장되는 데이터에 적합하도록 유연하게 변형된다. - 몽고DB의 문서는 키-값 집합으로 동작방식이 자바스크립트 같은 코드의 객체와 매우 비슷하다. 그래서 안에 들어가는 데이터에 따라 구조가..
Skills/MongoDB 2021. 11. 21. 14:44

[MongoDB] MongoDB 설치 및 접속

NoSQL의 대표적인 솔루션인 ModgoDB를 설치하는 법에 대해 알아보자. CLI 환경에서 MongoDB 설치 - 먼저, aws에서 설치한 인스턴스서버에 우분투계정으로 접속한다. ssh -i ~/Downloads/.ssh/key.pem ubuntu@퍼블릭IP - mongodb를 설치해준다. sudo apt update -y sudo apt upgrade -y sudo apt install -y mongodb - mongodb가 잘 설치되었는지 확인한다. sudo systemctl status mongodb - vi 에디터를 이용하여 mongodb의 외부접속을 허용해준다 sudo vi /etc/mongodb.conf /bind 을 통해 검색하여 찾고 수정모드에서 bind_ip를 수정한다. [수정모드] #..
Skills/MongoDB 2021. 11. 21. 14:27

[AWS] AWS Billing 확인하기 및 과금방지방법

AWS에서 무료 프리 티어 서비스를 사용하더라도, 허용 범위를 초과하면 과금이 된다. 이를 방지하고자 Billing Management Console에서 꾸준히 확인해주어야한다. - 소비 요약 탭에서 지난 달 결제 금액과 이번달 결제 예정 금액을 확인할 수 있다. - 서비스별 이번 달 현재까지 소비탭에서 세부항목별 요금을 살펴볼 수 있다. - 사용량별 상위 프리 티어 서비스 탭에서 현재 이용중인 서비스의 사용량을 확인할 수 있다. 과금을 최대한 줄이기 위해서는, 1. 사용하지 않는 인스턴스는 종료시켜야한다. (인스턴스가 3개일 경우 3배로 시간이 줄어들기 때문) 2. 사용하지 않는 탄력적 IP는 릴리스시켜야한다. 연습용으로는 무료 프리 티어 서비스만으로 충분하기 때문에, 위 두 가지만 지켜도 과금을 방지..
Skills/AWS 2021. 11. 21. 13:54

[SQL] Replication 동기화 작업하기 (마스터-슬래이브)

서비스가 작을 때는 WAS(Web Application Server)하나에 DB 하나를 연결하여 요청을 처리한다. 하지만, 서비스가 커지면서 WAS를 여러개 연결하여 LB(Load Balancer)를 사용해 요청을 적절히 분배하기 시작한다. 이때 연결된 DB는 SSD병렬, index 스키마 튜닝등을 통해 성능관리를 한다. 하지만, 서비스가 매우 커지게 되면서 하나의 DB에는 병목현상이 심하게 발생하게 되어 DB도 여러개 생성하게 된다. 즉, LB에 여러개의 WAS를 연결하고, 각각 DB를 생성하여 동기화하는 방식으로 관리하게 된다. 이때, Replication을 사용한다. 가장 흔하게 사용되는 Replication방식은 MASTER-SLAVE(마스터-슬래이브)방식인데, MASTER는 주로 Insert를 ..
Skills/MySQL 2021. 11. 21. 01:36

[SQL] 파일 전송 프로토콜(SCP)을 이용하여 데이터베이스 업로드하기

Server에 Internet을 거쳐 Local PC에 있는 파일을 업로드하는 방법은 여러가지가 있다. 1. 파일질라(FileZilla)와 같은 파일전송 소프트웨어를 이용하여 데이터베이스를 업로드할 수도 있다. https://filezilla.softonic.kr/mac FileZilla 안전하고 빠른 FTP 전송 filezilla.softonic.kr 혹은, 일반적인 사이즈의 데이터베이스의 경우 MySQL WorkBench에서 sql스크립트 파일을 열어 실행함으로써 데이터베이스를 업로드할 수 있었다. 하지만, 대용량 데이터베이스 파일의 경우 실행이 굉장히 오래걸릴 수도 있다. 2. 이때는 CLI환경에서 SCP(파일 전송 프로토콜)을 활용하여 데이터베이스를 업로드하는 것이 훨씬 빠르다. 1. .ssh폴더..
Skills/MySQL 2021. 11. 21. 00:43

[SQL] Crontab을 활용한 BACKUP - Cold Physical Backup

Backup의 종류 Hot Backup Cold Backup 데이터 베이스를 중지하지 않은 상태로 백업 데이터 베이스를 중지한 상태로 데이터 백업 백업하는 동안 서비스가 실행됨 백업하는 동안 서비스가 중단됨 백업하는 동안 데이터가 변경되어 완전한 백업이 안될 수도 있음 안정적으로 백업 가능 Logical Backup Physical Backup SQL 문으로 백업 파일 자체를 백업 느린 속도로 백업과 복원이 진행됨 빠른 속도로 백업과 복원이 진행됨 디스크 용량을 적게 사용함 디스크 용량을 많이 사용함 작업시 시스템 자원을 많이 사용함 작업시 시스템 자원을 적게 사용함 문제 발생에 대한 파악이 쉬움 문제 발생에 대한 파악과 검토가 어려움 서버 OS 호환이 잘됨 서버 OS 호환이 잘안될수 있음 Cold Ph..
Skills/MySQL 2021. 11. 21. 00:05

[SQL] Crontab을 활용한 BACKUP - Hot Logical Backup

Backup의 종류 Hot Backup Cold Backup 데이터 베이스를 중지하지 않은 상태로 백업 데이터 베이스를 중지한 상태로 데이터 백업 백업하는 동안 서비스가 실행됨 백업하는 동안 서비스가 중단됨 백업하는 동안 데이터가 변경되어 완전한 백업이 안될 수도 있음 안정적으로 백업 가능 Logical Backup Physical Backup SQL 문으로 백업 파일 자체를 백업 느린 속도로 백업과 복원이 진행됨 빠른 속도로 백업과 복원이 진행됨 디스크 용량을 적게 사용함 디스크 용량을 많이 사용함 작업시 시스템 자원을 많이 사용함 작업시 시스템 자원을 적게 사용함 문제 발생에 대한 파악이 쉬움 문제 발생에 대한 파악과 검토가 어려움 서버 OS 호환이 잘됨 서버 OS 호환이 잘안될수 있음 Hot Log..
Skills/MySQL 2021. 11. 20. 23:51

[SQL] BACKUP의 종류

Backup의 종류 - 작업을 지속할지 중단할지에 따른 분류 Hot Backup Cold Backup 데이터 베이스를 중지하지 않은 상태로 백업 데이터 베이스를 중지한 상태로 데이터 백업 백업하는 동안 서비스가 실행됨 백업하는 동안 서비스가 중단됨 백업하는 동안 데이터가 변경되어 완전한 백업이 안될 수도 있음 안정적으로 백업 가능 - 논리백업이냐 물리적백업이냐 분류 Logical Backup Physical Backup SQL 문으로 백업 파일 자체를 백업 느린 속도로 백업과 복원이 진행됨 빠른 속도로 백업과 복원이 진행됨 디스크 용량을 적게 사용함 디스크 용량을 많이 사용함 작업시 시스템 자원을 많이 사용함 작업시 시스템 자원을 적게 사용함 문제 발생에 대한 파악이 쉬움 문제 발생에 대한 파악과 검토가..
Skills/MySQL 2021. 11. 20. 23:49