기본 콘텐츠로 건너뛰기

[database] RDM and NoSQL

데이터베이스(DataBase)

데이터베이스는 체계화된 데이터의 모임이다. 즉, 작성된 목록으로 여러 응용 시스템들의 통합된 정보들을 저장하여 운영할 수 있는 공용 데이터의 집합체이다.
DB 구조
  • 데이터베이스 특징
    • 실시간 접근성
    • 지속적인 변화
    • 동시 공유
    • 내용에 대한 참조

데이터베이스 분류

데이터베이스는 크게 RDB와 NoSQL의 두종류로 나뉜다.
또한 하드디스크 저장 방식이 아닌 In-memory 방식과, 기존의 서버 - 클라이언트 구조에서의 대규모 서비스가 아닌 모바일과 같은 환경에서 쓰이는 경량 데이터방식(SQLite)이 존재한다.
RDB와 NoSQL에 대해 다뤄보도록 하겠다.

RDB

Relational database의 약자로 관계형 데이터베이스를 의미하며 데이터를 계층 구조가 아닌 단순한 표(관계)로 표현하는 형식이다. RDB는 데이터의 독립성이 높고, 고수준의 데이터 조작언어를 사용하여 결합, 제약, 투영 등의 관계 조작을 통해 표현능력을 높일 수 있다.
RDB는 한마디로 표현을 하면 excel이라고 표현할 수 있다.

이러한 RDB를 관리하는 시스템을 RDBMS(relational database management system)라고 부른다.
RDBMS의 데이터를 관리하기 위해 설계된 특수 목적 프로그래밍 언어인 SQL을 사용한다.
  • 종류
    • MySQL
    • MariaD
    • Oracl
    • PostgreSQl

SQL

관계형 데이터베이스 관리 시스템(RDBMS)의 데이터를 관리하기 위해 설계된 특수 목적의 프로그래밍 언어이다. 데이터베이스의 자료의 검색과 관리, 데이터 베이스 스키마 생성 및 수정, 데이터베이스 객체 접근 조정 관리를 위해 만들어 졌다. SQL은 데이터베이스로부터 정보를 얻거나 갱신하기 위한 표준 대화식 프로그래밍 언어이다.

CREATE TABLE 직원 (



    ID        INTEGER   PRIMARY KEY,



    성        CHAR(75)  not null,



    이름        CHAR(50)  null,



    생년월일  DATE      null



);
ID, 성, 이름, 생년월일이라는 컬럼이 포함된 직원 스키마(테이블)을 생성하였다.

INSERT INTO 직원(ID, 성, 이름, 생년원일) VALUES("1", "park", "matthew", "1993.07")



SELECT *FROM 직원



UPDATE 직원 SET 생년원일="9307"



DROP TABLE 직원
매우 직관적이기 때문에 어느정도 해석이 될 것이다.
  • 명령어 종류
    • DDL(Data Definition Language): 데이터 정의 언어
    • DML(Data Manipulation Language): 데이터 조작 언어
    • DCL(Data Control Language): 데이터 제어 언어

Transaction

데이터베이스 관리 시스템또는 유사한 시스템에서 상호작용의 단위이다. 여기서 유사한 시스템이란 트랜잭션이 성공과 실패가 분명하고 상호 독립적이며, 일관되고 믿을 수 있는 시스템을 의미한다.
간단하게 설명하면 데이터의 처리가 전부 되거나 전부 되지 않는것을 의미한다. RDBMS는 모든 데이터의 처리가 완벽하게 완료했을 경우 commit을 하고, 중간에 에러 혹은 장애로 인해 시스템에 문제가 생겼다면 rollback을 하여 기존의 데이터들이 변경되기 이전의 값으로 돌아간다.
  • Transaction 성질
    • 원자성(Atomicity) : 분리 할수 없는 하나의 단위로 작업은 모두 완료되거나 모두 취소되어야 한다.
    • 일관성(Consistency) : 사용되는 모든 데이터는 일관되어야 한다.
    • 격리성(Isolation) : 접근하고 있는 데이터는 다른 트랜잭션으로 부터 격리 되어야 한다. 트랜잭션은 진행되기 전과 완료후의 상태만 파악 할 수 있기때문이다. 트랜잭션이 진행하고 있는 동안 내부적으로 어떠한 방해를 받더라도 성공적으로 commit이 일어날 수 있다.
    • 순차성(Durability) : 데이터를 다시 로드하고 트랜잭션을 재생하여 원래 트랜잭션이 수행된 후의 상태로 데이터를 되돌리는 것을 말한다.
Atomicity, Consistency, Isolation, Durability 각각의 앞자를 따서 ACID이론이라고 부른다.
  • 예시
    1. 은행 인출기 앞으로 간다.
    2. 어떤 거래를 할지 선택을 한다.
    3. 비밀번호를 눌러 인증을 받는다.
    4. 거래를 완료를 한다.
이 1 ~ 4상황을 묶어서 트랜잭션이라고 부른다.
여기서 거래가 완료가 되었으면 commit을, 중간에 비밀번호가 틀리거나, 인증이 실패를 할 경우 rollback을 하여 거래하기 이전의 상태로 되돌아 간다.

NoSQL

전통적인 관계형 데이터베이스 보다 덜 제한적인 일관성 모델을 이용하는 데이터의 저장 및 검색을 위한 메커니즘을 제공하는 데이터베이스이다. NoSQL 데이터 베이스는 배포 용이성, 확장 가능한 성능, 고가용성 및 복원력으로 널리 인정받고 있다.
NoSQL은 문서, 그래프, 키-값, 컬럼 형식등 다양한 데이터 모델을 사용한다.


nosql struct

{



    "ID" : 1,



    "성" : "park",



    "이름" : "matthew",



    "생년월일" : 9307



}
비관계형, 분산 데이터 자료 공간 저장
  • 종류
    • 컬럼 : HBase, 아큐물로(Accumulo)
    • 도큐먼트 : 몽고DB(MongoDB), 카우치베이스(Couchbase)
    • 키 값 : 다이나모(Dynamo), 리악, Redis, 캐시, 프로젝트 볼드모트
    • 그래프 : Neo4J, 알레그로그래프(AllegroGraph), 버투오소
  • 의미
    • No SQL : SQL이 없다는 의미이다.
    • Not Only SQL : SQL뿐이 아니다. SQL말고도 더 있다.
    • NOn-relational operation database SQl : 비관계형 DB SQL

CAP이론

NoSQL에서는 ACID이론을 거의 언급을 하지않는다. NoSQL에서는 ACID를 중요하게 생각하지 않기 때문이다. 성능과 가용성 등을위해 ACID의 C와 I의 속성을 포기하고 분산 시스템에 더 적합하다고 생각되는 성질을 정리한 것이 BASE이다. BASE 이론에서 좀더 발전한 이론이 CAP이론이다.
  • CAP 성질
    • C(Consistency):
      ACID 에서의 C : 데이터는 항상 일관성 있는 상태를 유지
      CAP 에서의 C : 모든 노드가 같은 시간에 같은 데이터를 보여줘야 한다. 저장된 데이터까지 모두 같을 필요는 없다
      (위에서의 은행예시를 비교하면 어떻게 다른지 알 수 있다.)
    • A(Availability): 가용성. 특정 노드가 장애가 나도 서비스가 가능해야 한다.

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

[git] git log 확인하기

git log를 통해서 커밋 이력과 해당 커밋에서 어떤 작업이 있었는지에 대해 조회를 할 수 있다. 우선 git에서의 주요 명령어부터 알아보겠다. $ git push [branch name] $ git pull [branch name] 여기서 branch name은 로컬일 경우 해당 브런치 이름만 적으면 되지만 깃허브 원격 저장소로 연결을 원할 경우는 해당 브런치 이름 앞에 꼭 origin을 붙이도록 한다. $ git brnch [branch name] $ git checkout [branch name] branch일경우 해당 브런치를 생성을 한다. 여기서 현재의 브런치를 기준으로 브런치를 따는것이다. checkout은 브런치를 바꾸는 것이다.(HEAD~[숫자]를 이용하면 해당 커밋으로 움직일수 있다.. 아니면 해당 커밋 번호를 통해 직접 옮기는것도 가능하다.) -> 해당 커밋으로 옮기는 것일뿐 실질적으로 바뀌는 것은 없다. 해당 커밋으로 완전히 되돌리려면 reset이라는 명령어를 써야한다. 처음 checkout을 쓰면 매우 신기하게 느껴진다. 막 폴더가 생겼다가 지워졌다가 ㅋㅋㅋㅋㅋ  master 브런치에서는 ht.html파일이 존재하지만 a브런치에서는 존재하지않는다. checkout 으로 변경을 하면 D 로 명시를 해준다.  $ git log 해당 브런치의 커밋 내역을 보여준다. a 브런치의 커밋 내역들이다. (머지 테스트를 하느라 커밋 내용이 거의 비슷하다 ㅋㅋ) master 브런치의 커밋 내역들이다. 커밋 번호, 사용자, 날짜, 내용순으로 등장을 한다. 이건 단순히 지금까지의 내역을 훑어보기 좋다. 좀더 세밀한 내용을 봐보자. $ git log --stat --stat을 붙이면 기존의 로그에서 간략하게...
댓글 쓰기
자세한 내용 보기

[kali linux] sqlmap - post요청 injection 시도

아래 내용은 직접 테스트 서버를 구축하여 테스트 함을 알립니다.  실 서버에 사용하여 얻는 불이익에는 책임을 지지 않음을 알립니다. sqlmap을 이용하여 get요청이 아닌 post요청에 대해서 injection공격을 시도하자. 뚀한 다양한 플래그를 이용하여 DB 취약점 테스트를 진행을 해보려고 한다. 서버  OS : windows 7 64bit Web server : X Server engine : node.js Framework : expresss Use modules : mysql Address : 172.30.1.30 Open port : 6000번 공격자 OS : kali linux 64bit use tools : sqlmap Address : 172.30.1.57 우선 서버측 부터  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 var  express  =  require( 'express' ); var  app  =  express(); var  mysql  =  require( 'mysql' ); var  ccc  =  mysql.createConnection({     host: '127.0.0.1' ,     user: 'root' ,     pos...
댓글 쓰기
자세한 내용 보기

[git] pull을 하여 최신코드를 내려받자

보면 먼가 로고가 다르게 뜨는것을 확인을 할 수가있다. C:\Users\mung\Desktop\etc\study\python-gene>git checkout remotes/origin/master Note: checking out 'remotes/origin/master'. You are in 'detached HEAD' state. You can look around, make experimental changes and commit them, and you can discard any commits you make in this state without impacting any branches by performing another checkout. If you want to create a new branch to retain commits you create, you may do so (now or later) by using -b with the checkout command again. Example:   git checkout -b HEAD is now at 29e282a... fetch test C:\Users\mung\Desktop\etc\study\python-gene>git branch * (HEAD detached at origin/master)   master   test1   test2 깃이 잘 쓰면 참 좋은놈인데 어지간히 쓰기가 까다롭다. 처음에 깃을 푸시 성공하는데만 한달정도 걸렸던걸로 기억이 난다.. ㅋㅋㅋ 여담으로  깃 프로필을 가면 아래사진 처럼 보인다. 기여도에 따라서 초록색으로 작은 박스가 채워지는데 저걸 잔디라고 표현을 한다고 합니다 ㅎ 저 사진은 제 깃 기여도 사진입니당 ㅋㅋㅋㅋ 다시 본론으로 돌아와서 ㅋㅋ pull을 하면...
댓글 쓰기
자세한 내용 보기