1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는...

18
(주)비즈테코

Transcript of 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는...

Page 1: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

(주)비즈테코

Page 2: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

1. Data Integration 개요

2. 개발 배경 및 솔루션 개요

3. 주요 특장점

4. 기능 및 구성

5. 지원규격

6. 비교자료

7. 사용용도 및 적용 분야

8. 적용 사례

9. 회사 개요

Page 3: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

1. Data Integration 개요

기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를 모으고, 이 데이터들이 가치있고 재사용 가능한 정보, 즉 “지능적인 정보”가 되도록 만들어 주는 과정

Data Integration 업무 분류

Data Integration이란 ?

ETL EAI ESB

Extract

(source)

Files

DB

Transform Load

(target)

ETL

Server

DW

DM 기간계

EAI

ERP

CRM

SCM

Internal Application

Database

Legacy

대외기관

Enterprise Portal

Application

Page 4: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

4 ㈜비즈테코

2. 개발 배경 및 솔루션 개요

D.I ISSUE iShark 개요

해법

Page 5: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

5 ㈜비즈테코

3. 주요 특장점

신속성 • Hybrid 엔진 구현 – Monolithic & Micro 엔진 장점 도입

• Zero Copy 및 Memory 압축 기술 구현

• Windows/Linux/Unix 등 모든 OS지원 빠른 처리 기술

단순성 • 다양한 Adaptor/Agent를 단일 Command로 구현

• DBMS, Socket통신, JMS의 전문 기술 없이 개발 가능

• SYSTEM, OS, DBMS, 통신Protocol 환경에 독립적

유연성 •독자 개발의 국내 기술 솔루션 완성 – Open Source지원

•고객요구 반영한 Customizing 및 Java 개발 환경 지원

•이기종 시스템간 inteface 구현 용이

편리성

•통합개발환경(IDE) – Language방식 ETL/EAI/ESB 통합처리기술

• JMS Broker 내장 – 메시지 핸들링 기술

•실행 Script & 환경설정 Property 구성을 통한 생산성 극대화

•수준높은 Monitoring System 지원

안정성 •전문 암호화를 통한 안정성 확보

•최적화된 엔진 구현으로 시스템 영향 최소화

Page 6: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

6 ㈜비즈테코

4. iShark 기능 및 구성

4-1. iShark interface구성도

iShark

JMS Broker

Interface 시스템

iShark

iShark

iShark

Active MQ Service

(Socket 통신)

iShark 통합 I/F

Monitoring Server

Socket 통신

Socket 통신

Socket 통신

Socket 통신

Socket 통신

Oracle DB Server

MySQL / MS SQL

DB2 / Sybase

File

FTP Server

. . .

Oracle DB Server

Altibase / PostgreSQL

CUBRID / TiBERO

File

. . .

Interface 시스템

DB

TCP/UDP

FTP

Multi-Casting

DB

TCP/UDP

FTP

Multi-Casting

DB

TCP/UDP

FTP

Multi-Casting

DB

TCP/UDP

FTP

Multi-Casting

Page 7: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

7 ㈜비즈테코

4-2. 구현 기능 Matrix 및 지원 DBMS

ETL (Resource) EAI (Protocol)

DB File Excel FTP JMS TCP UDP Multi-cast

DB O O O O O O O O

File O O O O O O O O

Excel O O O O O O O O

FTP O O O O O O O O

JMS O O O O O O O O

TCP O O O O O O O O

UDP O O O O O O O O

Multi-cast O O O O O O O O

4. iShark 기능 및 구성

* 지원DBMS

ORACLE, DB2, SYBASE, SQLServer, CUBRID, TIBERO, Cassandra, MySQL, TERADATA,

ALTIBASE, PostgreSQL, Mongo, Derby . . . 지원

Page 8: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

8 ㈜비즈테코

4. iShark 기능 및 구성

4-3. iShark Language (Reserved Command)

기 능 명령어 예

ETL 관련 (SQL관련) SQLExe, SQLArray, DSelect, XSelect, Dinsert, DMerge, Dupdate, Ddelete,….

EAI 관련 TcpSend, TcpRecv, UdpSend, UdpRecv, FtpSend, FtpRecv, MdpSend, MdpRecv,..

ESB (JMS 명령어) JQueuePut, JQueueGet, JTopicPut, JTopicGet, JMS commit/rollback,….

Excel & File interface FileSave, FileRead, ExcelDSave, ExcelXSave, ExcelDRead, ExcelXRead,…

Encoding EnCoding UTF8/MS949/KSC5601/CP834/ISO8859-1/ISO8859-2/EBCIDIC/...

XML 변환 XSLT, XQuery, XPath

암호화 / 압축 EnCrypt, DeCrypt, GZip, GUnzip

Customizing VTS2FileRead, Load Table(SybaseIQ), ….

외부 프로시져 호출 Jcall, J2Call(자바method호출), Exec(외부실행프로그램호출),…….

Data Handler SQL_DATA_VERIFICATION_CALL ( java call)

Runtime Argument 예)ARG1, ARG2, ARG3, ARG4,…. ${From_Date}, ${To_Date}, ${column_name},

Page 9: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

9 ㈜비즈테코

SQL 문법 자동 완성 SQL Tool 내장 도움말 – 기능별 예제 다양한 Debugging 모드 다양한 조회 창 Database manager

4. iShark 기능 및 구성

4-4. 개발지원도구

통합개발환경(IDE)

ESB 구축시 개발자가 전송되는 메시지내용을 직접 보며 송.수신 업무를 개발할 수 있도록 지원하는 Tool.

Queue Browser

Page 10: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

10 ㈜비즈테코

Batch Job Scheduling

순차적 / 단독 처리

수행성공여부에 따른 선택적

작업 분기

Job별 로그 기록 조회

Job별 동작 상태 확인

4. iShark 기능 및 구성

4-5. 운영지원도구

Job Scheduler Monitoring System ESB Broker Monitor

Monitoring Server

실시간 / Log Monitoring

다중 Monitoring

송수신 처리 정보

Customized Log Viewer

System (OS, JVM ,Broker) 상황 Monitoring

실시간 Message 송.수신 현황 Monitoring

Queue Depth에 따른 Coloring 으로 이상 Queue 감지 용이

Browse Queue : 메시지내용 조회 Copy Queue Queue/Topic별 대기 customer,

provider 조회

Page 11: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

11 ㈜비즈테코

분야 지원 규격 내용

공통

• 다양한 하드웨어 플랫폼(AIX/Solaris/HP-UX/Linux/Windows)지원 • ETL/EAI/ESB 통합 기능을 한 개의 제품에서 지원 • 각종 표준 프로토콜 지원 (JMS, HTTP(S). UDP, Multicast. TCP/IP, SSL, Excel, File, XML, DB 등 제공) • 민간 및 국가 표준 암호화 알고리즘 지원(SEED, ARIA, AES) • 웹서비스 표준을 준수하는 상호 연동성 • XML DB와의 편리한 연계기능 및 XSLT, XQuery, XPath 기반의 XML 변환 지원 • 통합개발환경(IDE)내에서 Editor, Debug, DB Tool(DDL/DML 기본지원), Monitoring을 동시에 지원. • JMX등 표준에 따른 서비스 현황 실시간 통합 모니터링 지원

ETL

• 이기종 DBMS간 Join 지원 및 통합 Adapter 제공 (Oracle, Informix, Sybase, Tibero, Altibase, MS SQL, MySQL, Cassandra, MongoDB, Derby, PostgreSQL) • Excel 과 DB Join • 대용량 Batch 처리 기능 제공 및 데이터 변환 지원

EAI/ESB

• JMS Broker가 내장된 ESB 엔진 • 트랜잭션 무결성 보장 및 High Availability기능 지원(S/W HA구성) • 이중화 구성 지원, 장애처리시 재전송 기능 지원 • DB, File, 웹 서비스 등의 동기, 비동기, 실시간, 배치방식의 연계를 지원하는 다양한 연계Adapter를 제공

하여 데이터 연계 구성 • 송수신 메시지에 대한 암호화/복호화 지원 • 파일전송 시 물리적인 분할 과정 없이 원본 파일 단위로 전송하며, 파일 크기의 제한이 없어야 함 • 지원 메시지 포맷 - Text(Fixed Length, Delimeter, XML), Map, Byte, Stream, Object Message • 메시지의 무결성 및 비밀성 보호와 송신자의 인증 • 연계시스템과 상호 호환성 보장과 다양한 connectivity 기능 제공 • 다양한 시스템 인터페이스 및 프로토콜(TCP/IP, HTTP(S), SOAP/HTTP, SOAP/JMS, WSDL, JMS, SSL, FTP,

MQTTP 등)지원

5. 지원 규격 한국정보통신기술협회(TTA)

2013년 06월 03일

13-0111

Page 12: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

12 ㈜비즈테코

6.비교자료

ETL BMT 모병원 CRDW 구축POC

6-1. 타 솔루션 대비 BMT & POC

Page 13: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

13 ㈜비즈테코

6-2. iShark와 기존방식(Adaptor) TCO 비교

6. 비교자료

Pilot 구축

개발 및 확장 …

테스트 비용

생산성 비용

Risk 비용

Data Migration

유지보수 비용

교육훈련 비용

기존방식 iShark

Page 14: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

14 ㈜비즈테코

구 분 내 용

사 용 용 도 . EAI / ESB / ETL / DW / EDW / Migration

. Big data 분석 / 설계 / 운영 등 다양한 업무에 적용 가능.

적 용 분 야

공공기관, 군, 교육, 의료, 교통, 통신, 금융, 자동화, 제조, 건설, 유통 등 모든 산업 분야 에 걸쳐 Data Integration Issuer가 있으므로 광범위하게 적용 가능.

[ 적용 예 ]

⦁ 산업전반에 걸쳐 ERP, SCM, CRM, MES 간 Application 연동

⦁ 공공기관의 행정업무통합 및 타 기관과의 연계

⦁ 의료기관의 처방전달시스템(OCS), 전자기록지(EMR), 영상의료전달시스템 (PACS)간 연계

⦁ 금융기관의 대외계 (각 금융 기관의 대외망과 대내망을 연결하는 시스템) 연계

- CD, 타행환, 전자금융, 사이버증권, 펌뱅킹, 신용정보 등 대내외 채널들 통합 등등

⦁ 은행 보험사간 방카슈랑스 실시간 연계

⦁ 항공사와 여행사간 발권정보 실시간 공유

⦁ 정부기관 VTS(Virtual Tape Storage) SAM File을 DBMS로 Migration

⦁ Big data 처리에 적용 가능

⦁ 모든 산업분야 DW 고도화 및 Migration.. 등..

7. 사용용도 및 적용분야

Page 15: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

15 ㈜비즈테코

Mainframe / DB2

22종 업무, 186 Table / 3~5억

건 건

IBM Data Stage

AIX / DB2 OLAP

EXA DW

배치 작업 동시 수행 시 5시간 이내 소요(7시간 이상 단축)

Mainframe / DB2

22종 업무, 186 Table / 5억 건

8-1. 이기종간 ETL(Mainframe/DB2)

8. 적용 사례 (경찰청 수사정보 통합 포털시스템)

24:00-09:00

타 서비스 중단

24*365

무중단

Embedded in EXA

Page 16: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

16 ㈜비즈테코

1년 기준 추출 시 24시간 이상 소요(VTS: Virtual Tape Storage)

5년 기준 추출 시 10일 이상 소요

지방청 본청 정보계 수사 자료(50억 건)

8-2. VTS SAM File to Oracle EXA DB화

8. 적용 사례 (경찰청 수사정보 통합 포털시스템)

조회요청

결과전송

5년 기준 추출 시 1~2분 소요

EBCDIC변환

VTS 한글 완벽 변환 수사 자료(50억 건) 지방청

직접 조회

Page 17: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

17 ㈜비즈테코

8-3. Component 방식 ESB

8. 적용 사례 (태권도원 ESB 구축)

JMS Broker

영림원 ERP

MS-SQL

C#

iShark API

(Component)

TIS

Linux

Jeus

Oracle 11g

홈페이지

Linux

Oracle

Java

통합

커뮤니케이션

Linux

MySQL

Java, PHP

업무관리

Linux

Oracle

Java

iShark API

(Component)

iShark API

(Component)

iShark API

(Component)

iShark API

(Component)

iShark

with ActiveMQ

iShark Monitoring Server

DB종류와 개발언어가 다른 5개 업무 시스템간 연계업무를

ESB로 구축

iShark ActiveMQ를 JMS Broker로 하고 Component(API)

를 개발언어별로 제공하여 연계업무를 빠르게 구축

관리자를 위한 ActiveMQ Monitor 제공

개발자를 위한 Queue Browser 제공

Page 18: 1. Data Integration 개요 - fkii.org · 1. Data Integration 개요 기업 내 산재되어 있는 다양한 데이터 소스들과 시스템, 애플리케이션 등으로부터 데이터를

18 ㈜비즈테코

2002년 설립이후 (주)비즈테코는 다양한 시스템 구축경험과

차별화된 기술력을 바탕으로 순수 국산 제품개발에

총력을 기울이며 기술력을 선도하고자 합니다.

자체 솔루션 개발, 대외 프로젝트 수행, 대외 OEM 기반

제품화 등 일반 업체와 차별화되는 기술 기반의 소프트웨어

개발사로서 다양한 개발 및 구축 경험을 바탕으로 Global IT

전문회사로의 도약을 준비하고 있습니다.

회 사 명 ㈜비즈테코

설 립 연 도 2002년 8월

대 표 이 사 김 진 화

주요 사업 분야

• IT 컨설팅 (ISP, ITA-EA, 차세대 시스템 마스터플랜 수립)

• SI 및 SM (어플리케이션 개발, 데이터 모델링, EAI,

DB/EDW 구축, ITSM 설계, 성능 분석 및 튜닝)

• 솔루션 개발 (어플리케이션 & 데이터 개발 Framework,

EAI)

• Mobile을 이용한 시설물관리 시스템 外

소 재 지 본 사 : 경기도 파주시 탄현면 법흥리 1718

기술연구소: 서울시 서대문구 충정로3가 227-1 우리타워 2층

연 락 처

본사 : Tel. 031-957-8893 Fax. 031-949-3706

기술연구소: Tel. 070-8864-5908

E-Mail : [email protected]

홈페이지 www.bizteco.com

임 직 원 수 7명

기업 이념

* GS인증(iShark ME) *프로그램등록증(바젤II) *부설연구소인정서

인증 현황

9. 회사 개요