본문 바로가기
하둡 에코 시스템(Hadoop ECO system) 하둡은 비즈니스에 효율적으로 적용할 수 있도록 다양한 서브 프로젝트가 제공됩니다. 이러한 서브 프로젝트들이 상용화되면서, 하둡 에코 시스템(Hadoop ECO system)이 구성됐습니다. 참고로 하둡 에코 시스템은 하둡 생태계라고 표현되기도 합니다. 아래 그림은 하둡 에코 시스템을 나타낸 것입니다. 분산 데이터를 저장하는 HDFS와 분석 데이터를 처리하는 MapReduce가 하둡 코어 프로젝트에 해당하며, 나머지 프로젝트는 모두 하둡의 서브 프로젝트입니다. 아파치 하둡 프로젝트에 속하는 프로젝트도 있지만, 업체에서 자사의 솔루션으로 이용하다가 오픈 소스로 공개한 프로젝트도 있습니다. 각 각의 서브 프로젝트들의 특징은 다음과 같습니다.1. Zookeeper분산 환경에서 서버들간에 상호 조정이 필요한 다양.. 더보기
스크랩 한나눔 형태소 분석기http://kldp.net/projects/hannanum매뉴얼 http://kldp.net/projects/hannanum/forum/316173 꼬꼬마 프로젝트는 서울대학교 IDS (Intelligent Data Systems) 연구실에서 자연어 처리를 하기 위한 다양한 모듈 및 자료를 구축하기 위한 과제로 크게 '형태소 분석기 및 자연어 처리 모듈 개발' 부분과 '세종 말뭉치 활용 시스템'으로 구분된다.http://kkma.snu.ac.kr/관련논문 http://ids.snu.ac.kr/w/images/f/f8/CPL2010-therocks.pdf 루씬 한글분석기 오픈소스 프로젝트http://cafe.naver.com/korlucene 더보기
3박5일 뉴욕 여행 이후... 처음 밟은 미국 땅은 그닥 낯선 곳은 아니었다. 특히.. 짧은 일정으로 간 뉴욕. 서울과 매우 비슷했고 다행히 친구들이 있어서 별로 외롭지도 않았고... 로밍이 자동으로 되니 페이스북을 끼고 살면서. ㅎㅎㅎㅎㅎㅎㅎㅎ 역시 난 SNS의 노예 ^^ 스물 넷. 결코 많지도 적지도 않은 나이에 나는 사회생활 2년차를 겪는다. 부족한 게 많아서이겠지만 유레카 프로젝트는 해제일만 바라보며 버텼다고 해도 과언이 아니다. 정말, 정말정말 힘들었다.그래서 Refresh 삼아 짧은 휴가였지만 훌쩍 떠나버렸다. NYC.... 높은 빌딩 숲, 조밀한 그들간의 간격, 일방통행, 무단횡단, 큼직큼직한 건물들...이런게 내가 느낀 느낌. 나는 카메라를 들고 다녔어도, 관광객 느낌은 안 났나보다.. 다들 내게 포토그래퍼냐고 물어왔다.. 더보기
데이터 마이닝 데이터마이닝: 대용량의 데이터로부터 이들 데이터내에 존재하는 관계, 패턴, 규칙 등을 탐색하고 찾아내어 모형화 함으로써 유용한 지식을 추출하는 일련의 과정들 데이터 마이닝 기법 1. Decision Tree : 과거 수집된 데이터를 분석하여 이들간 존재 패턴,부류별 특성 조합 2. 신경망 : 인간이 경험으로부터 학습해가는 두뇌의 신경망 활동을 모사하여 자신이 가진 데이터로부터 학습 과정을 찾아냄, 예측에 유용 3. 동시발생메트릭스: 존재하는 항목간 연관관계 발견 연관관계 규칙: 지지도,향상도,신뢰도 4. 클러스터링 : 어떤 목적 변수(Target)을 예측하기 보다는 고객수입.연령 같은 특성이 비슷한 고객을 묶어 몇 개의 의미 있는 군집으로 나눔. 데이터 마이닝과 OLAP 과의 비교 데이터마이닝 OLAP .. 더보기
방화벽(Firewall) / 응용 게이트웨이 방식 응용 게이트웨이 방식의 방화벽. (Application Gateway) - OSI 모델의 Application Layer에서 동작. - TCP header의 Data 영역까지 체크한다. - 해당 서비스 별로 별도의 Proxy 데몬이 구동되어 클라이언트와 서버 사이에서 접속을 관리한다. : 외부 시스템과 내부 시스템은 방화벽의 Proxy를 통해서만 연결이 허용되고, 직접 연결(IP Connection)은 허용되지 않기 때문에 외부에 대한 내부망의 완벽한 경계선 방어 가능, IP주소를 숨길 수 있다. * 장점 - 보안성이 뛰어남 - 다른 방화벽에 비해 강력한 로깅(Logging) 및 감사(Audit) 기능을 제공 - 프록시의 특성인 프로토콜 및 데이터 전달기능을 이용하여 사용자 인증이나 바이러스 검색기능과 .. 더보기
방화벽(Firewall) / 패킷 필터링 방식 패킷 필터링 방식의 방화벽. - OSI 모델에서 Network Layer(IP), Transport Layer(TCP)에서 작동. - IP 주소와 Port Number만 보고 접속 제어. * 장점 - Stateful Inspection 방식이나 Application gateway 방식에 비하여 처리 속도가 빠르고 적용/운용이 쉽다. (성능이 가장 좋음) * 단점 - 바이러스에 감염된 Mail과 첨부파일 등을 전송할 경우 차단 불가능 (TCP header의 Data영역을 보지 않기 때문) - 접속 제어 규칙의 개수 및 순서에 따라 부하 가중. 더보기
방화벽(Firewall)이란? 인증되지 않은 외부 사용자로부터 내부 네트워크의 접근을 막아 정보 유출을 막고 외부 네트워크와 안정적인 정보 전달을 수행하는 시스템. 허가되지 않은 외부 사용자가 내부 네트워크 정보에 불법적으로 접근하는 것을 방지하는 기능을 수행. 더보기
기획서 작성 10단계 - 출처 : 스카이벤처 - 분석과 전략을 논리적으로 표출하라 기획서 작성 활동은 분석과 전략으로 크게 나뉘어 진다. 분석은 기획서 작성을 위한 조사 활동과 조사한 내용을 더욱 작은 단위로 분할하거나 때로는 서로 다른 내용을 결합하는 등의 활동을 의미한다. 전략은 분석을 통하여 도출된 내용을 기획 전략과 실행 방안으로 표현해 내는 활동을 의미한다. 그렇기 때문에 거의 모든 기획서는 분석과 전략이라는 큰 틀 속에서 어떠한 순서와 얼마만큼 구체적으로 작성하느냐가 관건인 것이다. 기획서는 ‘논리’라는 큰 흐름에 ‘창의’라는 내용이 수록되어야 한다. 창의는 개인의 경험과 역량에 따라 다르게 표현될 수 있기 때문에 일반적으로 정형화가 어려우나 기획서의 논리적 전개는 일반적으로 다음과 같이 10단계로 정형화할 수 있.. 더보기
제목을 입력해 주세요. 사랑의 성숙은 내 삶을 사랑하는 상대를 통해 살려고 하지 않을때 온다. 서로에 대한 깊은 관심은 있지만 서로를 콘트롤하려고 들지않고 존중해 줄때, 나 혼자 있어도 괜찮고 같이 있으면 더 좋을때 완성된다. 더보기
유럽, 두근두근... 2010년 8월 9일. 8시, 좀 늦은 감이 있지만 집에서 출발. 김포공항에서 공항열차를 타고 가는데 왠 이집트인이 함께 가게 됐다. 이런저런 얘기를 하며 가는데 두바이에서 비지니스 개발자로 일하고 있고 한국에는 출장을 왔다고 한다. 나보고 영어를 잘한다며 학교에서 영어로 수업을 하냐고 물었다. 기분 좋은 상태로 인천공항에 도착, 전압컨버터를 수령하고 거의 바로 비행기에 탑승. 23:45, 이륙. 계속 가긴 하는데 시간은 자꾸 뒤로. 그래서 밤인채로 간다. 두바이에 현지 시각 4:30 쯤 도착. 한국 시간으론 9:30. 9시간 좀 넘게 비행했다. 기내식을 두번 먹었는데, 별로였다. 아랍 에미레이트 항공, 런던까지도 무사히 부탁해!! 7:45 비행기를 기다리고 있다. 두바이 공항에 LG의 로고가...! 우.. 더보기

티스토리툴바