웹 환경 정보검색시스템

 인터넷에 존재하는 수 많은 웹 페이지들을 수집하여 수집된 내용을 적절한 가공 과정을 거쳐 특별한 형태의 파일로 문서화하고, 검색 엔진과 같은 인터넷 정보 검색 시스템을 통해 이용자의 질의에 적합한 페이지 정보를 탐색하여 찾아내 이용자에게 제공하는 것을 의미한다. 따라서 정보 중 이용자의 질의에 맞는 검색을 해주는 것이다.

 

Indexer(색인모듈)은 단어 목록 (단어 발생 리스트) 기능을 하며

Retriever(검색모듈)은 색인을 사용하여 페이지의 순위를 매기는 기능을 하는 것으로 구분된다.

웹 환경 정보검색시스템 (Indexer :  색인 모듈 , Retriever :  검색모듈 )

 

자료

기상청 기상자료개방포털

data.kma.go.kr/stcs/grnd/grndTaList.do?pgmNo=70

 

기상자료개방포털[기후통계분석:통계분석:기온분석]

자료설명 지점별로 기온의 시계열 분석을 확인합니다. 일, 월, 연의 평균기온, 최저기온, 최고기온을 각각 조회할 수 있습니다. * '지역/지점'의 '지역'은 전국 및 광역 단위의 평균 제공(1973년~)

data.kma.go.kr

공공데이터포털

https://www.data.go.kr/

 

공공데이터 포털

국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase

www.data.go.kr

 

실습

python

https://www.python.org/

 

Welcome to Python.org

The official home of the Python Programming Language

www.python.org

Anaconda

패키지 관리와 디플로이를 단순케 할 목적으로 과학 계산을 위해 파이썬과 R 프로그래밍 언어의 자유-오픈 소스 배포판

jupyter notebook : 에디터

www.anaconda.com/products/individual

 

Anaconda | Individual Edition

Anaconda's open-source Individual Edition is the easiest way to perform Python/R data science and machine learning on a single machine.

www.anaconda.com

 

 

공공데이터 csv import 후 통계
L : 공공데이터 import R : 숫자데이터 numpy 라이브러리

 

 

소프트웨어 공학

StarUML

UML 도구

 

http://staruml.io/

 

StarUML

UML 2 Compatible with UML 2.x standard metamodel and diagrams: Class, Object, Use Case, Component, Deployment, Composite Structure, Sequence, Communication, Statechart, Activity and Profile Diagram. Additional Diagrams Support to create Entity-Relationship

staruml.io

출처 http://staruml.io/
온라인 쇼핑몰 Class Diagram 작성 실습

 

 

 

 

sub : 정보검색

🙋

JRE(Java Runtime Enviroment ) : 컴파일된 자바 프로그램을 실행시킬 수 있는 자바 환경 
JDK(Java Development Kit)      : 자바 프로그래밍시 필요한 개발 도구 포함 (JRE+@)
(참고 https://stackoverflow.com/questions/1906445/what-is-the-difference-between-jdk-and-jre
Apache Tomcat : 웹 애플리케이션 서버(AWS).
웹 서버와 연동하여 실행할 수 있는 자바 환경 제공. HTTP 서버 자체 내장. 
Apache Lucene : 검색엔진. 자바로 개발된 정보검색 라이브러리
elastic : Lucene 기반의 Java 오픈소스 분산 검색 엔진

 

1. oracle - java 설치(JDK/JRE)

- JDK 다운  Windows x64 Installer

https://www.oracle.com/kr/java/technologies/javase/javase-downloads.html

 

- JRE 다운 

https://www.oracle.com/java/technologies/

https://www.oracle.com/downloads/#category-java

https://www.java.com/ko/download/win10.jsp

 

- 경로 확인

C:\Program Files\Java  

 

- 환경변수 

해당 내용 참고 

java 경로 확인

2.tomcat 설치
- 64-bit Windows zip 다운 tomcat 9
tomcat.apache.org/download-90.cgi
재부팅 후 startup.bat 배치프로그램 실행
 localhost:8080 . 인터넷 창 고양이 나오면 연결 완료 


- 환경변수 
(해당내용 참고 . 재부팅)

 

 

0. 환경 변수 

- CLASSPATH - LuceneTest 경로 설정

시스템 변수 - CLASSPATH - (.; lucene 위치)


- JAVA HOME - java의 jdk 파일 경로 설정 (JAVA JRE 경로도 추가. 안해도 되긴함) 

시스템 변수 - JAVA_HOME - (java jdk 위치)


- Path- JAVA HOME 경로 설정 //마지막 줄 

 

시스템 변수 - Path - .;%JAVA_HOME%bin;


- 사용자 변수 Path - java jdk 경로 추가 (이 방법이 필요 없을 수 있지만 javac 명령이 되지 않았을때 이 방법을 이용하였음) (참고 https://programmers.co.kr/learn/questions/188)

 

사용자변수 - Path - (java jdk 위치)

 

 

3.lucene 설치
- 다운 
https://lucene.apache.org/core/downloads.html
https://www.apache.org/dyn/closer.lua/lucene/java/8.6.0/lucene-8.6.0.zip
- 압축 풀어서 LuceneTest 폴더 생성 후 압축 해제한 파일을 넣고 java 파일 4개 꺼내두기 
- 환경변수 
해당 내용 참고 

- 현재 LucenTest 폴더 상태

 

- cmd

 javac	//java 확인 

 

//압축 풀기 
jar xvf lucene-analyzers-common-8.6.0.jar

jar xvf lucene-core-8.6.0.jar

jar xvf lucene-demo-8.6.0.jar

jar xvf lucene-queryparser-8.6.0.jar

압축 풀기 완료

 

- 색인 생성 

java org.apach.lucene.demo. IndexFiles -docs lucene-8.6.0 //색인 생성

lucene-8.6.0 버전. 색인할 대상이 파일들이 있는 폴더 경로 

- 검색 테스트 

java org.apache.lucene.demo.SearchFiles
String //Enter Query 

 

- 검색결과

 

4. Download Elasticsearch, Download Kibana

-다운 
https://www.elastic.co/kr/downloads/

https://www.elastic.co/kr/downloads/kibana

압축 푼 후 C드라이브로 옮기기

-elasticsearch 실행
elasticsearch.bat 배치프로그램 실행
-kibana 실행 
kibana.bat 배치프로그램 실행 . localhost : 5601 실행 완료 확인

elasticsearch.bat 배치프로그램 실행

 

kibana.bat 배치프로그램 실행 . localhost : 5601 실행 완료 

 

'Univ. > Project' 카테고리의 다른 글

정보검색 & 소프트웨어공학  (0) 2020.07.29

+ Recent posts