Upload files to 'pages/students/2016/jan_holp/dp2021/zdrojove_subory'
This commit is contained in:
		
							parent
							
								
									fe02c66cc0
								
							
						
					
					
						commit
						e4bf004c74
					
				
							
								
								
									
										105
									
								
								pages/students/2016/jan_holp/dp2021/zdrojove_subory/cassandra.js
									
									
									
									
									
										Normal file
									
								
							
							
						
						
									
										105
									
								
								pages/students/2016/jan_holp/dp2021/zdrojove_subory/cassandra.js
									
									
									
									
									
										Normal file
									
								
							@ -0,0 +1,105 @@
 | 
				
			|||||||
 | 
					//Jan Holp, DP 2021
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					//client1 = cassandra
 | 
				
			||||||
 | 
					//client2 = elasticsearch 
 | 
				
			||||||
 | 
					//-----------------------------------------------------------------
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					//require the Elasticsearch librray
 | 
				
			||||||
 | 
					const elasticsearch = require('elasticsearch');
 | 
				
			||||||
 | 
					const client2 = new elasticsearch.Client({
 | 
				
			||||||
 | 
					   hosts: [ 'localhost:9200']
 | 
				
			||||||
 | 
					});
 | 
				
			||||||
 | 
					client2.ping({
 | 
				
			||||||
 | 
					     requestTimeout: 30000,
 | 
				
			||||||
 | 
					 }, function(error) {
 | 
				
			||||||
 | 
					 // at this point, eastic search is down, please check your Elasticsearch service
 | 
				
			||||||
 | 
					     if (error) {
 | 
				
			||||||
 | 
					         console.error('Elasticsearch cluster is down!');
 | 
				
			||||||
 | 
					     } else {
 | 
				
			||||||
 | 
					         console.log('Everything is ok');
 | 
				
			||||||
 | 
					     }
 | 
				
			||||||
 | 
					 });
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					//create new index skweb2
 | 
				
			||||||
 | 
					client2.indices.create({
 | 
				
			||||||
 | 
					    index: 'skweb2'
 | 
				
			||||||
 | 
					}, function(error, response, status) {
 | 
				
			||||||
 | 
					    if (error) {
 | 
				
			||||||
 | 
					        console.log(error);
 | 
				
			||||||
 | 
					    } else {
 | 
				
			||||||
 | 
					        console.log("created a new index", response);
 | 
				
			||||||
 | 
					    }
 | 
				
			||||||
 | 
					});
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					const cassandra = require('cassandra-driver');
 | 
				
			||||||
 | 
					const client1 = new cassandra.Client({ contactPoints: ['localhost:9042'], localDataCenter: 'datacenter1', keyspace: 'websucker' });
 | 
				
			||||||
 | 
					const query = 'SELECT title  FROM websucker.content WHERE body_size > 0  ALLOW FILTERING';
 | 
				
			||||||
 | 
					client1.execute(query)
 | 
				
			||||||
 | 
					  .then(result => console.log(result)),function(error) {
 | 
				
			||||||
 | 
					    if(error){
 | 
				
			||||||
 | 
					      console.error('Something is wrong!');
 | 
				
			||||||
 | 
					      console.log(error);
 | 
				
			||||||
 | 
					    } else{
 | 
				
			||||||
 | 
					        console.log('Everything is ok');
 | 
				
			||||||
 | 
					    }
 | 
				
			||||||
 | 
					  }; 
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					/*
 | 
				
			||||||
 | 
					async  function indexData() {
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					  var i = 0;
 | 
				
			||||||
 | 
					  const query = 'SELECT title  FROM websucker.content WHERE body_size > 0  ALLOW FILTERING'; 
 | 
				
			||||||
 | 
					  client1.execute(query)
 | 
				
			||||||
 | 
					    .then((result) => {
 | 
				
			||||||
 | 
					    try {
 | 
				
			||||||
 | 
					        //for ( i=0; i<15;i++){
 | 
				
			||||||
 | 
					        console.log('%s', result.row[0].title)
 | 
				
			||||||
 | 
					      //}
 | 
				
			||||||
 | 
					  } catch (query) {
 | 
				
			||||||
 | 
					      if (query  instanceof SyntaxError) {
 | 
				
			||||||
 | 
					          console.log( "Neplatne query" );
 | 
				
			||||||
 | 
					        } 
 | 
				
			||||||
 | 
					  }
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					    
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					    });
 | 
				
			||||||
 | 
					      
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					  }
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					/*
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
					//indexing method
 | 
				
			||||||
 | 
					const bulkIndex = function bulkIndex(index, type, data) {
 | 
				
			||||||
 | 
						let bulkBody = [];
 | 
				
			||||||
 | 
						id = 1;
 | 
				
			||||||
 | 
					const errorCount = 0;
 | 
				
			||||||
 | 
						data.forEach(item => {
 | 
				
			||||||
 | 
							bulkBody.push({
 | 
				
			||||||
 | 
								index: {
 | 
				
			||||||
 | 
									_index: index,
 | 
				
			||||||
 | 
									_type:  type,
 | 
				
			||||||
 | 
									_id :   id++,
 | 
				
			||||||
 | 
								}
 | 
				
			||||||
 | 
							});
 | 
				
			||||||
 | 
							bulkBody.push(item);
 | 
				
			||||||
 | 
						});
 | 
				
			||||||
 | 
					        console.log(bulkBody);
 | 
				
			||||||
 | 
						client.bulk({body: bulkBody})
 | 
				
			||||||
 | 
							.then(response => {
 | 
				
			||||||
 | 
					
 | 
				
			||||||
 | 
								response.items.forEach(item => {
 | 
				
			||||||
 | 
									if (item.index && item.index.error) {
 | 
				
			||||||
 | 
										console.log(++errorCount, item.index.error);
 | 
				
			||||||
 | 
									}
 | 
				
			||||||
 | 
								});
 | 
				
			||||||
 | 
								console.log(
 | 
				
			||||||
 | 
									`Successfully indexed ${data.length - errorCount}
 | 
				
			||||||
 | 
									out of ${data.length} items`
 | 
				
			||||||
 | 
								);
 | 
				
			||||||
 | 
							})
 | 
				
			||||||
 | 
							.catch(console.err);
 | 
				
			||||||
 | 
					};
 | 
				
			||||||
 | 
					*/
 | 
				
			||||||
		Loading…
	
		Reference in New Issue
	
	Block a user