Cassandra / Solrクラスターのハードドライブの最適化 -- solr フィールド と cassandra フィールド と datastax-enterprise フィールド 関連 問題

Optimizing hard drives in a Cassandra/Solr cluster












0
vote

問題

日本語

現在、Cassandra / Solrクラスターを運営しており、現在CassandraとSolrは各ノードの同じハードドライブに存在します。

各ノードにSSDドライブを追加し、ハードドライブを分離するためにCassandraとSolrを効果的に分離しています。ただし、ノードごとに2つのSSDを追加したいのですが、予算上の制約により、今やノードごとに2つの別々のドライブを購入できなくなり、1。

は、当社の顧客の日中のデータベースの主な用途は、彼らが私達の正面のUI / Solrを介してデータベースに照会することであるため、最も重要なことは全体の潜在的な読み取り/クエリのためにそれを最適化することです。営業日(すべての処理、分析など)が数時間後に発生します。これはSSDドライブの最良の/最も効果的な使用、それらにSOLRを入れて、またはCassandra?

私はパフォーマンスが向上していない、むしろ私はより速いドライブにSolrを入れることを私の状況でもっと有利であることを考えています。

英語

We run a Cassandra/Solr cluster, currently with Cassandra and Solr residing on the same hard drive in each node.

I'm looking to add an SSD drive to each node, and effectively separate Cassandra and Solr to separate hard drives. I'd like to add 2 SSDs per node, however due to budgetary constraints I most likely won't be able to purchase 2 separate drives per node right now, and will be limited to 1.

That said, our main use of the database during the day for our customers is that they query the database via our fronted UI/Solr, so the most important thing is to optimize it for all of the potential reads/queries throughout the business day (all processing, analytics, etc happens after hours). Which would be the best/most effective use of the SSD drives, put Solr on them or Cassandra?

I'm not expecting a miracle increase in performance, rather I'm thinking that putting Solr on the faster drive would be more advantageous in our situation, just want to verify I'm looking at this correctly.

</div
        
 
 

回答リスト

0
 
vote

私はあなたが述べたもの以外のあなたの環境について何も仮定しませんが、DSE検索は索引付けパスに沿ってCassandraから読み取られることに留意してください(読み取り前の書き込み(挿入のための有効な文書全体を確実にするLucene Index)とクエリパス(ストアドドキュメントフィールドは、Lucene自体ではなくCassandraから取得されます)。最適には、検索クエリは、OSページキャッシュにロードされているLuceneインデックスのSolrフィルタキャッシュとSegments / DocValuesにアクセスします。

 

I won't assume anything about your environment, other than what you have mentioned, but keep in mind that DSE Search will read from Cassandra both along the indexing path (read-before-write to ensure valid whole documents for insertion into the Lucene index) and the query path (since stored document fields are retrieved from Cassandra, not Lucene itself). Optimally, your search queries will be accessing the Solr filter cache and segments/docValues of your Lucene index loaded into your OS page cache.

</div
 
 
0
 
vote

システムメモリに対するSOLRインデックスのサイズを言及しません。

あなたのSOLR指数はRAMに収まります...私の経験では、RAMの価格がRAMのSOLRインデックスをフィットするのを防ぎ、SSDSにSOLRインデックスを入れると、パフォーマンスが劇的な改善があります。

Cassandra SstablesがSSDのプラッタとSOLRインデックスの上にある混合ストレージシステムを実行するのは非常に限られていますが、私が価値のあるアプローチであることを提案し、それでも依然として大きなパフォーマンスの改善を提供する必要があります。< / P>

 

You don't mention the size of your Solr index relative to system memory.

In an ideal world, your Solr index fits in RAM... in my experience, when the the price of RAM prevents you from fitting the Solr index in RAM, putting the Solr index on SSDs provides a dramatic improvement in performance.

I have very limited experience running a mixed-storage system where the Cassandra SSTables are on platters and Solr indexes on SSDs, but what experience I have suggests that's a worthwhile approach and should still provide significant performance improvements vs 100% platters.

</div
 
 

関連する質問

1  BLOBの問題(Cassandra Driver、Python)  ( Issue with blobs cassandra driver python ) 
テストの一部として、Cassandra Stress Tool(Standard1、keyspace1)によって生成されたテーブルの1つの表のすべての行を選択して削除するためのCassandra Pythonドライバを使用しています。 Standard1はいく...

0  CASSANDRAコレクションデータ型の列を削除/変更するためのベストプラクティスは何ですか?  ( What are best practices for deleting altering cassandra columns of collection da ) 
Cassandraテーブルでは、データ型のデータ型を変更するたびに問題が発生します。例えば: text から<コード>に変更するには、次のことを行います。 既存の列を落とす Cassandraがこの変更を同化させるのを待ちます。 列を追加(同じ名前)...

1  Datastax / Cassandra tarボールのインストール&サービスとしての実行  ( Datastax cassandra tar ball installation run as service ) 
ダウンロードした&amp。 Cassandra tarボールパッケージを抽出しました。バックグラウンド&ampの両方でプロセスを抽出した場所から実行できます。前景モード。誰かがこれをサービスとして実行するための指示を私に提供することができますか?サーバーが再起...

1  DSE 4.8 Solr Deepページングパフォーマンス問題  ( Dse 4 8 solr deep paging performace issue ) 
Solr Deep-Paging Performanceについて質問があります。 DSE 4.8クラスター(Cassandra + Solr)をインストールし、DEPPページングに関する問題を発生させるまでうまくいっています。 SOLRはよく検索と索引付けデ...

2  Cassandraユーザーパスワードを編集できません  ( Unable to edit cassandra user password ) 
Datastax Cassandra Enterprise Versionをインストールし、デフォルトのパスワードを変更することはできません。 <事前> <コード> ALTER USER cassandra WITH PASSWORD 'newpasswor...

1  整数を使用していないgip cqlstorage  ( Pig cqlstorage not working with integers ) 
Datastaxからティックの例を実行しています: HTTP ://www.datastax.com/docs/datastax_enterprise3.1 / solutions/about_pig#pig-read -write 私はDataStax E...

2  DatasTax authorizerの例外  ( Datastax authorizer exception ) 
作成したロールに対する権限を付与しようとしている間は例外を取得しています。 コマンド: KS_ADMINにKS_ADMINにすべての権限を付与します。 エラー: ServerError:java.lang.UnSupportedOperati...

8  CassandraでApacheドリルを使う方法  ( How to use apache drill with cassandra ) 
Apacheドリルを使用してCassandraを照会しようとしています。私が見つけることができる唯一のコネクタはここにあります: http://www.confusedCoders.com/bigdata/ Apache-Drill / SQL-ON-CA...

0  java.io.ioException:範囲の利用不可の破片  ( Java io ioexception unavailable shards for ranges ) 
DSEクラスタを照会すると、次のエラーが発生します。 java.io.ioException:範囲の利用不可の断片:[ロングリストのリスト] クラスタは、以前に罰金微細に作用していた1つのCassandraノードと4つのSolrノードで構成されていま...

0  HadoopとCassandra 2列を比較する  ( Hadoop and cassandra to compare 2 rows ) 
Cassandra ColumnFamilyには2行があり、列の値を同じ列名で比較したい場合があります。例えば: cf:user キー:列: .................................................... ......




© 2022 cndgn.com All Rights Reserved. Q&Aハウス 全著作権所有