リアルタイム集計システム構築サービス

データベース処理・集計に関する高度な専門スキルを持つエンジニアが、Microsoft SQL Server を基盤としたビッグデータのリアルタイム集計システムを構築します。

ひとつのデータに対して数十万という大量のアクセスが同時に発生し、それらを「複数のシステムに水平分散」しながら「データの一貫性を保証」した状態で「ミリ秒単位の超高速」かつ「正確に」処理をするという、極めて高度な要求にも応えることが可能です。
ex.）世界中からアクセスのある株式取引、全国から集まるIoTデータ　など

　
• 同時に数万～数千万のトランザクションが発生する大量のデータを超高速に処理するシステムが必要
　
• 大量のデータを即時処理したいが耐障害性に懸念がある
　
• 大量の処理を並行して同時に実行しながら、データの一貫性を担保も実現したい

弊社には、Microsoft SQL Serverに関する高度な専門スキルを持つエンジニアが在籍しています。Microsoft SQL Serverを熟知し、高い技術力やデータ集計に関する専門知識を必要とするような難易度の高い機能も使いこなすことができます。
スペシャリストだからこそ、大量のデータを超高速かつ正確に、データの一貫性を担保した状態で処理するといった、高難度の要求に応えられるシステムを設計・構築するできるのです。

米国 Microsoft がワールドワイドに実施している 「Worldwide Partner Award」 の 「Data Platform Partner of the Year」  部門で、弊社が構築したリアルタイム集計システムの導入事例がAwardを受賞しました。

これは、マイクロソフトのデータ プラットフォームである SQL Server をベースに、高可用性、ハイパフォーマンス、高拡張性に重点を置いた、ミッションクリティカルなアプリケーション用のソリューションを提供したパートナーに授与される賞です。弊社は、SQL ServerのインメモリOLTPとAlwaysOnテクノロジを活用し、高いパフォーマンスと可用性を実現したことが評価されました。​

SQL (構造化問い合わせ)はインタプリタ言語のため、アセンブリ言語と比較すると処理速度が遥かに低速です。しかし、大量のデータをリアルタイムに捌くためには、超高速な集計処理が必要になります。

そこで、従来の SQL (構造化問い合わせ言語) を Cコードに変換の上、最終的にマシンコードとすることで、極めて高速なデータ処理を実現します。これにより、SELECT処理で40倍、四則演算で70倍の処理速度を実現することができます。

マルチスレッドによる集計処理の場合、メモリの整合性を担保するために、排他処理が必要になります。しかし、大量のデータを集計するシステムにおいては、特定のメモリ領域がホットスポットとなってしまい、排他処理そのものが致命的なボトルネックとなります。

そこで、メモリ最適化を行いCPUインストラクションレベルによる排他制御にすることで、排他処理を行わないロックフリーを実現します。これにより、SELECT処理で4倍、INSERT処理で5倍、UPDATE処理で4 倍、DELETE処理で 8 倍の処理速度を実現することができます。

トランザクションの整合性を保って大量のデータを集計するには、同時実行制御が必要になります。

ペシミスティック (悲観的) 同時実行制御は、リトライ処理は必要ないものの、多重度が上がることで、ロック獲得までの待機時間が極端に増加します。一方で、オプティミスティック (楽観的) 同時実行制御は、ロック獲得の待機時間はないものの、多重度が上がることで、リトライ処理が極端に増加します。

そこで、マルチバージョニングによるオプティミスティック (楽観的) 同時実行制御とすることで、フルACIDをサポートした高多重度を実現します。これにより、低多重度でも 3 倍、高多重度では 174 倍の処理速度を実現することができます。

大量のクライアントと通信する集計システムでは、高い即時性と耐障害性が求められます。

しかし、データの発生と同時に集計を行うと、即時性は高められるものの耐障害性が犠牲に、非同期でバッチ処理すると、耐障害性は高められるものの即時性が犠牲になります。このように、即時性と耐障害性の両方を実現することは非常に困難です。

本サービスでは、イベントドリブンで非同期に集計することで、集計の即時性とシステムの耐障害性を高めています。

増加し続けるデータに対応するには、システムの拡張性とデータの一貫性を両立させる必要があります。
しかしRDB を利用した場合、読み取り処理は複数のサーバーに分散させることができる一方、データの一貫性を保証するため書き込み処理を分散させることができません。また、NoSQL を利用した場合、書き込み処理を含めてスケールアウトが容易である一方、データの一貫性は保証されません。

本サービスでは、RDB を水平分散したうえで直列に接続することで、一貫性を保証しながら、同時にスケーラビリティも実現します。

Microsoft SQL Serverエンジニアによる役務提供型サービスとなります。

履行割合型の準委任契約で、３ヶ月毎の契約更新となります。1ヶ月あたりの工数×エンジニア単価がサービス価格となるため、稼働時間の増減に応じて毎月のサービス費用が変動します。

システムの規模や構成、お客様のご要件によって変動するため、個別見積となります。お客様のご要件をヒアリングし、環境調査をした上で弊社エンジニアの体制をご提案いたします。

このページの製品に関するご相談はこちら

本ページの製品・サービスに関するご相談からお見積もり依頼まで承っております。
まずはこちらからお気軽にご相談ください

まずは相談する

本ページの製品・サービスの
ご紹介資料のダウンロードは
こちら

資料をダウンロード