کاوش در مجموعه داده های cryptocurrency عمومی موجود در BigQuery

این آزمایشگاه به شما امکان می دهد تا شش مجموعه داده blockchain cryptocurrency منتشر شده به صورت عمومی در BigQuery را کشف کنید. این در پست وبلاگ معرفی شده است که شش ارز رمزنگاری جدید در مجموعه داده های عمومی BigQuery - و نحوه تجزیه و تحلیل آنها را معرفی می کند.

توجه: این یک آزمایشگاه چالش است. این بدان معناست که به تمام قسمت هایی که مشخص شده اند به شما داده نمی شود. شما باید دانش کار SQL داشته باشید.

موارد زیر از پست وبلاگ است ، لطفاً برای درک پیشینه آزمایشگاه بخوانید:

از زمان ظهور آنها در سال 2009 ، ارزهای رمزپایه سهم خود از نوسانات را تجربه کرده اند - و منبع مداوم جذابیت هستند. در سال گذشته ، به عنوان بخشی از برنامه مجموعه داده های عمومی BigQuery ، Google Cloud مجموعه داده های متشکل از تاریخچه معاملات blockchain برای بیت کوین و اتریوم را منتشر کرد تا به شما در درک بهتر رمزنگاری کمک کند. امروز ، ما شش blockchains cryptocurrency اضافی را منتشر می کنیم.

ما همچنین شامل مجموعه ای از نمایش داده ها و نمایش ها هستیم که تمام مجموعه داده های blockchain را به یک ساختار داده کتاب دوپاری که متاآنالیزهای چند چین را امکان پذیر می کند ، و همچنین ادغام با سیستم های پردازش رکورد مالی معمولی را نقشه برداری می کنیم.

مجموعه داده های blockchain اضافی

شش مجموعه داده blockchain cryptocurrency که امروز منتشر می کنیم عبارتند از: Bitcoin Cash ، Dash ، Dogecoin ، Ethereum Classic ، Litecoin و ZCash.

پنج مورد از این مجموعه داده ها ، به همراه مجموعه داده های بیت کوین که قبلاً منتشر شده اند ، اکنون از یک طرح مشترک پیروی می کنند که تجزیه و تحلیل های مقایسه ای را امکان پذیر می کند. ما این گروه از مجموعه داده های شبیه بیت کوین (بیت کوین ، بیت کوین پول نقد ، داش ، Dogecoin ، Litecoin و Zcash) را با هم منتشر می کنیم زیرا همه آنها پیاده سازی های مشابهی دارند ، یعنی کد منبع آنها از بیت کوین گرفته شده است. به همین ترتیب ، ما همچنین مجموعه داده های Ethereum Classic را در کنار مجموعه داده های Ethereum که قبلاً منتشر شده بود ، منتشر می کنیم ، و Ethereum Classic نیز از همان طرح مشترک استفاده می کند.

یک معماری یکپارچه استفاده از داده

تمام مجموعه داده ها هر 24 ساعت از طریق یک پایگاه کد مشترک ، چارچوب مصرف blockchain ETL (ساخته شده با آهنگساز ابر ، که قبلاً در اینجا شرح داده شده بود) به روز می شود تا انواع مختلفی از ارزهای رمزپایه مانند بیت کوین را در خود جای دهد. در حالی که این به معنای تأخیر بالاتر برای بارگیری بلوک های بیت کوین در BigQuery است ، اما به این معنی است که:

ما قادر به مصرف مجموعه داده های BigQuery اضافی با تلاش کمتر هستیم ، به این معنی که مجموعه داده های اضافی می توانند در آینده سریعتر سوار شوند. ما می توانیم یک راه حل بارگیری کم تأخیر را یک بار اجرا کنیم که می تواند برای فعال کردن معاملات جریان در زمان واقعی برای همه blockchains استفاده شود.

طرحواره و دیدگاههای متحد

از آنجا که ما سال گذشته مجموعه داده اصلی بیت کوین را ارائه دادیم ، یاد گرفتیم که چگونه کاربران می خواهند به داده ها دسترسی پیدا کنند و بر این اساس مجموعه داده ها را بازسازی کنند. برخی از این تغییرات به عملکرد و نگرانی های راحتی می پردازند ، و پرس و جوهای سریعتر و کمتری را به همراه می آورند (معمولاً داده های تو در تو به توجیه داده می شوند ؛ هر جدول با زمان تقسیم می شود).

ما همچنین داده های بیشتری مانند اسکریپت Op-Codes را درج کرده ایم. بیشتر معاملات بیت کوین نقل و انتقالات ارزش را نه فقط به عنوان یک جفت بدهی/اعتبار ، بلکه به عنوان یک سری کارکردها توصیف می کنند که هم انتقال ساده و هم معاملات پیچیده تر را توصیف می کنند.

در دسترس بودن این اسکریپت ها برای مجموعه داده های شبیه بیت کوین ، تجزیه و تحلیل های پیشرفته تری را مشابه این آنالایزر قرارداد هوشمند امکان پذیر می کند که Tomasz Kolinko اخیراً در بالای مجموعه داده های Ethereum BigQuery ساخته شده است. به عنوان مثال ، اکنون می توانیم الگوهای فعالیت مربوط به کیف پول های چند امضا را شناسایی و گزارش دهیم. این امر به ویژه برای تجزیه و تحلیل ارزهای رمزنگاری شده از حریم خصوصی مانند ZCash بسیار مهم است.

برای قابلیت همکاری Analytics ، ما یک طرح یکپارچه را طراحی کردیم که به تمام مجموعه داده های شبیه بیت کوین اجازه می دهد تا نمایش داده شد. برای تعامل بیشتر با معاملات Token Ethereum و ERC-20 ، ما همچنین برخی از دیدگاه ها را ایجاد کردیم که دفترچه راهنمای blockchain را به عنوان یک دفترچه حسابداری مضاعف ارائه می دهد.

چه کاری انجام می دهید

• یک پرس و جو ساده SQL را در مجموعه داده های cryptocurrency عمومی BigQuery کاوش و انجام دهید.
• تأیید کنید که مجموعه داده CryPytocurrency عمومی BigQuery صحیح است.
• یک پرس و جو پیچیده را انجام دهید که ضریب جینی را برای Litecoin و Dash محاسبه می کند ، به طور یک هفته به هفته.
• از مهارت های SQL خود برای تکمیل دو پرسش جالب در مجموعه داده های بیت کوین استفاده کنید.

پیش نیازها

برای به دست آوردن بهترین نتیجه از این آزمایشگاه باید مقداری داشته باشید:

• آشنایی با ارزهای رمزپایه.
• امکان نوشتن عبارات اساسی SQL.

راه اندازی و الزامات

قبل از کلیک بر روی دکمه Start Lab

این دستورالعمل ها را بخوانید. آزمایشگاه ها به موقع هستند و شما نمی توانید آنها را مکث کنید. تایمر ، که با کلیک بر روی LAB شروع می شود ، نشان می دهد که منابع Google Cloud چقدر در دسترس شما قرار خواهد گرفت.

این آزمایشگاه دستی به شما امکان می دهد فعالیت های آزمایشگاهی را خودتان در یک محیط ابر واقعی انجام دهید ، نه در یک محیط شبیه سازی یا نسخه ی نمایشی. این کار را با ارائه اعتبار جدید و موقت که برای ورود به سیستم و دسترسی به Google Cloud برای مدت زمان آزمایشگاه به شما ارائه می دهند ، این کار را انجام می دهد.

برای تکمیل این آزمایشگاه ، شما نیاز دارید:

• دسترسی به یک مرورگر استاندارد اینترنت (مرورگر Chrome توصیه می شود).

• زمان تکمیل آزمایشگاه --- به یاد داشته باشید ، پس از شروع ، نمی توانید یک آزمایشگاه را مکث کنید.

چگونه آزمایشگاه خود را شروع کنیم و وارد کنسول Google Cloud شوید

روی دکمه Start Lab کلیک کنید. اگر نیاز به پرداخت هزینه آزمایشگاه دارید ، پاپ آپ برای انتخاب روش پرداخت خود باز می شود. در سمت چپ پانل آزمایشگاه با موارد زیر قرار دارد:

• دکمه Open Console Google
• زمان باقی مانده
• اعتبار موقت که باید برای این آزمایشگاه استفاده کنید
• در صورت لزوم اطلاعات دیگر برای قدم گذاشتن در این آزمایشگاه

روی باز کردن کنسول Google کلیک کنید. آزمایشگاه منابع را می چرخاند ، و سپس برگه دیگری را باز می کند که علامت ورود به سیستم را نشان می دهد.

نکته: زبانه ها را در ویندوزهای جداگانه ، در کنار هم ترتیب دهید.

در صورت لزوم ، نام کاربری را از صفحه آزمایشگاه کپی کرده و آن را در گفتگوی Sign In Sign قرار دهید. Next را کلیک کنید

رمز عبور را از صفحه آزمایشگاه کپی کرده و آن را در گفتگوی Welcome قرار دهید. Next را کلیک کنید

از طریق صفحات بعدی کلیک کنید:

• شرایط و ضوابط را بپذیرید.
• گزینه های بازیابی یا احراز هویت دو عاملی را اضافه نکنید (زیرا این یک حساب موقتی است).
• برای آزمایش های رایگان ثبت نام نکنید.

پس از چند لحظه ، کنسول ابر در این برگه باز می شود.

توجه: می توانید با کلیک بر روی منوی ناوبری در سمت چپ بالا ، منو را با لیستی از محصولات و خدمات Google Cloud مشاهده کنید.

کار 1. ارزهای رمزپایه را در مجموعه داده های عمومی مشاهده کنید

Open Navigation Menu >BigQuery

خوش آمدید به BigQuery در جعبه Dailog Cloud Console Console باز می شود و کلیک می کند.

Click + ADD DATA > Additional sources >مجموعه داده های عمومی

در بازار جستجو ، بیت کوین را تایپ کرده و Enter را فشار دهید.

روی Bitcoin Cash Cryptocurrency DataSet کلیک کنید.

روی مشاهده مجموعه داده کلیک کنید.

یک برگه جدید با BigQuery باز خواهد شد و شما باید در مجموعه داده های Crypto_bitcoin_cash در BigQuery-Public Data باشید.

تمام مجموعه داده های عمومی قابل مشاهده است.

1. در نوع جستجو ، رمزنگاری را تایپ کنید.

فقط مجموعه داده های عمومی با شروع Crypto نمایش داده می شود.

مجموعه داده ها را گسترش دهید تا ببینید که همه آنها ساختار یکسان دارند. این امر باعث می شود که نمایش داده شدگان در سراسر ارزهای مختلف رمزنگاری آسان شود زیرا جداول ، نماها و زمینه ها در هر مجموعه داده رمزنگاری یکسان هستند.

کار 2. یک پرس و جو ساده را انجام دهید

در این کار ، 10،000 معامله معروف خرید پیتزا بیت کوین را مشاهده خواهید کرد. با خواندن مقاله روز پیتزا بیت کوین 2018 می توانید اطلاعات بیشتری کسب کنید.

تغییر به برگه ویرایشگر. این پرس و جو را در پنجره پرس و جو کپی و چسبانده و سپس Run را فشار دهید:

داده های خام بازگردانده شده را می توانید مشاهده کنید.

• مقادیر ورودی ، خروجی و هزینه در Satoshis است. Satoshi در حال حاضر کوچکترین واحد ارز بیت کوین است که در زنجیره بلوک ثبت شده است. این صد میلیون بیت کوین منفرد (0. 00000001 BTC) است.
• مقدار ارسال شده از طریق چندین ورودی است که همه از همان آدرس حاصل می شوند.
• مبلغ خروجی به عنوان یک معامله واحد به یک آدرس ارسال می شود.

کار 3. داده ها را تأیید کنید

در این کار ، شما بررسی خواهید کرد که می توانید با انجام پرس و جوهای اعتبار سنجی ساده در دو ارز رمزنگاری ، به مجموعه داده های cryptocurrency دسترسی پیدا کنید.

پرس و جو کتاب دوتایی از پول نقد بیت کوین

برای ایجاد انگیزه در اکتشاف اولیه این مجموعه داده های جدید ، بیایید با یک مثال ساده شروع کنیم ، با مقایسه روش پرس و جو هر دو پرداخت و رسیدها در چندین ارز رمزنگاری. این مقایسه ساده ترین روش برای تأیید اینکه یک رمزنگاری به صورت در نظر گرفته شده عمل می کند و حداقل از نظر عملیاتی ، یک فروشگاه از نظر ریاضی صحیح است.

این پرس و جو را در پنجره پرس و جو کپی و چسبانده و سپس Run را فشار دهید:

تأیید کنید که مقادیر بیت کوین برگشتی دقیق هستند

کپی کنید (Ctrl+c) آدرس برتر در نتایج BigQuery برگشته است.

در یک برگه مرورگر دیگر ، وب سایت https://www. blockchain. com/explorer/search؟search= را باز کنید.- این خوب است

PASTE (CTRL+V) آدرس را در کادر جستجو و روی جستجو کلیک کنید.

تعادل نهایی بازگشت (در BTC) را بررسی کنید - این باید همان تراز ذکر شده در نتایج BigQuery برای آن آدرس باشد.

پرس و جو کتاب دوتایی Dogecoin

• برای استفاده از Dogecoin ، پرس و جو را اصلاح کنید و پرس و جو را اجرا کنید. نکته: برای تغییر نام مجموعه داده ها از بیت کوین به Dogecoin ، دو مکان در پرس و جو وجود دارد.

تأیید کنید که مقادیر dogecoin برگشتی دقیق است

آدرس برتر برگشتی را در نتایج BigQuery کپی کنید.

در یک برگه مرورگر دیگر وب سایت https://dogechain. info/ را باز کنید.

در کادر جستجو قرار دهید و روی جستجو کلیک کنید.

توجه داشته باشید که تعادل برگشتی ، باید همان تعادل ذکر شده در نتایج BigQuery برای آن آدرس باشد.

توجه کنید که تنها تفاوت بین آنها نام مکان داده است. می توانید با روشی مشابه در بیت کوین Cash ، Dash ، Litecoin و Zcash مبادله کنید.

کار 4. ضریب جینی را برای cryptocurrency ترسیم کنید

فراتر از کنترل کیفیت و برنامه های حسابرسی ، ارائه cryptocurrency در یک قالب سنتی ، ادغام با سایر سیستم های مدیریت داده های مالی را امکان پذیر می کند. به عنوان نمونه ، بیایید یک اقدام اقتصادی مشترک ، ضریب جینی را در نظر بگیریم. در زمینه اقتصاد کلان ، ضریب جینی عضو خانواده ای از اقدامات اقتصاد سنجی نابرابری ثروت است. مقادیر بین 0. 0 تا 1. 0 متغیر است و ثروت کاملاً توزیع شده (همه اعضا همان مقدار را دارند) نقشه برداری به مقدار 0. 0 و ثروت کاملاً انباشته شده (یک عضو همه چیز) نقشه برداری را به 1. 0 می رساند.

به طور معمول ، ضریب جینی برای اقتصاد یک کشور خاص بر اساس نمونه گیری از داده ها یا تغییر داده ها تخمین زده می شود. برای اقتصادهای رمزنگاری ، شفافیت کامل داده ها را با بالاترین وضوح ممکن داریم.

علاوه بر شفافیت داده ها ، یکی از مزایای گفته شده ارزهای رمزنگاری شده این است که آنها به اجرای پول اجازه می دهند تا از نزدیک به اجرای اطلاعات دیجیتالی شباهت بیشتری داشته باشد. از این رو نتیجه می گیرد که یک شبکه پول کاملاً دیجیتالی با کاهش اصطکاک معامله ای و موانع کمتری که مانع جریان سرمایه می شود ، شبیه به اینترنت خواهد بود. غالباً ، ضمنی در این روایت این است که سرمایه به طور مساوی توزیع می شود. اما ما همیشه آن نتیجه خاص را مشاهده نمی کنیم ، و رمزهای رمزنگاری شده در اینجا طیف گسترده ای از الگوهای توزیع را با گذشت زمان نشان می دهند. می توانید اطلاعات بیشتری در مورد استفاده از ضریب جینی برای استدلال در مورد عملکرد شبکه رمزنگاری-اقتصادی در تعیین عدم تمرکز.

برای تعیین یک پایه برای تفسیر یافته های ما ، در نظر بگیرید که چگونه منابع در اقتصادهای سنتی و غیر کریپتو توزیع می شوند. براساس تجزیه و تحلیل بانک جهانی در سال 2013 ، ضرایب اخیر جینی برای اقتصادهای جهانی دارای میانگین ارزش 39. 6 (با انحراف استاندارد 9. 6) است.

پرس و جو را ایجاد کنید

در این پرس و جو بعدی ، ضریب جینی DASH را به صورت هفته به هفته محاسبه می کنید. این پرس و جو حدود 3 دقیقه طول خواهد کشید. پس از داشتن داده ها می توانید به راحتی نمودار را تجسم کرده و آن را با نمونه تولید شده برای مقاله منبع مقایسه کنید.

این پرس و جو را در پنجره پرس و جو کپی و چسبانده و سپس Run را فشار دهید:

نتایج را در یک جدول BigQuery ذخیره کنید

در روبان نتایج پرس و جو ، روی ذخیره نتایج کلیک کنید و جدول BigQuery را انتخاب کنید

در جدول Export to BigQuery ، پروژه را همانطور که هست بگذارید ، مجموعه داده های آزمایشگاه را انتخاب کرده و نام آن را مانند Dash_gini به آن بدهید. صادرات مطبوعاتبعد از اتمام ، روی میز بروید.

برای تجسم پرس و جو از استودیو Looker استفاده کنید

در نمای جدول ، روی Export کلیک کرده و Export را با استودیوی Looker انتخاب کنید. سپس بر روی مجوز در درخواست درخواست درخواست کلیک کنید.

هنگامی که Looker Studio ظاهر می شود ، نمودارهای تولید شده را به طور خودکار حذف کنید (آنها را انتخاب کنید و کلید حذف را فشار دهید). بر روی Add A A Chart کلیک کنید و سری Time را انتخاب کنید. روی نمودار سری زمانی کلیک کنید.

متریک را به جینی تغییر دهید.

نمودار را با نمودار مقاله اصلی منبع (بازتولید در زیر) مقایسه کنید. در نمودار زیر به دنبال خط قهوه ای هستید. با شروع از دسامبر 2019 ، ببینید که از آن زمان چگونه تغییر کرده است.

ضریب جینی را برای Litecoin ایجاد کنید

همان مراحلی را که برای Cryptocurrency Dash انجام دادید ، انجام دهید تا ضریب جینی را بدست آورید ، اما این بار آن را برای Litecoin انجام دهید.

کار 5. دو رویداد معروف cryptocurrency را کاوش کنید

یک پست وبلاگ در سایت blockchain وجود دارد که تعدادی از رویدادهای به یاد ماندنی در بیت کوین را توصیف می کند. برای بازیابی داده ها در چند مورد از این رویدادها ، دو نمایش داده شده در مجموعه داده های عمومی بیت کوین انجام خواهید داد.

22 نوامبر 2013: این معامله بیت کوین رمز و راز و گمانه زنی ها را جرقه می زند

در پاییز سال 2013 ، یک معامله بیت کوین در 194. 993 به شبکه رسید و همین امر باعث تعجب بسیاری شد که چه کسی پشت این معامله بسیار بزرگ بوده است. ارزش در زمان معامله در USD بیش از 149 میلیون دلار بود. Coindesk نوشت: "با کمال تعجب ، معامله ای با آن اندازه ، جامعه بیت کوین را وادار کرده است که برخی از تجزیه و تحلیل ها و کارآگاهان را انجام دهد. این معامله شامل تعداد زیادی از آدرس های ارسال شده است که برخی از آنها از بلوک های استخراج شده در فوریه 2010 یا حتی قبل از آن ، باعث گمانه زنی های هیجان زده شده است. آنها ممکن است از Satoshi Nakamoto ، بنیانگذار غایب (و احتمالاً نام مستعار) بیت کوین باشند. "

برای یافتن Transaction_Hash برای انتقال بیت کوین های 194993 (BTC) یک پرس و جو SQL بنویسید و آن داده ها را در جدول 51 در آزمایشگاه Dataset بنویسید. در زیر SQL برای کمک به شما در شروع کار آمده است:

این امر به شما نیاز دارد تا ساختار جدول معاملات را درک کنید ، یا می توانید از نمای خروجی استفاده کنید. پرس و جو شما باید هش معامله را برگرداند ، زمینه های دیگر مهم نیستند.

نکته: مبلغ منحصر به فرد ، این پرس و جو را برای آن مقدار آسان می کند. شما باید مقدار را به Satoshis تبدیل کنید.

هش معامله انتقال رمز و راز بزرگ 194993 BTC را در جدول 51 در داخل مجموعه داده های آزمایشگاه ذخیره کنید.

بعد از این مدت ، تعادل آدرس که دو پیتزا را برای 10،000 BTC خریداری کرده است چیست؟

• یک پرس و جو SQL بنویسید تا تعادل را برای حساب کاربری که 10،000 BTC برای دو پیتزا در سال 2010 پرداخت کرده است ، در جدول 52 در مجموعه داده های آزمایشگاهی بنویسید.

خروجی باید تعادل آدرس را داشته باشد.

نکته: پرس و جو را از وظیفه 3 تغییر دهید تا فقط ردیف ها را با آدرس خریدار انتخاب کنید (با استفاده از یک بند WHERE). برای به دست آوردن آدرس خریدار می توانید پرس و جو را از Task 2 انجام داده و آدرس ورودی را کپی کنید (نیازی نیست که آن پرس و جو را به عنوان بخشی از راه حل این فعالیت درج کنید).

در اینجا برخی از SQL برای شروع شما وجود دارد:

Table Lab. 52 (تعادل عددی) را با Double_Entry_book به عنوان (-بدهی ها انتخاب کنید Array_to_string (inputs. Addresses ، "،") را به عنوان آدرس ، -inputs. value به عنوان مقدار از «bigQuery-public-data. crypto_bitcoin. inputs انتخاب کنید.`به عنوان اتحادیه ورودی همه-اعتبارات array_to_string (outputs. addresses ،" ، ") را به عنوان آدرس ، outputs. value به عنوان مقدار از« bigQuery-public-data. crypto_bitcoin. outputs »به عنوان خروجی انتخاب کنید)-بقیه موارد را بنویسید. عبارت را انتخاب کنید (به یاد داشته باشید که از کجا استفاده کنید). تعادل آدرس خرید پیتزا را در جدول 52 در داخل مجموعه داده آزمایشگاه ذخیره کنید.

تبریک می گویم!

آموزش و صدور گواهینامه Google Cloud

بشربه شما کمک می کند تا از فن آوری های Google Cloud نهایت استفاده را ببرید. کلاس های ما شامل مهارت های فنی و بهترین شیوه ها برای کمک به شما در سرعت بخشیدن به سرعت و ادامه سفر یادگیری است. ما آموزش های اساسی در سطح پیشرفته را با گزینه های تقاضا ، زنده و مجازی متناسب با برنامه شلوغ خود ارائه می دهیم. گواهینامه ها به شما در اعتبار و اثبات مهارت و تخصص خود در Google Cloud Technologies کمک می کنند.

کتابچه راهنمای کاربر آخرین به روز شده: 16 دسامبر 2022

آزمایشگاه آخرین آزمایش: 20 ژوئن 2022

کپی رایت 2022 Google LLC کلیه حقوق محفوظ است. Google و آرم Google علائم تجاری Google LLC هستند. کلیه نام های شرکت و محصول دیگر ممکن است علائم تجاری شرکتهای مربوطه باشد که با آنها در ارتباط هستند.

در این آزمایشگاه دستی یاد خواهید گرفت که چگونه از BigQuery برای کشف مجموعه داده های عمومی Cryptocurrency که اکنون در دسترس است استفاده کنید. این یک آزمایشگاه Challange است ، و شما ملزم به تکمیل برخی از اظهارات ساده SQL هستید.

این آزمایشگاه در داده های کاربردی Quest: blockchain گنجانده شده است. اگر این آزمایشگاه را تکمیل کنید ، هنگام ثبت نام در این تلاش ، اعتبار آن را دریافت خواهید کرد.