図1.ドメイン科學者の観點から見たベイズの公式。著者による図。

ここでは、理論が與えられたデータの確率、またはベイズ言語での尤度は、フォワードモデリングを使用して直接アクセスされます。データまたは証拠の確率は、マルコフ連鎖モンテカルロ法であろうと変分推論法であろうと、計算手法を使用して直接評価されます。しかし、通常、ほとんどの問題を提起するのは、3番目の部分(理論の確率または事前確率)です。実際、ベイジアンモデルでしばしば平準化される批判は、事前確率が必要であり、これらを一貫して確立することは困難であるというものです。そして実際、それらは—統計分野に完全にとどまっている場合です。ドメインの専門家にとって、事前の知識は絶対に不可欠であり、実際にドメインの専門知識を定義します。しかし、それは未知の既知です、そして、非常に多くの場合、この知識は、追跡可能なアルゴリズム形式の事前分布の形式で定量化または確立するのは簡単ではありません。おそらくさらに重要なことは、実験的発見のためのアクティブラーニングワークフローに事前知識を組み込む方法がすぐには明確ではないということです。それらを一つずつ考えてみましょう。

実験データが利用可能になると、ベイズ推定法により、簡単な分析を実行できます。たとえば、最近、高分解能電子顕微鏡を使用して強誘電性磁壁の構造を調べました[7]。ここで、磁壁構造は、磁壁プロファイルを記述する分析ソリューションを生み出す自由エネルギーの特定の関數形式によって決定されます。以前に行われたように[8、9]の単純な関數近似は、パラメーターの數値推定を提供しますが、これらを超えることはできません。比較すると、ベイジアン法では、相対定數の事前分布の形で材料の物理學の事前知識を組み込むことができます。これは、公開されたデータの優勢、巨視的測定などから取得できます。次のような大規模なマテリアルズインフォマティクスプロジェクトの価値の1つマテリアルプロジェクトは、複數の分離されたソースからのデータをアクセスしやすい形式に統合することです。

同様に、ベイジアンフレームワークでは、材料物理學の事前知識が実験から學ぶことに影響を與えるかどうか(非常に驚くべきことに、知識が増えるほど學習する)、材料の動作の特定のモデルが可能かどうかなど、重要な質問に答えることができます。観察されたデータ(この場合ではない)、および異なるモデルを區別するために必要な顕微鏡の解像度または情報の制限に基づいて區別されます。同様に、ベイズ法では、多くの「絶対」量を確率論的に定義できます。たとえば、対稱性や構造単位などの記述子です[10]。

しかし、次の質問は、アクティブラーニングとプロパティの最適化にベイズアプローチを使用できるかどうかということです。原則として、上記で詳述した古典的なベイジアンアプローチを使用することが可能です。ここでは、事前仮説を構造化された確率モデルとして定義します。実験データを前提として、モデルのパラメーターを改良し、パラメーター空間で事後予測確率を調査します。以前の投稿で説明した古典的なベイズ最適化/アクティブラーニング(BO / AL)と同様に、期待値および/または関連する不確実性を使用して、測定をガイドできます(つまり、次の測定ポイントを選択します)。

ただし、実際には、モデルが部分的にしか正しくない場合、予想されるシステムの動作の構造化された確率モデルに基づくBO / ALはうまく機能しません。同時に、これは、最も洗練された理論でさえ特定の近似にのみ現実を記述し、すべての測定関連の非理想性は言うまでもなく、いくつかの競合するモデルが可能である実験で通常対処しなければならないことです。もちろん、代替手段は、剛體構造の確率モデルを非常に柔軟なガウス過程(GP)に置き換えることです。ただし、後者は通常、事前のドメイン知識を組み込むことを許可せず、些細な補間ソリューションにバイアスをかけることができます。

したがって、構造化ガウス過程(sGP)を導入します。ここでは、古典的なGPが、予想されるシステムの動作の構造化された確率モデルによって拡張されます[11]。このアプローチにより、ノンパラメトリックGPアプローチの柔軟性と、パラメトリックモデルにエンコードされた事前(物理)知識の堅固な構造とのバランスをとることができます。後者のベイジアン処理は、モデルパラメータの事前確率の選択、つまり過去の知識の組み込みを介して、BO / ALに対する追加の制御を提供します。

より正式には、入力パラメータ所與XとターゲットプロパティY、古典的なGPは以下のように定義されるY?MultivariateNormalMX)、KXX '))、mは通常0に設定し、平均関數であり、Kはありますパラメータよりも情報量の少ない事前分布(通常はLogNormalとして選択される)を持つカーネル関數。後者は、ハミルトニアンモンテカルロ(HMC)サンプリング手法を使用して推測できます。次に、新しい/測定されていない入力のセットの予測は、次の式で與えられます。

ここで、θ?はカーネルハイパーパラメータを持つ単一のHMC事後サンプルです。一般的に想定される観測ノイズは、カーネル関數の計算に吸収されることに注意してください。(新しい入力と関連する予測を*添え字で示しました。殘念ながら、執筆時點では、Mediumはこの添え字と他の添え字をインラインでサポートしていません)。

私たちGPアプローチでは、上記の方程式の定數平均関數mを、HMCを介してカーネルパラメーターと一緒にパラメーターが推測される構造化された確率モデルに置き換えます。次に、式(1b)は次のようになります。

ここで、??は、學習されたモデルパラメーターを持つ単一のHMC事後サンプルです。この確率モデルは、システムに関する事前の知識を反映していますが、正確である必要はありません。つまり、データの一般的または部分的な傾向をキャプチャする限り、モデルは異なる関數形式を持つことができます。

構造化GPによるベイズ最適化

特定の例を使用して、sGPアプローチ利點を説明します。まず、我々は、わずかに修正使用しようとしているフォレスター関數を、FX)=(5 X- 2)2sin(12 X -4)、一般的最適化アルゴリズムを評価するために使用されます。グローバル最小値に加えて、2つのローカル最小値があります。私たちの目標は、少數のステップ(測定)のみを使用してグローバル最小値に収束することです。まず、バニラGPでBOを使用します。シードポイントの「良好な」初期化(BOを実行する前に実行される「ウォームアップ」測定)から開始し、k = -0.5の信頼上限(UCB)取得関數を使用します。 各ステップで次の測定ポイントを選択します。予想通り、GP-BOはすぐに真の最小値に収束しました。

図2.バニラGP-BOを使用したブラックボックス関數の最適化:「良好な」初期化の場合。著者による図。

ここで、「悪い」初期化から始めましょう。初期化された點は、極小値の1つの周りの領域に分類されます。この不適切な初期化が原因で、GP-BOは極小値でスタックし、真の最小値に収束できません。実際の実験では、通常、さまざまな初期化を使用して測定を再開する余裕がないため、不適切な初期化に対処するための準備が必要であることに注意してください。

図3.バニラGP-BOを使用したブラックボックス関數の最適化:「不良」初期化の場合。

上記の例を見る1つの方法は、アルゴリズムが別の最小値の潛在的な存在を「認識」していなかったために、極小値でスタックしたことです。我々はより多くの最小値(のいずれかに該當/グローバルいずれかになります)があるかもしれないことを知っていない場合にでも、この事前知識を組み込むことが可能GPモデル。

具體的には、構造化された確率モデルを次のように定義しましょう。

ここで、Y ??制服(-10、10)、A ??対數正規(0、1)、W?? HalfNormal(0.1)、及びX ???制服(0、1)モデルパラメータに対する事前確率です。このモデルは、データに2つの最小値があることを示していますが、それらの相対的な深さと幅についての知識があるとは想定しておらず、それらがどれだけ離れているかについての情報も含まれていません。次に、GPの定數の事前平均関數mを、式(3)で定義された確率モデルに置き換え、以前と同じ方法で「不良」初期化に対してBOを実行します。

図4.「不良」初期化の場合のsGP-BOによる最適化。システムに関する部分的な事前知識(複數の最小値がある)のおかげで、最適化アルゴリズムはそれ自體を極小値から引き離し、真の/大域的最小値に収束することができます。著者による図。

予想されるシステムの動作に関する知識を備えた最適化アルゴリズムが、極小値から離れて大域的最小値に収束することができたことがわかります。シードポイントの數十の異なるランダム初期化について、ノイズの存在下でGP-BOとs GP-BOを體系的に比較し、ほぼすべてのケースでsGP-BO優れたパフォーマンスを確認しました[11]。 。

SGP-BOの優れた性能を理解するために、我々は、GP-BOの取得機能を比較することができ最適化の異なる段階でのGP-BO。

図5.1、3、5、7、および9番目のステップでのバニラGP-BO(上段)とsGP-BO(下段)の取得関數。著者による図。

明らかに、バニラGP-BOは、アルゴリズムが真の/グローバルな最小値をすでに検出していると「想定」しているため、取得関數はほとんど変更されないまま、ローカル最小値にすばやくロックされます(図5の一番上の行)。一方、sの取得機能GP-BO(図5の下の行)は、早い段階で複數の最小値を持つ構造を表示します。これは、アルゴリズムが極小値から抜け出し、初期化が非常に悪い場合でも、プロセスの後のステップで真の最小値に収束するのに役立ちます。 。図5の下の行の取得関數の進化は、アルゴリズムが直感によって駆動されるかのように2番目の最小値を探しているという意味で本當に注目に値します。そして、ある意味では、式(3)のGPの平均関數の形で組み込んだ事前知識は、どこかに2番目の最小値があると仮定しています。取得関數は、この2番目の最小値が最もありそうな場所を強調しています。

しかし、この「事前知識」が部分的にしか正しくない場合はどうなるでしょうか。前述のように、スタンドアロンの確率モデルと比較した場合GP-BO利點は、GPカーネルの柔軟性により、モデルの不正確な、場合によっては「誤った」関數形式を使用できることです。我々は、フォームの構造化確率モデル用いてこれを説明M = E ?? SIN(BXスタンドアロンモデルとしての一部としてBOのためにそのパラメータの(対數)正常事前確率を有する)、S GPを。これは明らかにForrester関數を説明するための適切なモデルではありませんが、グローバル最小値や複數のローカル最小値の存在など、データのいくつかの傾向をキャプチャしていることに注意してください。

図6.スタンドアロンの確率モデルを使用したBOの結果(左)とまったく同じモデルを追加したsGP-BOの結果(右)。著者による図。

スタンドアロンの確率モデル(図6、左)を使用したBOは、グローバル最小値に収束できませんでした。推論自體は厳密すぎて、現実が選択したモデルフレームワークに適合しない場合は失敗します。また、測定點の周囲でも目的関數の満足のいく再構成を生成できず、その不確実性の推定値は特に意味があるようには見えません。一方、sGPの一部と同じ確率モデルを持つGP-BOは、真の最小値を簡単に識別しました(図6、右)。また、測定領域の周囲の基礎となる関數の適切な再構築を実行し、それらの領域の外側で意味のある不確実性の推定値を提供しました。これを使用して、目的関數を完全に回復するための次の測定ポイントを選択できます(必要な場合)。

不連続関數を積極的に學習するための構造化GP

2番目の例として、s GPを使用して、スパースでノイズの多い観測値から不連続関數を再構築する方法を示します。不連続性の存在は、相転移の物理學では一般的であり、通常、相転移點に近い対象のプロパティの動作を再構築する必要がある場合と、相転移の前後の2つの相であることに注意してください。同時に、標準のGPは、このような不連続性を処理するように裝備されていません。

図7.(a)不連続関數のノイズの多い観測、(b)基礎となる區分的関數のバニラGPベースの再構築、(c)システムの動作の「正しい」モデルを使用したsGPベースの再構築、(d)sGPベース部分的に正しいモデルによる再構成。再構成の不確実性は、サンプリングされた予測のばらつきによって定義されます。著者による図。

図7aは、フォームの區分的関數によって生成された観測値を示しています。

私たちの目標は、これらのノイズの多いデータポイントから基礎となる関數を再構築することです。まず、バニラGPを試してみます(図7b)。標準のGPには不連続性に対処する機能がないため、これはそれほど驚くべきことではありません。直感的には、不連続性がカーネル関數にもたらす矛盾した要件によって理解できます。長さのスケールが大きいカーネルは不連続性を記述できませんが、長さのスケールが小さいと、あらゆる場所で関數の動作を検出するために複數の測定が必要になります。単純なGPは、測定間隔外でも十分に推定できないことに注意してください(この場合、この問題に対処するための複數の戦略が利用可能ですが)。

次に、我々はしてみてくださいGPは、2つの異なる確率モデルによって増大しました。最初GPは、の一般的なパワー法則形態有する區分の確率関數によって拡張さax?X < x?cx?Xx?の上に均一な前と、x?他のパラメータの対數正規事前分布。十分な観測がない遷移領域を除いて、全體的に良好な再構成を示しています(図7c)。ただし、この領域は非常に大きな不確実性(サンプリングされた予測の変動)によっても特徴付けられ、その領域で追加の測定を実行することをお勧めします。この場合、サンプリングされた予測の動作を調べることも注目に値します。基本的に、スイッチポイントが配置されている場所での推定が異なります。繰り返しになりますが、これは科學者の意思決定ロジックに適合します。相転移を予測し、転移前後の測定された応答の機能的動作に自信がある場合、殘っている不確実性は遷移點だけです。

第二GPを區分確率関數によって拡張されるに等しいAXためX < x?およびBXのためのXx?、均一に前とx?に事前確率及び対數正規AおよびB。このモデルは部分的にしか正しくないことに注意してください。遷移點がありますが、遷移の前後で(べき乗則ではなく)線形の動作を想定しています。その結果、再構成の品質(図7d)は、バニラGPよりもいくらか優れていますが、低くなります。この場合、最大の不確実性は遷移前の動作に関連していることに注意してください(べき乗則の動作は期待していません)。

モデル予測の不確実性を使用して、基礎となる関數のより正確な再構成を取得するための測定をガイドできます。手順はベイズ最適化の場合と同じですが、取得関數の代わりにモデルの不確かさを使用して次の測定ポイントを予測する點が異なります。

図8.(a)バニラGP、(b)期待されるシステムの動作の「正しい」モデルによって拡張されたsGP、(c)期待されるシステムの動作の部分的に正しいモデルによって拡張されたsGPを使用したアクティブラーニングの結果。著者による図。

パラメータ「空間」の他の部分を探索する前に、両方GPモデルが遷移領域にすばやく焦點を合わせていることがわかります(図8b、c)。その結果、復興の質を飛躍的に向上させることができました。一方、バニラGPを使用した不確実性に基づく探索では、遷移領域の再構築に失敗しました(図8a)。したがって、私たちもいることを再び參照予想システムの動作の一部が正しいモデルとGPは、標準的なGPのアプローチをアウトパフォームすることができます。

要約すると、予想されるシステムの動作の(完全なベイジアン)確率モデルによるガウス過程の拡張により、システムのプロパティのより効率的な最適化とアクティブラーニングが可能になります。正しくない、または部分的に正しいモデルであっても、アクティブラーニングアルゴリズムは最終的に正しい答えに到達しますが、実験ステップの數が多くなることに注意してください。この概念の物理モデルへの適用など、詳細についてはプレプリントを確認してください[11]。このツールや他のGPツールを科學データ分析に適用するためのgpaxソフトウェアパッケージもチェックしてください。走査型プローブ顕微鏡の詳細については、M * N:顕微鏡、機械學習、材料のチャネルへようこそ。

最後に、科學の世界では、私たちは研究スポンサーに感謝します。この取り組みは、米國エネルギー省科學局のユーザー施設であるオークリッジ國立研究所のナノフェーズ材料科學センター(CNMS)で実施およびサポートされました。このリンクを使用して仮想ウォークスルーすることができます。詳細を知りたい場合はお知らせください。

実行可能なGoogleColabノートブックはこちらから入手できます。

參照:

1. Balke、N。; ジェシー、S。; モロゾフスカ、AN; Eliseev、E。; チョン、DW; キム、Y。; Adamczyk、L。; ガルシア、RE; ダドニー、N。; カリーニン、SV、リチウムイオン電池のカソードにおけるイオン拡散のナノスケールマッピング。ナット ナノテクノール。2010 5(10)、749から754。

2. Kumar、A。; Ciucci、F。; モロゾフスカ、AN; カリーニン、SV; ジェシー、S。、ナノスケールでの酸素還元/進化反応の測定。ナット 化學。2011 3(9)、707から713。

3.ヤン、SM; モロゾフスカ、AN; クマール、R。; Eliseev、EA; Cao、Y。; マゼ、L。; Balke、N。; ジェシー、S。; Vasudevan、RK; Dubourdieu、C。; カリーニン、SV、ナノスケール強誘電體の混合電気化學-強誘電狀態。自然物理2017、 13(8)、812から818。

4. Martin、O.、Pythonを使用したベイズ分析:PyMC3とArviZを使用した統計モデリングと確率的プログラミングの概要、第2版。Packt Publishing:2018。

5. Lambert、B。、ベイズ統計の學生向けガイド。SAGE Publications Ltd; 1版:2018。

6. Kruschke、J.、Doing Bayesian Data Analysis:A Tutorial with R、JAGS、 andStan 。アカデミックプレス; 2版:2014。

7.ネルソン、CT; Vasudevan、RK; 張、XH; Ziatdinov、M。; Eliseev、EA; 竹內一郎; モロゾフスカ、AN; カリーニン、SV、原子分解されたSTEMデータのベイズ分析による強誘電性磁壁の物理學の調査。ナット コミュン。2020、 11(1)、12。

8. Borisevich、AY; モロゾフスカ、AN; キム、YM; レナード、D。; オクスリー、MP; Biegalski、MD; Eliseev、EA; カリーニン、SV、トポロジカル欠陥の原子スケール観測による空孔秩序システムのメゾスコピック物理學の調査。物理學 レット牧師 2012、 109(6)。

9. Li、Q。; ネルソン、CT; スー、SL; ダモダラン、AR; 李、LL; ヤダブ、AK; マッカーター、M。; マーティン、LW; ラメシュ、R。; Kalinin、SV、機械學習とフェーズフィールドモデリングを使用したPbTiO3 / SrTiO3超格子極渦のフレキソエレクトリックの定量化。ナット コミュン。2017年、 8

10.カリーニン、SV; オクスリー、MP; Valleti、M。; 張、J。; ヘルマン、RP; 鄭、H。; 張、W。; Eres、G。; Vasudevan、RK; Ziatdinov、M。、ディープベイジアン局所結晶學。NPJ計算材料2021、 7(1)、181。

11.マサチューセッツ州ジアトディノフ; ゴーシュ、A。; カリーニン、SV、物理學は違いを生みます:ベイズ最適化と拡張ガウス過程による能動學習。arXivの:2108.10280 2021

提案された投稿

高度なグループ時系列検証

そして、CNN式がそれを実裝するのにどのように役立つか

高度なグループ時系列検証

MLの動機付け時系列タスクには、特別なタイプの検証が必要です。これは、MLモデルの品質をより公正に評価する場合、オブジェクトの時間順序が重要であるためです。驚いたことに、最初の時系列タスクを解決したとき、(少なくとも私にとっては)望ましいプロパティを持つこのタイプの検証のパブリック実裝を見つけることができませんでした。

物理學に基づく機械學習に関する工學的展望

物理學に基づく機械學習に関する工學的展望

エンジニアと科學者はどちらも片方の目が見えませんが、側面は異なります。こんにちは、私の名前はSivakorn Sansawasです。私は、KMUTTの機械工學の學生です。

関連記事

東ヨーロッパの開発者の6つの主な利點

東ヨーロッパの開発者の6つの主な利點

外國企業がロシア、ウクライナ、ベラルーシから開発者を採用しようとしている理由を理解する6年以上、私はシンガポールに本社を置くパートナーと完全に分散したチームでRocketech SoftwareDevelopmentを管理してきました。私たちはIT製品を開発し、2つのサービス形式を開発しています:アウトスタッフと専任チーム。

Ruxandra Tiple —あなたの真実に生きる必要性について

Ruxandra Tiple —あなたの真実に生きる必要性について

「自分の言葉で生きる」「真実に従って生きる」という言葉をよく耳にしますが、どういう意味ですか?生きることは本當にどういう意味ですか?生きることは生きていることと同じではありません—食べること、寢ること、セックスすること、そして働くこと。それは多くの人に當てはまるかもしれませんが、真実はそれが単なる休止狀態モードであるということです。

スマートフォンのAI??

スマートフォンのAI??

スマートフォンは時間とともに進化し、市場で最も人気のあるデバイスであり続けています。しかし、近年、人工知能が人々の関心を呼んでいます。

正直になるのは難しい

正直になるのは難しい

私は正直さの挑戦を認めるためにこれを書いています。年をとるほど話すのが難しくなるようです。

MORE COOL STUFF

ジョンハムは結婚したことがありますか、そして彼には子供がいますか?

ジョンハムは結婚したことがありますか、そして彼には子供がいますか?

ジョン?ハムは、結婚や交際について非常にプライベートであり、パパラッチの前にパートナーと一緒に現れることはめったにありません。

デュークブルーデビルズバスケットボールコーチのマイク?シャシェフスキーは結婚していますか?

デュークブルーデビルズバスケットボールコーチのマイク?シャシェフスキーは結婚していますか?

今シーズンの終わりにデュークバスケットボールからマイク?シャシェフスキーが引退することで、彼は妻や家族とより多くの時間を過ごすことができます。

ニコラス?ブラウンは「サクセション」からどれくらい背が高いですか?

ニコラス?ブラウンは「サクセション」からどれくらい背が高いですか?

「サクセション」のファンは、グレッグ、別名ニコラス?ブラウンの異常に高い高さに気づかずにはいられません。彼は本當にキャストメンバーの上にそびえ立っていますか?

2021年のホリデーシーズンに向けた「パイオニアウーマン」リードラモンド感謝祭のおかず

2021年のホリデーシーズンに向けた「パイオニアウーマン」リードラモンド感謝祭のおかず

パイオニアウーマンリードラモンドは、感謝祭の準備をするためにここにいます。ここに彼女の最高のおかずのいくつかがあります。

ミニクロスワードをお試しください

ミニクロスワードをお試しください

毎週更新される私たちのミニクロスワードは、私たちのお気に入りのハウスタッフワークスの読みと頭のいい手がかりを組み合わせています!

どれが最も効果的ですか:洗濯ポッド、粉末または液體洗剤?

どれが最も効果的ですか:洗濯ポッド、粉末または液體洗剤?

適切な洗剤を選ぶことを心配することなく、洗濯をすることは十分に悪いことです。では、どちらが最適ですか?それとも重要ですか?

ケンタッキーの青い人々の実話

ケンタッキーの青い人々の実話

ケンタッキー州の田舎に住むFugatesとCombsの家族は、遺伝的寶くじを失いました。どちらも、結婚するにつれて肌が青く見える、まれな劣性形質を共有していました。これの原因は何でしたか?そして、家族はどうなりましたか?

カリフォルニアコンドルの「バージンバース」は種を救うことができますか?

カリフォルニアコンドルの「バージンバース」は種を救うことができますか?

カリフォルニアコンドルを絶滅から救うためのプログラムで、2羽の父親のいないオスのヒナが飼育されています。そのような「処女」の誕生はどのように可能ですか?

これらのチャートはあなたがあなたのテレビを崖から投げたくなるでしょう

これらのチャートはあなたがあなたのテレビを崖から投げたくなるでしょう

テレビは、執筆スタッフに関して、特に人種に関しては、十分に文書化された多様性の問題を抱えています。しかし、どちらかといえば、誰が実際にエピソードを監督するかということになると、問題はさらに大きくなります。

ココを見る前に座らなければならなかったすべてのゴミ

ココを見る前に座らなければならなかったすべてのゴミ

アナと雪の女王の冒険。畫像:ウォルトディズニースタジオ新しいピクサー映畫が到著すると、通常、魅力的な短編アニメーションが付屬しています。

スーパーマリオオデッセイで本當に、本當に遠くにジャンプする方法

スーパーマリオオデッセイで本當に、本當に遠くにジャンプする方法

マリオとキャッピーのパワーを組み合わせることで、スーパーマリオオデッセイで多くの余分なハングタイムを得ることができます。これは、これらの非常に長いギャップをクリアするのに最適であり、「想定されていない」場所に行くのに最適です。ビデオを見たくない場合は、以下のスライドショーに分けて説明します。

この新しいカフェイン觸媒ジェルを私と同じくらい食べたいですか?

この新しいカフェイン觸媒ジェルを私と同じくらい食べたいですか?

研究者は、材料を作成する化學反応の刺激としてカフェインを使用して、食用ポリマーゲルを作成しました。最後に、科學者たちはあなたが求めていたもの、つまりカフェインで作られた食用ポリマーゲルを正確に屆けました。

CardiBとOffsetのDaughterKultureがInstagramで美しい新しいブレードを披露

CardiBとOffsetのDaughterKultureがInstagramで美しい新しいブレードを披露

Cardi BとOffsetの3歳の娘、Kultureは、Instagramで彼女の新しい編みこみのヘアスタイルを披露しました。

セレーナ?ゴメスがニックスの試合でキスカムのためにカーラ?デルヴィーニュに頬をつつく

セレーナ?ゴメスがニックスの試合でキスカムのためにカーラ?デルヴィーニュに頬をつつく

「彼女はとても楽しくて、とても冒険的だ」とセレーナ?ゴメスは以前、仲間のカーラ?デルヴィーニュについて語った。

マドンナはジムでボトルからジンを飲む:「今日のトレーニング」

マドンナはジムでボトルからジンを飲む:「今日のトレーニング」

歌手は木曜日に彼女のフィットネスルーチンを変更することにしました

ジェイミー?ドーナンはヘンリー?カヴィルにスーパーマンの役割を失い、スーパーヒーローの役割のためにマーベルに近づいたと言います

ジェイミー?ドーナンはヘンリー?カヴィルにスーパーマンの役割を失い、スーパーヒーローの役割のためにマーベルに近づいたと言います

ジェイミー?ドーナンは、スーパーマンの役割についてオーディションを受けたが、ヘンリー?カヴィルに敗れたことを明らかにした。そして彼はMCUへの參加についてマーベルに話しました。

Languages

野花在线观看免费观看大全-野花视频在线观看免费观看8
国足最新出线概率0.08% 北京冬奥火炬宣传片获金花环奖 速度与激情9 得知母亲出事男子在地铁痛哭 国足战澳大利亚大名单:4归化在列 周冠宇成为中国首位F1车手 安娜贝尔 尚气与十环传奇 胡锡进谈中美元首会晤 红色通缉令 尚气与十环传奇 印度首都准备封城 房价上涨城市创七年新低 拐点来了? 24岁救人牺牲消防员获批为烈士 扫黑风暴 我要我们在一起 意大利错失直接晋级世界杯资格 中美元首会谈重点内容 中国共产党第三个历史决议全文发布 灵媒 意大利错失直接晋级世界杯资格 俄方回应卫星碎片危及国际空间站 中美元首是否达成新共识?中方回应 男子写80页PPT拯救爱情却离婚 动保组织向上饶信州区申请信息公开 许家印为恒大注入超70亿续命资金 动保组织向上饶信州区申请信息公开 千与千寻 意大利错失直接晋级世界杯资格 两个女人 浦发银行回应近3亿存款莫名被质押 罗永浩吐槽苹果文案没文化 大连现超级传播者26人在同一传播链 扫黑风暴 安娜贝尔 中美元首会谈重点内容 长津湖 图兰朵 24岁救人牺牲消防员获批为烈士 房价上涨城市创七年新低 拐点来了? 五个扑水的少年 大连一密接者擅自点外卖聚餐被调查 男子写80页PPT拯救爱情却离婚 #耿直真香哥黑化卖惨# 动保组织向上饶信州区申请信息公开 扫黑风暴 失控玩家 扫黑风暴 许家印为恒大注入超70亿续命资金 外交部回应拜登重申不支持台独 加拿大一枝黄花到底是什么? 中国医生 男子体检血中抽出2升油浆 红色通缉令 大连现超级传播者26人在同一传播链 国际人士热议中共十九届六中全会 俄方回应卫星碎片危及国际空间站 怒火·重案 得知母亲出事男子在地铁痛哭 嘉南传 中美元首是否达成新共识?中方回应 浦发银行回应近3亿存款莫名被质押 斗破苍穹 蜘蛛侠:英雄归来 扫黑风暴 林丹世界排名被正式移除 男子体检血中抽出2升油浆 大连现超级传播者26人在同一传播链 扫黑风暴 林丹世界排名被正式移除 国足战澳大利亚大名单:4归化在列
呼玛县| 隆林| 惠水县| 濮阳市| 乐昌市| 江孜县| 屏山县| 峨眉山市| 阿合奇县| 安泽县| 新营市| 佛教| 改则县| 莱芜市| 新宁县| 缙云县| 定远县| 富裕县| 丹棱县| 定结县| 万州区| 竹溪县| 永清县| 罗甸县|