Word2vec concurrent exception
オープン
- 主要言語
- Java
- スター
- 6.8k
- フォーク
- 1.6k
- 平均マージ
- 44分
- マージ済み PR（30日）
- 1
説明
我在spark集群上提交了word2vec配置如下(spark-submit)：
spark.ps.instances=10
spark.ps.cores=2
spark.ps.memory=35g
spark.driver.memory=35g
spark.driver.memory=35g
集群核数为189，内存总量为2T+
模型参数为batch_size=4096,negative=10,window=5,**embedding=20**
我的数据集大小为400+G，节点个数为1.4+亿。
增加了ps内存是根据文档介绍来设的，再加一些还是报这个错
请问，这个问题有啥建议吗
コントリビューションガイド
評価
この issue はまだ評価されていません。