java-使用IN子句过滤Spark Cassandra连接器

我在使用针对Java的Spark cassandra连接器筛选时遇到了一些问题. Cassandra允许使用IN子句按分区键的最后一列进行过滤.
例如

create table cf_text
(a varchar,b varchar,c varchar, primary key((a,b),c))

Query : select * from cf_text where a ='asdf' and b in ('af','sd');

sc.cassandraTable("test", "cf_text").where("a = ?", "af").toArray.foreach(println)

我如何指定在spark的CQL查询中使用的IN子句？如何也可以指定范围查询？

解决方法:

只是想知道,但是上面的Spark代码是否起作用？我以为Spark不允许在分区键(在您的情况下为a和b)上使用WHERE,因为它是在幕后使用它们的(请参阅此问题的最后答案)：Spark Datastax Java API Select statements

在任何情况下,使用Cassandra Spark连接器都可以堆叠WHERE子句,并且可以使用List< String>指定IN.

List<String> valuesList = new ArrayList<String>();
valuesList.Add("value2");
valuesList.Add("value3");

sc.cassandraTable("test", "cf")
    .where("column1 = ?", "value1")
    .where("column2 IN ?", valuesList)
    .keyBy(new Function<MyCFClass, String>() {
                public String call(MyCFClass _myCF) throws Exception {
                    return _myCF.getId();
                }
            });

请注意,normal rules of using IN with Cassandra/CQL在这里仍然适用.

范围查询的功能类似：

sc.cassandraTable("test", "person")
    .where("age > ?", "15")
    .where("age < ?", "20")
    .keyBy(new Function<Person, String>() {
                public String call(Person _person) throws Exception {
                    return _person.getPersonid();
                }
            });

标签：apache-spark,cassandra,cql,spark-cassandra-connector,java
来源： https://codeday.me/bug/20191028/1950336.html